CN111340819A - 图像分割方法、装置和存储介质 - Google Patents

图像分割方法、装置和存储介质 Download PDF

Info

Publication number
CN111340819A
CN111340819A CN202010084625.6A CN202010084625A CN111340819A CN 111340819 A CN111340819 A CN 111340819A CN 202010084625 A CN202010084625 A CN 202010084625A CN 111340819 A CN111340819 A CN 111340819A
Authority
CN
China
Prior art keywords
target
image
domain
segmentation
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010084625.6A
Other languages
English (en)
Other versions
CN111340819B (zh
Inventor
柳露艳
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010084625.6A priority Critical patent/CN111340819B/zh
Publication of CN111340819A publication Critical patent/CN111340819A/zh
Priority to PCT/CN2020/124673 priority patent/WO2021159742A1/zh
Priority to EP20919226.9A priority patent/EP4002271A4/en
Priority to JP2022523505A priority patent/JP7268248B2/ja
Priority to US17/587,825 priority patent/US20220148191A1/en
Application granted granted Critical
Publication of CN111340819B publication Critical patent/CN111340819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分割方法、装置和存储介质；本申请实施例先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络以及第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后，对第一生成对抗网络和第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；该方案可以有效地提高图像分割的准确性。

Description

图像分割方法、装置和存储介质
技术领域
本申请涉及通信技术领域，具体涉及一种图像分割方法、装置和存储介质。
背景技术
随着人工智能(AI，Artificial Intelligence)的发展，AI在医疗领域上的应用也越来越为广泛，在对各种医学图像分析任务中都取得了显著的成果，如图像分类、病灶检测、目标分割以及医学影像分析，特别是在医学影像的分割上，比如，可以应用AI技术从视网膜眼底图像中分割出视杯和视盘等。目前AI分割视杯和视盘的方案主要基于深度学习网络，具体可以训练一个可分割视杯和视盘的深度学习网络，然后，将待分割的眼底图像输入至训练后的深度学习网络进行特征提取，并基于特征进行视杯和视盘分割，得到分割结果，如青光眼分割图像等等。
在对现有技术的研究和实践过程中发现，所训练的深度卷积神经网络模型通常在对未出现过的数据进行测试时，性能出现下降，特别是在训练之间(源域)和测试(目标域)数据存在显著的域迁移(domain shift)。域迁移是生物医学领域的一个常见问题，由于生物医学图像是由不同成像方式或同一设备的不同设置采集的，不同的采集图像在纹理、颜色、形状等方面有差异性。因此，分割的准确性并不高。
发明内容
本申请实施例提供一种图像分割方法、装置和存储介质，可以有效地提高图像分割的准确性。
本申请实施例提供一种图像分割方法，包括：
获取目标域图像、以及已标注目标信息的源域图像；
采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失；
采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失；
根据所述第一源域分割损失、所述第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据所述第一目标域分割损失、所述第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像；
利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对所述第一生成对抗网络和所述第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络；
基于所述训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
相应的，本申请实施例还提供一种图像分割装置，包括：
获取单元，用于获取目标域图像、以及已标注目标信息的源域图像；
第一分割单元，用于采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失；
第二分割单元，用于采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失；
确定单元，用于根据所述第一源域分割损失、所述第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据所述第一目标域分割损失、所述第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像；
训练单元，用于利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对所述第一生成对抗网络和所述第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络；
第三分割单元，用于基于所述训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
可选的，在一些实施例中，所述第一分割单元可以包括第一提取子单元、第一分割子单元和第二分割子单元，如下：
所述第一提取子单元，用于采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第一源域图像的特征信息和第一目标域图像的特征信息；
所述第一分割子单元，用于基于所述第一源域图像的特征信息，对所述源域图像进行目标分割，确定第一源域分割损失；
所述第二分割子单元，用于基于所述第一目标域图像的特征信息，对所述目标域图像进行目标分割，确定第一目标域分割损失。
可选的，在一些实施例中，所述源域图像包括噪声图像和无噪声图像，所述第一分割子单元，具体用于基于所述第一源域图像的特征信息，对所述源域图像中噪声图像进行目标分割，得到第一噪声分割概率；获取源域图像中噪声图像的权重图；根据所述第一噪声分割概率，和噪声图像的权重图，获取第一噪声分割损失；基于所述第一源域图像的特征信息，对所述源域图像中无噪声图像进行目标分割，得到第一无噪声分割概率；根据第一无噪声分割概率，和无噪声图像的标注结果，获取第一无噪声分割损失；基于所述第一噪声分割损失和所述第一无噪声分割损失，确定第一源域分割损失。
可选的，在一些实施例中，所述第二分割子单元，具体用于基于所述第一目标域图像的特征信息，对所述目标域图像进行目标分割，得到第一目标域分割概率；根据所述第一目标域分割概率，生成第一目标域分割结果；根据所述第一目标域分割结果、和所述目标域图像，获取第一目标域分割损失。
可选的，在一些实施例中，所述第二分割单元可以包括第二提取子单元、第三分割子单元和第四分割子单元，如下：
所述第二提取子单元，用于采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第二源域图像的特征信息和第二目标域图像的特征信息；
所述第三分割子单元，用于基于所述第二源域图像的特征信息，对所述源域图像进行目标分割，确定第二源域分割损失；
所述第四分割子单元，用于基于所述第二目标域图像的特征信息，对所述目标域图像进行目标分割，确定第二目标域分割损失。
可选的，在一些实施例中，所述源域图像包括噪声图像和无噪声图像，所述第三分割子单元，具体用于基于所述第二源域图像的特征信息，对所述源域图像中噪声图像进行目标分割，得到第二噪声分割概率；获取源域图像中噪声图像的权重图；根据所述第二噪声分割概率，和噪声图像的权重图，获取第二噪声分割损失；基于所述第二源域图像的特征信息，对所述源域图像中无噪声图像进行目标分割，得到第二无噪声分割概率；根据第二无噪声分割概率，和无噪声图像的标注结果，获取第二无噪声分割损失；基于所述第二噪声分割损失和所述第二无噪声分割损失，确定第二源域分割损失。
可选的，在一些实施例中，所述第四分割子单元，具体用于基于所述第二目标域图像的特征信息，对所述目标域图像进行目标分割，得到第二目标域分割概率；根据所述第二目标域分割概率，生成第二目标域分割结果；根据所述第二目标域分割结果、和所述目标域图像，获取第二目标域分割损失。
可选的，在一些实施例中，所述确定单元可以包括第一确定子单元和第二确定子单元，如下：
所述第一确定子单元，具体可以用于对所述第一源域分割损失进行排序，从排序后的第一源域分割损失中选取满足预设损失条件的源域图像，确定为第一源域目标图像；对所述第二源域分割损失进行排序，从排序后的第二源域分割损失中选取满足预设损失条件的源域图像，确定为第二源域目标图像。
所述第二确定子单元，具体可以用于根据所述第一目标域分割损失对所述第一生成对抗网络进行训练，利用训练结果生成第一目标域目标图像；根据所述第二目标域分割损失对所述第二生成对抗网络进行训练，利用训练结果生成第二目标域目标图像。
可选的，在一些实施例中，所述训练单元可以包括第一训练子单元和第二训练子单元，如下：
所述第一训练子单元，具体可以用于采用第一生成对抗网络的生成网络，分别对第二源域目标图像和第二目标域目标图像进行分割，得到第二源域目标分割结果和第二目标域目标分割结果；采用第一生成对抗网络的判别网络，对第二源域目标分割结果和第二目标域目标分割结果进行判别，得到第二目标判别结果；根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
所述第二训练子单元，具体可以用于采用第二生成对抗网络的生成网络，分别对第一源域目标图像和第一目标域目标图像进行分割，得到第一源域目标分割结果和第一目标域目标分割结果；采用第二生成对抗网络的判别网络，对第一源域目标分割结果和第一目标域目标分割结果进行判别，得到第一目标判别结果；根据第一源域目标分割结果、第一目标域目标分割结果和第一目标判别结果对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，所述第一训练子单元，具体可以用于计算第二目标域目标图像的信息熵；采用第一生成对抗网络的判别网络，根据所述第二源域目标分割结果、第二目标域目标分割结果、以及第二目标域目标图像的信息熵，得到第二目标判别结果。
可选的，在一些实施例中，所述第一训练子单元，具体可以用于根据所述第二源域目标分割结果，和第二源域目标图像的标注结果，获取第二源域目标分割损失；根据所述第二目标域目标分割结果，和第二目标域目标图像，获取第二目标域目标分割损失；根据第二源域目标分割结果和第二目标域目标分割结果，获取判别网络的第二目标判别损失；根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
可选的，在一些实施例中，所述第一训练子单元，具体可以用于根据所述第二源域目标分割损失和所述第二目标域目标分割损失构建第一生成对抗网络的极小化对抗损失；根据所述第二目标判别损失构建第一生成对抗网络的极大化对抗损失；基于所述极小化对抗损失和所述极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
可选的，在一些实施例中，所述第二训练子单元，具体可以用于计算第一目标域目标图像的信息熵；采用第二生成对抗网络的判别网络，根据所述第一源域目标分割结果、第一目标域目标分割结果、以及第一目标域目标图像的信息熵，得到第一目标判别结果。
可选的，在一些实施例中，所述第二训练子单元，具体可以用于根据所述第一源域目标分割结果，和第一源域目标图像的标注结果，获取第一源域目标分割损失；根据所述第一目标域目标分割结果，和第一目标域目标图像，获取第一目标域目标分割损失；根据第一源域目标分割结果和第一目标域目标分割结果，获取判别网络的第一目标判别损失；根据第一源域目标分割损失、第一目标域目标分割损失和第一目标判别损失对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，所述第二训练子单元，具体可以用于根据所述第一源域目标分割损失和所述第一目标域目标分割损失构建第二生成对抗网络的极小化对抗损失；根据所述第一目标判别损失构建第二生成对抗网络的极大化对抗损失；基于所述极小化对抗损失和所述极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。
此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像分割方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像分割方法中的步骤。
本申请实施例先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；该方案可以有效提高图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的图像分割方法的场景示意图；
图1b是本申请实施例提供的图像分割方法的流程图；
图2a是本申请实施例提供的图像分割方法的另一流程图；
图2b是本申请实施例提供的图像分割方法的系统框架图；
图2c是本申请实施例提供的第一生成对抗网络的框架图；
图2d是本申请实施例提供的图像分割结果图；
图3是本申请实施例提供的图像分割装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像分割方法、装置和存储介质。其中，该图像分割可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
本申请实施例提供的图像分割方法涉及人工智能领域中的计算机视觉方向，可以通过人工智能的计算机视觉技术实现眼底图像分割，得到分割结果。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉，并进一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术，还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
本申请实施例中，所谓图像分割，是指是把图像分成若干个特定的、具有独特性质的区域，并提出感兴趣目标的计算机视觉技术和过程。在本申请实施例中，主要指的是对医学图像如眼底图像进行分割，找出所需的目标对象，比如，从眼底图像中分割出视杯、视盘等等。该分割出来的目标对象后续可以供医护人员或其他医学专家进行分析，以便做出进一步的操作。
例如，参见图1a，首先，该集成了图像分割装置的电子设备先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
由于该方案利用的是两个生成对抗网络具有不同的结构和学习能力，可以互相学习、互相监督，并从自身的网络中选择干净的目标图像交给对等的网络继续训练，有效地提高了图像分割的准确性。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像分割装置的角度进行描述，该图像分割装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括手机、平板电脑、笔记本电脑、以及个人计算(Personal Computer，PC)等设备。
一种图像分割方法，包括：先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
如图1b所示，该图像分割方法的具体流程可以如下：
101、获取目标域图像、以及已标注目标信息的源域图像。
其中，源域图像指的是可以提供丰富的标注信息的医学图像，目标域图像指的是测试数据集所在的领域，缺少标注信息的医学图像。例如，源域图像具体可以由各医学图像采集设备，比如电子计算机断层扫描仪(Computed Tomography，CT)、或核磁共振成像仪等来对生命体组织进行图像采集，由专业人员对图像进行标注，比如由图像科医师标注进而提供给该图像分割装置，即，图像分割装置具体可以接收医学图像采集设备发送的医学图像样本。
其中，医学图像指的是在医疗或医学研究中，以非侵入方式取得生命体或生命体某部分内部组织的图像，比如人体的脑部、肠胃、肝脏、心脏、喉咙和阴道等图像，这些图像可以是CT图像、核磁共振图像或者正子发射断层扫描影响等等。而生命体指的是有生命形态的独立个体，比如人或动物等。源域图像可以指的是已经由医学图像采集设备采集，通过各种途径获取到的图像，比如从数据库或网络等，可以是经由专业人员对图像进行特定意义标注的图像样本，也可以是未经任何处理的图像样本。
本申请针对源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法，通过两个模型互相学习、互相监督的方式，有效地解决了无监督的图像分割任务。其中，该鲁棒性分割方法框架由两个生成对抗网络组成，即Network1(N1)和Network2(N2)，N1包括生成网络，也称分割网络(Segmentation network)S1，和判别网络(Discriminator network)D1。N2包括生成网络，也称分割网络S2，和判别网络D2。这两个网络具有不同的结构和参数，由于两个网络结构和参数的差异性，它们可以产生不同的决策边界，即具有不同的学习能力，从而促进网络间的同行监督。
102、采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失。
其中，第一生成对抗网络的结构和参数可以根据实际情况进行设定以及调整等等。比如，第一生成对抗网络中的生成网络可以以残差网络101(ResNet101)为主要框架的DeepLabv2作为基础模型，实现了初步的分割结果。同时，增加了空间金字塔(AtrousSpatial Pyramid Pooling，ASPP)结构，丰富了特征图的多尺度信息。为了增强网络的特征表达能力，提出了一个基于双重注意网络(Dual Attention Network，DANet)的注意机制，学习如何捕捉像素和特征层通道之间的上下文依赖关系，将注意力模块的输出与空间金字塔结构的输出相连接，生成最终的分割特征。而第一生成对抗网络中的判别网络可以采用多层全卷积网络，将源域图像和目标域图像的分割概率融合到对抗学习中，并且可以在除了最后一层的所有卷积层后都添加了一个泄露修正线性单元(Leaky Rectified LinearUnit，Leaky ReLU)激活函数层，最终输出一个单通道的2D结果，用0和1分别表示源域和目标域。
例如，具体可以采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第一源域图像的特征信息和第一目标域图像的特征信息，基于该第一源域图像的特征信息，对该源域图像进行目标分割，确定第一源域分割损失，基于该第一目标域图像的特征信息，对该目标域图像进行目标分割，确定第一目标域分割损失。
其中，确定第一源域分割损失的方式可以有很多种，比如，可以在源域图形中引入对抗噪声标签的权重图(distance map)，由于医学标签在目标区域的边界位置上的标记有很大差异，为了防止网络拟合噪声标签，提出了一种新的抗噪分割损失，从噪声样本中学习有用的像素级信息，过滤掉边缘有噪声的区域。
例如，该源域图像包括噪声图像和无噪声图像，具体可以基于该第一源域图像的特征信息，对该源域图像中噪声图像进行目标分割，得到第一噪声分割概率；获取源域图像中噪声图像的权重图；根据该第一噪声分割概率，和噪声图像的权重图，获取第一噪声分割损失；基于该第一源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第一无噪声分割概率；根据第一无噪声分割概率，和无噪声图像的标注结果，获取第一无噪声分割损失；基于该第一噪声分割损失和该第一无噪声分割损失，确定第一源域分割损失。根据该第一噪声分割概率，生成第一噪声分割结果。
其中，第一噪声分割损失的具体公式可以如下：
Figure BDA0002381616180000111
Figure BDA0002381616180000112
其中，在公式(1)中，h×w×c分别表示图像数据的长度、宽度和类别，λ1和λ2是两种损失的权重系数，W(yi)表示权重图，公式第一项基于交叉熵损失，第二项基于dice损失。在公式(2)中，wc表示平衡类别的加权权重值也是权重系数；对于每一个噪声标签yi，计算标签上像素点到最近的边界的距离d(yi)，并在类级别区域中获得距离d(yi)的最大值maxdis。两个网络交换各自认为损失小的干净数据(clean data)时，计算两个网络对于clean data预测值的diceco，当diceco大于阈值μ时，说明两个网络对该样本产生分歧，将该样本视为噪声样本(noisy data)，加上抗噪分割损失改进对噪声样本的学习，计算生成网络的损失Lnoise，否则它将保持交叉熵和dice loss的原始方式来计算损失。对于权重映射W(yi)，每个类中区域的中心具有较大的权重，并且越靠近边界，权重越小。Lnoise使得网络能够捕获中心的关键位置，并在各种噪声标签下滤除边界上的差异。
其中，对于目标域数据集来说，没有像素级的语义标签，因此可以将整个任务看作一个无监督的图像分割问题。本申请通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。在目标域图像的分割概率结果中，对于任一像素点而言，若某一类别的预测置信度高于置信阈值，则在该像素位置生成一个对应类别的伪标签。这里的置信阈值采用自适应的设置方式，对目标域图像中每个类和每个样本中每个伪标签的置信度进行排序，自适应地选取类级和图像级预测置信度最高的像素点，生成像素级伪标签，作为下一训练阶段的交叉监督信息。为了保证生成的伪标签的正确性，采用了一种“从易到难”的策略，即以迭代的方式训练模型，不断生成更准确的伪标签。
比如，具体可以基于该第一目标域图像的特征信息，对该目标域图像进行目标分割，得到第一目标域分割概率；根据该第一目标域分割概率，生成第一目标域分割结果；根据该第一目标域分割结果、和该目标域图像，获取第一目标域分割损失。
接着，将第一生成对抗网络中的生成网络输出的分割结果第一源域分割概率PS和第一目标域分割概率PT同时输入到第一生成对抗网络中的判别网络中，并利用由PT生成的信息熵结果来计算对抗损失LD，同时通过最大化对抗损失来更新判别网络的参数。随后，对抗损失函数产生的误差也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生成网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。
例如，具体可以在得到第一源域分割结果和第一目标域分割结果后，采用第一生成对抗网络的判别网络，对第一源域分割结果和第一目标域分割结果进行判别，得到第一判别结果；根据第一源域分割结果、第一目标域分割结果和第一判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
其中，对第一源域分割结果和第一目标域分割结果进行判别的方式可以有很多种，比如，具体可以用于计算第一目标域图像的信息熵；采用第一生成对抗网络的判别网络，根据该第一源域分割结果、第一目标域分割结果、以及第一目标域图像的信息熵，得到第一判别结果。
其中，根据第一源域分割结果、第一目标域分割结果和第一判别结果对第一生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第一源域分割结果，和第一源域图像的标注结果，获取第一源域分割损失；根据该第一目标域分割结果，和第一目标域图像，获取第一目标域分割损失；根据第一源域分割结果和第一目标域分割结果，获取判别网络的第一判别损失；根据第一源域分割损失、第一目标域分割损失和第一判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
其中，根据第一源域分割损失、第一目标域分割损失和第一判别损失对第一生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第一源域分割损失和该第一目标域分割损失构建第一生成对抗网络的极小化对抗损失；根据该第一判别损失构建第一生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
其中，极小化对抗损失和极大化对抗损失(即整体目标函数由最大最小优化)的具体计算公式如下：
Figure BDA0002381616180000131
对于源域图像XS和目标域图像XT，YS是源域图像的标签，
Figure BDA0002381616180000132
是目标域图像在训练过程中生成的伪标签，Lseg是整个分割网络(即生成网络)的损失函数P＝G(X)∈RH×W×C，分割网络的分割损失为：
Figure BDA0002381616180000133
其中，源域分割损失
Figure BDA0002381616180000134
定义为：
Figure BDA0002381616180000141
Figure BDA0002381616180000142
Lnoise是第一噪声分割损失，Lclean是对于带有干净可靠标签数据(clean data)的分割损失，即第一无噪声分割损失，α是平衡Lclean和Lnoise的系数。
其中，判别网络的对抗损失的计算可以如下：
LD＝λadvLadv(XS,XT) (7)
其中，λadv是对抗损失在训练过程中用来平衡损失关系的参数，Ladv可以表示为：
Ladv(XS,XT)＝-E[log(D(G(XS)))]-E[(λentrf(XT)+ε)+log(1-D(G(XT)))] (8)
其中，λentr是信息熵结果图对应的权重参数，ε的加入是为了在f(XT)的情况下保证训练过程的稳定。f(XT)是目标域图像的信息熵计算结果，可以表示为：
Figure BDA0002381616180000143
在目标域图像的逐像素预测中引入信息熵图(entropy map)，然后根据预测将“熵图”乘在判别器对各像素点计算的对抗损失上，以增加具有不确定性的像素点(高熵值)的损失权重，并减少确定性的损失权重(低熵值)。在熵图映射的驱动下，帮助网络学习如何关注类别上最具代表性的特征。
103、采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失。
其中，第二生成对抗网络的训练与第一生成对抗网络类似，只是使用了不同的结构和参数。比如，对于第二生成对抗网络N2，可以采用DeepLabv3+架构，为了减少参数的数量和计算成本，我们用轻量级网络MobileNetV2为作为基础模型。网络N2利用MobileNetV2的第一层卷积层和随后的7个残差模块(Resdual block)来提取特征。类似于网络N1，同样加入了ASPP模块对不同感受野下的潜在特征进行学习，利用具有不同膨胀率(dialaterate)的ASPP生成多尺度特征，将不同层次的语义信息整合到特征映射中，对特征映射进行上采样，然后进行卷积，对上述组合特征，并将其与低级特征连接，以进行细粒度语义分割。
例如，具体可以采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第二源域图像的特征信息和第二目标域图像的特征信息，基于该第二源域图像的特征信息，对该源域图像进行目标分割，确定第二源域分割损失，基于该第二目标域图像的特征信息，对该目标域图像进行目标分割，确定第二目标域分割损失。
其中，确定第二源域分割损失的方式可以有很多种，比如，可以在源域图形中引入对抗噪声标签的权重图(distance map)，由于医学标签在目标区域的边界位置上的标记有很大差异，为了防止网络拟合噪声标签，提出了一种新的抗噪分割损失，从噪声样本中学习有用的像素级信息，过滤掉边缘有噪声的区域。
例如，该源域图像包括噪声图像和无噪声图像，具体可以基于该第二源域图像的特征信息，对该源域图像中噪声图像进行目标分割，得到第二噪声分割概率；获取源域图像中噪声图像的权重图；根据该第二噪声分割概率，和噪声图像的权重图，获取第二噪声分割损失；基于该第二源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第二无噪声分割概率；根据第二无噪声分割概率，和无噪声图像的标注结果，获取第二无噪声分割损失；基于该第二噪声分割损失和该第二无噪声分割损失，确定第二源域分割损失。
其中，第二噪声分割损失的具体计算方式可以参照上述第一噪声分割损失的计算方式，在此不再赘述。
其中，对于目标域图像来说，具体的训练方式与预设第一生成网络类似，也可以通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。比如，具体可以基于该第二目标域图像的特征信息，对该目标域图像进行目标分割，得到第二目标域分割概率；根据该第二目标域分割概率，生成第二目标域分割结果；根据该第二目标域分割结果、和该目标域图像，获取第二目标域分割损失。
接着，将第二生成对抗网络中的生成网络输出的分割结果第二源域分割概率PS和第二目标域分割概率PT同时输入到第二生成对抗网络中的判别网络中，并利用由PT生成的信息熵结果来计算对抗损失LD，同时通过最大化对抗损失来更新判别网络的参数。随后，对抗损失函数产生的误差也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生成网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。
例如，具体可以在得到第二源域分割结果和第二目标域分割结果后，采用第二生成对抗网络的判别网络，对第二源域分割结果和第二目标域分割结果进行判别，得到第二判别结果；根据第二源域分割结果、第二目标域分割结果和第二判别结果对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
其中，对第二源域分割结果和第二目标域分割结果进行判别的方式可以有很多种，比如，具体可以用于计算第二目标域图像的信息熵；采用第二生成对抗网络的判别网络，根据该第二源域分割结果、第二目标域分割结果、以及第二目标域图像的信息熵，得到第二判别结果。
其中，根据第二源域分割结果、第二目标域分割结果和第二判别结果对第二生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第二源域分割结果，和第二源域图像的标注结果，获取第二源域分割损失；根据该第二目标域分割结果，和第二目标域图像，获取第二目标域分割损失；根据第二源域分割结果和第二目标域分割结果，获取判别网络的第二判别损失；根据第二源域分割损失、第二目标域分割损失和第二判别损失对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
其中，根据第二源域分割损失、第二目标域分割损失和第二判别损失对第二生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第二源域分割损失和该第二目标域分割损失构建第二生成对抗网络的极小化对抗损失；根据该第二判别损失构建第二生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。
其中，第二生成对抗网络中各个损失的计算方法与第一生成对抗网络类似，详细可见上文描述，在此不再赘述。
104、根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像。
在训练过程中，采用交叉训练的训练方式，通过每一阶段从两个不同生成网络选择的源域干净图像数据，来逐步更新网络参数。具体训练步骤如下：步骤1，在N次迭代之后，每个生成对抗网络对所有预测值的分割损失进行排序，两个网络分别选择小损失样本C1和C2作为干净数据。步骤2，每个网络将这些有用的样本交给其对等网络以进行下一个训练过程，然后更新卷积层的参数。步骤3，每个生成网络重新选择当前认为是最佳的干净数据，并以分层的方式微调其对等网络。由于两个网络具有不同的结构和学习能力，它们可以过滤由噪声标签引入的不同类型的错误。在这个交换过程中，对等网络可以互相监督，减少噪声标签带来的训练误差。
例如，具体可以对该第一源域分割损失进行排序，从排序后的第一源域分割损失中选取满足预设损失条件的源域图像，确定为第一源域目标图像；对该第二源域分割损失进行排序，从排序后的第二源域分割损失中选取满足预设损失条件的源域图像，确定为第二源域目标图像。
对于目标域图像，通过每一阶段两个生成网络对目标域图像生成的伪标签交叉学习，来更新网络参数。具体训练步骤如下：步骤1，用两个网络前一阶段的训练结果对于目标域的结果PL1和PL2作为伪标签。步骤2，将伪标签应用在下一阶段另一个网络训练过程中，以迭代的方式更新网络参数。而在每一阶段中，分割网络和判别网络以交替更新的方式一起训练。我们首先将图像数据输入到分割网络中，利用源域数据的真实标签和目标域数据的伪标签来计算分割损失Lseg，并通过最小化分割损失来更新分割网络的参数。
例如，具体可以根据该第一目标域分割损失对该第一生成对抗网络进行训练，利用训练结果生成第一目标域目标图像；根据该第二目标域分割损失对该第二生成对抗网络进行训练，利用训练结果生成第二目标域目标图像。
105、利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络。
例如，可以利用第一源域目标图像和第一目标域目标图像对第二生成对抗网络进行训练，利用第二源域目标图像和第二目标域目标图像对第一生成对抗网络进行训练。
例如，具体可以采用第一生成对抗网络的生成网络，分别对第二源域目标图像和第二目标域目标图像进行分割，得到第二源域目标分割结果和第二目标域目标分割结果；采用第一生成对抗网络的判别网络，对第二源域目标分割结果和第二目标域目标分割结果进行判别，得到第二目标判别结果；根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
其中，对第二源域目标分割结果和第二目标域目标分割结果进行判别的方式可以有很多种，比如，具体可以用于计算第二目标域目标图像的信息熵；采用第一生成对抗网络的判别网络，根据该第二源域目标分割结果、第二目标域目标分割结果、以及第二目标域目标图像的信息熵，得到第二目标判别结果。
其中，根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第二源域目标分割结果，和第二源域目标图像的标注结果，获取第二源域目标分割损失；根据该第二目标域目标分割结果，和第二目标域目标图像，获取第二目标域目标分割损失；根据第二源域目标分割结果和第二目标域目标分割结果，获取判别网络的第二目标判别损失；根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
其中，根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练的方式也可以有很多种，比如，具体可以根据该第二源域目标分割损失和该第二目标域目标分割损失构建第一生成对抗网络的极小化对抗损失；根据该第二目标判别损失构建第一生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
其中，利用第一源域目标图像、第一目标域目标图像对第二生成对抗网络进行训练的方式与第二生成对抗网络的训练方式类似。例如，具体可以采用第二生成对抗网络的生成网络，分别对第一源域目标图像和第一目标域目标图像进行分割，得到第一源域目标分割结果和第一目标域目标分割结果；采用第二生成对抗网络的判别网络，对第一源域目标分割结果和第一目标域目标分割结果进行判别，得到第一目标判别结果；根据第一源域目标分割结果、第一目标域目标分割结果和第一目标判别结果对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，采用第二生成对抗网络的判别网络，对第一源域目标分割结果和第一目标域目标分割结果进行判别，具体可以计算第一目标域目标图像的信息熵，采用第二生成对抗网络的判别网络，根据该第一源域目标分割结果、第一目标域目标分割结果、以及第一目标域目标图像的信息熵，得到第一目标判别结果。
可选的，在一些实施例中，根据第一源域目标分割结果、第一目标域目标分割结果和第一目标判别结果对第二生成对抗网络进行训练，具体可以根据该第一源域目标分割结果，和第一源域目标图像的标注结果，获取第一源域目标分割损失；根据该第一目标域目标分割结果，和第一目标域目标图像，获取第一目标域目标分割损失；根据第一源域目标分割结果和第一目标域目标分割结果，获取判别网络的第一目标判别损失；根据第一源域目标分割损失、第一目标域目标分割损失和第一目标判别损失对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，具体可以根据该第一源域目标分割损失和该第一目标域目标分割损失构建第二生成对抗网络的极小化对抗损失；根据该第一目标判别损失构建第二生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。
106、基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
例如，具体可以基于该训练后的第一生成对抗网络的生成网络对待分割图像进行特征提取，得到待分割图像的特征信息，基于该待分割图像的特征信息对该待分割图像进行目标分割，得到待分割图像的分割预测概率，根据该分割预测概率生成该待分割图像的分割结果。
其中，待分割图像指的是需要进行分割的图像，比如医学图像(如心脏，肺等等)或者一些普通图像(如人、物体)等等，在此不做限制。比如，待分割图像为医学图像时，可以由各医学图像采集设备，比如电子计算机断层扫描仪或核磁共振成像仪等来对生命体组织进行图像采集，比如人体的脑部、肠胃、肝脏、心脏、喉咙和阴道等，进而提供给该医学图像检测装置，即，医学图像检测装置具体可以接收医学图像采集设备发送的待分割图像。
由上可知，本申请实施例先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；由于该方案主要针对数据的标签存在着噪声，以及源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法。通过两个模型互相学习、互相监督的方式，有效地解决了噪声标签和无监督的图像分割任务，提高了图像分割的准确性。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
青光眼是我国主要致盲原因之一，而且青光眼引起的视功能损伤是不可逆的，后果极为严重。一般来说青光眼是不能预防的，但早期发现、合理治疗，绝大多数患者可终生保持有用的视功能。因此，青光眼的防盲必须强调早期发现、早期诊断和早期治疗。可在信息高速发展的今天,目前对青光眼的识别诊断方法还不是很完善，同时识别率也不是很高，甚至满足不了社会的需要。因此实现青光眼视杯和视盘的准确分割在临床上具有十分重要的意义。
为了确保算法能在临床中真正起到辅助诊断的作用，需要提升图像分割的准确性。本申请实施例提供了基于噪声标签数据的鲁棒的无监督领域自适应分割方法，能够学习已有标注的数据集上的特征结构并将知识迁移到新数据集上，为没有标注的新数据集提供较为准确的图像分割，有效提升深度网络的在其他数据集上的泛化性能。
本申请实施例中无监督领域自适应的训练方法，可以通过领域对抗方式对包含图像分割网络(作为生成网络)的生成对抗网络进行训练，然后，采用训练后生成对抗网络中的生成网络对无标注的待分割图像进行分割等。在本实施例中，将以该图像分割装置具体集成在电子设备为例进行说明。
如图2a所示，一种图像分割方法，具体流程可以如下：
201、电子设备获取目标域图像、以及已标注目标信息的源域图像。
其中，源域图像指的是可以提供丰富的标注信息的医学图像，目标域图像指的是测试数据集所在的领域，缺少标注信息的医学图像。在两个眼底图像数据集的自适应分割任务上，采用REFUGE和Drishti-GS数据集，由于其训练集和验证集(或测试集)由不同采集设备拍摄，因此图像在颜色和纹理等方面存在差别，将REFUGE数据集的训练集作为源域训练集，REFUGE数据集的验证集和Drishti-GS数据集的验证集作为目标域训练集，REFUGE数据集的测试集和Drishti-GS数据集的测试集作为目标域测试集。对于REFUGE数据集，训练集包含400张图像，图像大小为2124×2056，验证集包含300张图像，测试测试集包含100张，图像大小为1634×1634；对于Drishti-GS数据集，验证集包含50张图像，测试测试集包含51张，图像大小为2047×1759。
本申请针对源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法，通过两个模型互相学习、互相监督的方式，有效地解决了无监督的图像分割任务。其中，该鲁棒性分割方法框架，如图2b所示，由两个生成对抗网络组成，即N1和N2，N1包括生成网络(也称分割网络)S1和判别网络D1。N2包括生成网络(也称分割网络)S2，和判别网络D2。这两个网络具有不同的结构和参数，由于两个网络结构和参数的差异性，它们可以产生不同的决策边界，即具有不同的学习能力，从而促进网络间的同行监督。其中，同行监督(peer-review)是两个网络互相监督的一种策略，通过两个网络互相交换小损失数据和伪标签，来提高网络的性能。
202、电子设备采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失。
比如，如图2c所示，第一生成对抗网络中的生成网络可以以ResNet101为主要框架的DeepLabv2作为基础模型，实现了初步的分割结果。同时，增加了ASPP结构，丰富了特征图的多尺度信息。为了增强网络的特征表达能力，提出了一个基于DANet的注意机制，学习如何捕捉像素和特征层通道之间的上下文依赖关系，将注意力模块的输出与空间金字塔结构的输出相连接，生成最终的分割特征。
比如，源域图像包括噪声图像和无噪声图像，可以在源域图像中的噪声图像引入对抗噪声标签的权重图，由于医学标签在目标区域的边界位置上的标记有很大差异，为了防止网络拟合噪声标签，提出了一种新的抗噪分割损失，从噪声样本中学习有用的像素级信息，过滤掉边缘有噪声的区域。
例如，电子设备具体可以采用第一生成对抗网络中的生成网络对源域图像进行特征提取，得到第一源域图像的特征信息，基于该第一源域图像的特征信息，对该源域图像进行目标分割，得到第一噪声分割概率，获取源域图像中噪声图像的权重图，根据该第一噪声分割概率，和噪声图像的权重图，获取第一噪声分割损失；基于该第一源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第一无噪声分割概率；根据第一无噪声分割概率，和无噪声图像的标注结果，获取第一无噪声分割损失；基于该第一噪声分割损失和该第一无噪声分割损失，确定第一源域分割损失。根据该第一噪声分割概率，生成第一噪声分割结果。其中，第一噪声分割损失的计算方式具体可详见上述实施例，在此不再赘述。
其中，对于目标域数据集来说，没有像素级的语义标签，因此可以将整个任务看作一个无监督的图像分割问题。本申请通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。在目标域图像的分割概率结果中，对于任一像素点而言，若某一类别的预测置信度高于置信阈值，则在该像素位置生成一个对应类别的伪标签。这里的置信阈值采用自适应的设置方式，对目标域图像中每个类和每个样本中每个伪标签的置信度进行排序，自适应地选取类级和图像级预测置信度最高的像素点，生成像素级伪标签，作为下一训练阶段的交叉监督信息。为了保证生成的伪标签的正确性，采用了一种“从易到难”的策略，即以迭代的方式训练模型，不断生成更准确的伪标签。
比如，电子设备具体可以采用第一生成对抗网络中的生成网络对目标域图像进行特征提取，得到第一目标域图像的特征信息，基于该第一目标域图像的特征信息，对该目标域图像进行目标分割，得到第一目标域分割概率；根据该第一目标域分割概率，生成第一目标域分割结果；根据该第一目标域分割结果、和该目标域图像，获取第一目标域分割损失。。
接着，将第一生成对抗网络中的生成网络输出的分割结果第一源域分割概率PS和第一目标域分割概率PT同时输入到第一生成对抗网络中的判别网络中，并利用由PT生成的信息熵结果来计算对抗损失LD，同时通过最大化对抗损失来更新判别网络的参数。随后，对抗损失函数产生的误差也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生成网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。
比如，第一生成对抗网络中的判别网络可以采用5层全卷积网络，将源域和目标域的分割概率融合到对抗学习中，网络模型的每个卷积层的kernel size为4，stride为2，padding为1，并且在除了最后一层的所有卷积层后都添加了一个Leaky ReLU激活函数层，最终输出一个单通道的2D结果，用0和1分别表示源域和目标域。
例如，具体可以在得到第一源域分割结果和第一目标域分割结果后，计算第一目标域图像的信息熵；采用第一生成对抗网络的判别网络，根据该第一源域分割结果、第一目标域分割结果、以及第一目标域图像的信息熵，得到第一判别结果，然后，根据该第一源域分割结果，和第一源域图像的标注结果，获取第一源域分割损失；根据该第一目标域分割结果，和第一目标域图像，获取第一目标域分割损失；根据第一源域分割结果和第一目标域分割结果，获取判别网络的第一判别损失；根据该第一源域分割损失和该第一目标域分割损失构建第一生成对抗网络的极小化对抗损失；根据该第一判别损失构建第一生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
其中，极小化对抗损失和极大化对抗损失(即整体目标函数由最大最小优化)的具体计算方式可详见上述实施例，在此不再赘述。
203、电子设备采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失。
其中，第二生成对抗网络的训练与第一生成对抗网络类似，只是使用了不同的结构和参数。比如，对于第二生成对抗网络N2，可以采用DeepLabv3+架构，为了减少参数的数量和计算成本，可以用轻量级网络MobileNetV2为作为基础模型。第二生成对抗网络N2利用MobileNetV2的第一层卷积层和随后的7个残差模块(Residual block)来提取特征，可以设置第一卷积层和其后两个残差块的步长(stride)为2，并将其余块的stride设置为1，第二生成对抗网络的总下采样率是8。类似于第一生成对抗网络N1，同样加入了ASPP模块对不同感受野下的潜在特征进行学习，利用具有不同膨胀率(dialate rate)的ASPP生成多尺度特征，将不同层次的语义信息整合到特征映射中，对特征映射进行上采样，然后进行1×1卷积，对上述组合特征，并将其与低级特征连接，以进行细粒度语义分割。
例如，电子设备具体可以采用第二生成对抗网络中的生成网络分别对源域图像进行特征提取，得到第二源域图像的特征信息，基于该第二源域图像的特征信息，对该源域图像进行目标分割，得到第二噪声分割概率；获取源域图像中噪声图像的权重图；根据该第二噪声分割概率，和噪声图像的权重图，获取第二噪声分割损失；基于该第二源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第二无噪声分割概率；根据第二无噪声分割概率，和无噪声图像的标注结果，获取第二无噪声分割损失；基于该第二噪声分割损失和该第二无噪声分割损失，确定第二源域分割损失。
其中，第二噪声分割损失的具体计算方式可以参照上述第一噪声分割损失的计算方式，在此不再赘述。
其中，对于目标域图像来说，具体的训练方式与预设第一生成网络类似，也可以通过添加“自监督”信息的方式，即利用目标域图像的分割结果来生成像素级的伪标签，并将其应用在下一训练阶段中。比如，电子设备具体可以采用第二生成对抗网络中的生成网络对目标域图像进行特征提取，得到第二目标域图像的特征信息，基于该第二目标域图像的特征信息，对该目标域图像进行目标分割，得到第二目标域分割概率；根据该第二目标域分割概率，生成第二目标域分割结果；根据该第二目标域分割结果、和该目标域图像，获取第二目标域分割损失。
接着，将第二生成对抗网络中的生成网络输出的分割结果第二源域分割概率PS和第二目标域分割概率PT同时输入到第二生成对抗网络中的判别网络中，并利用由PT生成的信息熵结果来计算对抗损失LD，同时通过最大化对抗损失来更新判别网络的参数。随后，对抗损失函数产生的误差也会被反传回给生成网络，通过最小化对抗损失来更新分割网络的参数，目的是使得生成网络对源域图像和目标域图像预测出的分割结果能够越来越相似，实现领域自适应。在优化网络参数的过程中，本实施例使用随机梯度下降(StochasticGradient Descent，SGD)算法优化和训练分割网络，使用自适应动量的随机优化(Adam)算法优化和训练判别网络，分割网络和判别网络的初始学习率分别为2.5×10-4和1×10-4。
例如，电子设备具体可以在得到第二源域分割结果和第二目标域分割结果后，可以通过计算第二目标域图像的信息熵；采用第二生成对抗网络的判别网络，根据该第二源域分割结果、第二目标域分割结果、以及第二目标域图像的信息熵，得到第二判别结果。然后，根据该第二源域分割结果，和第二源域图像的标注结果，获取第二源域分割损失；根据该第二目标域分割结果，和第二目标域图像，获取第二目标域分割损失；根据第二源域分割结果和第二目标域分割结果，获取判别网络的第二判别损失。接着，根据该第二源域分割损失和该第二目标域分割损失构建第二生成对抗网络的极小化对抗损失；根据该第二判别损失构建第二生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。
其中，第二生成对抗网络中各个损失的计算方法与第一生成对抗网络类似，详细可见上文描述，在此不再赘述。
204、电子设备根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像。
例如，电子设备具体可以对该第一源域分割损失进行排序，从排序后的第一源域分割损失中选取满足预设损失条件的源域图像，确定为第一源域目标图像(即第一源域干净图像)；对该第二源域分割损失进行排序，从排序后的第二源域分割损失中选取满足预设损失条件的源域图像，确定为第二源域目标图像(即第二源域干净图像)。每个生成网络将这些干净图像交给其对等网络以进行下一个训练过程，以更新卷积层的参数。然后每个生成网络重新选择当前认为是最佳的干净数据，并以分层的方式微调其对等网络。在这个交换过程中，对等网络可以互相监督，减少噪声标签带来的训练误差。
205、电子设备根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像。
例如，电子设备具体可以根据该第一目标域分割损失对该第一生成对抗网络进行训练，利用训练结果生成第一目标域目标图像(即第一目标域图像的像素级伪标签)；根据该第二目标域分割损失对该第二生成对抗网络进行训练，利用训练结果生成第二目标域目标图像(即第二目标域图像的像素级伪标签)。然后将这些伪标签应用在下一阶段另一个网络训练过程中，以迭代的方式更新网络参数。而在每一阶段中，分割网络和判别网络以交替更新的方式一起训练。
206、电子设备利用第二源域目标图像和第二目标域目标图像对该第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
例如，具体可以采用第一生成对抗网络的生成网络，分别对第二源域目标图像和第二目标域目标图像进行分割，得到第二源域目标分割结果和第二目标域目标分割结果。接着，计算第二目标域目标图像的信息熵；采用第一生成对抗网络的判别网络，根据该第二源域目标分割结果、第二目标域目标分割结果、以及第二目标域目标图像的信息熵，得到第二目标判别结果。然后，根据该第二源域目标分割结果，和第二源域目标图像的标注结果，获取第二源域目标分割损失；根据该第二目标域目标分割结果，和第二目标域目标图像，获取第二目标域目标分割损失；根据第二源域目标分割结果和第二目标域目标分割结果，获取判别网络的第二目标判别损失。再然后，根据该第二源域目标分割损失和该第二目标域目标分割损失构建第一生成对抗网络的极小化对抗损失；根据该第二目标判别损失构建第一生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
207、电子设备利用第一源域目标图像和第一目标域目标图像对该第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
例如，电子设备具体可以采用第二生成对抗网络的生成网络，分别对第一源域目标图像和第一目标域目标图像进行分割，得到第一源域目标分割结果和第一目标域目标分割结果；计算第一目标域目标图像的信息熵，采用第二生成对抗网络的判别网络，根据该第一源域目标分割结果、第一目标域目标分割结果、以及第一目标域目标图像的信息熵，得到第一目标判别结果。接着，根据该第一源域目标分割结果，和第一源域目标图像的标注结果，获取第一源域目标分割损失；根据该第一目标域目标分割结果，和第一目标域目标图像，获取第一目标域目标分割损失；根据第一源域目标分割结果和第一目标域目标分割结果，获取判别网络的第一目标判别损失。然后，根据该第一源域目标分割损失和该第一目标域目标分割损失构建第二生成对抗网络的极小化对抗损失；根据该第一目标判别损失构建第二生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。再然后，根据第一源域目标分割损失、第一目标域目标分割损失和第一目标判别损失对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
208、电子设备基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
例如，电子设备具体可以基于该训练后的第一生成对抗网络的生成网络对待分割图像进行特征提取，得到待分割图像的特征信息，基于该待分割图像的特征信息对该待分割图像进行目标分割，得到待分割图像的分割预测概率，根据该分割预测概率生成该待分割图像的分割结果。比如，电子设备具体可以接收医疗影像设备采集到的眼底图像，然后，基于该训练后的第一生成对抗网络的生成网络对该眼底图像进行特征提取，得到眼底图像的特征信息，基于该眼底图像的特征信息对该眼底图像进行目标分割，得到眼底图像的分割预测概率，根据该分割预测概率生成该眼底图像的分割结果。
此外，为了验证本申请实施例提供的分割方案的带来效果，将本发明所提技术的实验结果和现有的一些算法作了比较，并将基于不同噪声程度任务的实验结果分别在表1和表2中进行了展示。其中，表1为从REFUGE训练集到REFUGE验证集的轻度噪声级别实验结果，表2为从REFUGE训练集到REFUGE验证集的轻度噪声级别实验结果，本方案在REFUGE和Drishti-GS数据集上的实验结果如图2d所示。其中，BDL为一种基于自监督学习的双向学习方法，用来减弱domain shift问题，以学习更好的分割模型，pOSAL为视网膜眼底青光眼挑战赛的OD和OC分割任务，BEAL提出了基于边缘和熵信息的对抗学习方法。在两个任务中，本申请所提方法在不同的噪声程度、噪声级别下的实验结果，其中，DICE是一种分割结果的衡量指标，用于计算标签Y和预测值p的相似程度，表示为：
Figure BDA0002381616180000281
表1从REFUGE训练集到REFUGE验证集的轻度噪声级别实验结果
Figure BDA0002381616180000291
表2从REFUGE训练集到REFUGE验证集的轻度噪声级别实验结果
Figure BDA0002381616180000301
由上可知，本申请实施例先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；由于该方案主要针对数据的标签存在着噪声，以及源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法。通过两个模型互相学习、互相监督的方式，有效地解决了噪声标签和无监督的图像分割任务，提高了图像分割的准确性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分割装置，该图像分割装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，如图3所示，该图像分割装置可以包括获取单元301、第一分割单元302、第二分割单元303、确定单元304、训练单元305和第三分割单元306，如下：
获取单元301，用于获取目标域图像、以及已标注目标信息的源域图像；
第一分割单元302，用于采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失；
第二分割单元303，用于采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失；
确定单元304，用于根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像；
训练单元305，用于利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络；
第三分割单元306，用于基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
可选的，在一些实施例中，该第一分割单元302可以包括第一提取子单元、第一分割子单元和第二分割子单元，如下：
该第一提取子单元，用于采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第一源域图像的特征信息和第一目标域图像的特征信息；
该第一分割子单元，用于基于该第一源域图像的特征信息，对该源域图像进行目标分割，确定第一源域分割损失；
该第二分割子单元，用于基于该第一目标域图像的特征信息，对该目标域图像进行目标分割，确定第一目标域分割损失。
可选的，在一些实施例中，该源域图像包括噪声图像和无噪声图像，该第一分割子单元，具体用于基于该第一源域图像的特征信息，对该源域图像中噪声图像进行目标分割，得到第一噪声分割概率；获取源域图像中噪声图像的权重图；根据该第一噪声分割概率，和噪声图像的权重图，获取第一噪声分割损失；基于该第一源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第一无噪声分割概率；根据第一无噪声分割概率，和无噪声图像的标注结果，获取第一无噪声分割损失；基于该第一噪声分割损失和该第一无噪声分割损失，确定第一源域分割损失。
可选的，在一些实施例中，该第二分割子单元，具体用于基于该第一目标域图像的特征信息，对该目标域图像进行目标分割，得到第一目标域分割概率；根据该第一目标域分割概率，生成第一目标域分割结果；根据该第一目标域分割结果、和该目标域图像，获取第一目标域分割损失。
可选的，在一些实施例中，该第二分割单元303可以包括第二提取子单元、第三分割子单元和第四分割子单元，如下：
该第二提取子单元，用于采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第二源域图像的特征信息和第二目标域图像的特征信息；
该第三分割子单元，用于基于该第二源域图像的特征信息，对该源域图像进行目标分割，确定第二源域分割损失；
该第四分割子单元，用于基于该第二目标域图像的特征信息，对该目标域图像进行目标分割，确定第二目标域分割损失。
可选的，在一些实施例中，该源域图像包括噪声图像和无噪声图像，该第三分割子单元，具体用于基于该第二源域图像的特征信息，对该源域图像中噪声图像进行目标分割，得到第二噪声分割概率；获取源域图像中噪声图像的权重图；根据该第二噪声分割概率，和噪声图像的权重图，获取第二噪声分割损失；基于该第二源域图像的特征信息，对该源域图像中无噪声图像进行目标分割，得到第二无噪声分割概率；根据第二无噪声分割概率，和无噪声图像的标注结果，获取第二无噪声分割损失；基于该第二噪声分割损失和该第二无噪声分割损失，确定第二源域分割损失。
可选的，在一些实施例中，该第四分割子单元，具体用于基于该第二目标域图像的特征信息，对该目标域图像进行目标分割，得到第二目标域分割概率；根据该第二目标域分割概率，生成第二目标域分割结果；根据该第二目标域分割结果、和该目标域图像，获取第二目标域分割损失。
可选的，在一些实施例中，该确定单元304可以包括第一确定子单元和第二确定子单元，如下：
该第一确定子单元，具体可以用于对该第一源域分割损失进行排序，从排序后的第一源域分割损失中选取满足预设损失条件的源域图像，确定为第一源域目标图像；对该第二源域分割损失进行排序，从排序后的第二源域分割损失中选取满足预设损失条件的源域图像，确定为第二源域目标图像。
该第二确定子单元，具体可以用于根据该第一目标域分割损失对该第一生成对抗网络进行训练，利用训练结果生成第一目标域目标图像；根据该第二目标域分割损失对该第二生成对抗网络进行训练，利用训练结果生成第二目标域目标图像。
可选的，在一些实施例中，该训练单元305可以包括第一训练子单元和第二训练子单元，如下：
该第一训练子单元，具体可以用于采用第一生成对抗网络的生成网络，分别对第二源域目标图像和第二目标域目标图像进行分割，得到第二源域目标分割结果和第二目标域目标分割结果；采用第一生成对抗网络的判别网络，对第二源域目标分割结果和第二目标域目标分割结果进行判别，得到第二目标判别结果；根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
该第二训练子单元，具体可以用于采用第二生成对抗网络的生成网络，分别对第一源域目标图像和第一目标域目标图像进行分割，得到第一源域目标分割结果和第一目标域目标分割结果；采用第二生成对抗网络的判别网络，对第一源域目标分割结果和第一目标域目标分割结果进行判别，得到第一目标判别结果；根据第一源域目标分割结果、第一目标域目标分割结果和第一目标判别结果对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，该第一训练子单元，具体可以用于计算第二目标域目标图像的信息熵；采用第一生成对抗网络的判别网络，根据该第二源域目标分割结果、第二目标域目标分割结果、以及第二目标域目标图像的信息熵，得到第二目标判别结果。
可选的，在一些实施例中，该第一训练子单元，具体可以用于根据该第二源域目标分割结果，和第二源域目标图像的标注结果，获取第二源域目标分割损失；根据该第二目标域目标分割结果，和第二目标域目标图像，获取第二目标域目标分割损失；根据第二源域目标分割结果和第二目标域目标分割结果，获取判别网络的第二目标判别损失；根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
可选的，在一些实施例中，该第一训练子单元，具体可以用于根据该第二源域目标分割损失和该第二目标域目标分割损失构建第一生成对抗网络的极小化对抗损失；根据该第二目标判别损失构建第一生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
可选的，在一些实施例中，该第二训练子单元，具体可以用于计算第一目标域目标图像的信息熵；采用第二生成对抗网络的判别网络，根据该第一源域目标分割结果、第一目标域目标分割结果、以及第一目标域目标图像的信息熵，得到第一目标判别结果。
可选的，在一些实施例中，该第二训练子单元，具体可以用于根据该第一源域目标分割结果，和第一源域目标图像的标注结果，获取第一源域目标分割损失；根据该第一目标域目标分割结果，和第一目标域目标图像，获取第一目标域目标分割损失；根据第一源域目标分割结果和第一目标域目标分割结果，获取判别网络的第一目标判别损失；根据第一源域目标分割损失、第一目标域目标分割损失和第一目标判别损失对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
可选的，在一些实施例中，该第二训练子单元，具体可以用于根据该第一源域目标分割损失和该第一目标域目标分割损失构建第二生成对抗网络的极小化对抗损失；根据该第一目标判别损失构建第二生成对抗网络的极大化对抗损失；基于该极小化对抗损失和该极大化对抗损失，对第二生成对抗网络进行迭代训练，得到训练后的第二生成对抗网络。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例先由获取单元301先获取目标域图像、以及已标注目标信息的源域图像，再由第一分割单元302采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及由第二分割单元303采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，由确定单元304根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后由训练单元305利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，由第三分割单元306基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；由于该方案主要针对数据的标签存在着噪声，以及源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法。通过两个模型互相学习、互相监督的方式，有效地解决了噪声标签和无监督的图像分割任务，提高了图像分割的准确性。
此外，本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例先获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果；由于该方案主要针对数据的标签存在着噪声，以及源域和目标域数据集之间的分布差异现象，提出了一种基于领域自适应策略的无监督鲁棒性分割方法。通过两个模型互相学习、互相监督的方式，有效地解决了噪声标签和无监督的图像分割任务，提高了图像分割的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分割方法中的步骤。例如，该指令可以执行如下步骤：
获取目标域图像、以及已标注目标信息的源域图像，再采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，以及采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，接着，根据该第一源域分割损失、该第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据该第一目标域分割损失、该第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，然后利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对该第一生成对抗网络和该第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，再然后，基于该训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分割方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像分割方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像分割方法，其特征在于，包括：
获取目标域图像、以及已标注目标信息的源域图像；
采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失；
采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失；
根据所述第一源域分割损失、所述第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据所述第一目标域分割损失、所述第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像；
利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对所述第一生成对抗网络和所述第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络；
基于所述训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
2.根据权利要求1所述的方法，其特征在于，所述采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失，包括：
采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第一源域图像的特征信息和第一目标域图像的特征信息；
基于所述第一源域图像的特征信息，对所述源域图像进行目标分割，确定第一源域分割损失；
基于所述第一目标域图像的特征信息，对所述目标域图像进行目标分割，确定第一目标域分割损失。
3.根据权利要求2所述的方法，其特征在于，所述源域图像包括噪声图像和无噪声图像，所述基于所述第一源域图像的特征信息，对所述源域图像进行目标分割，确定第一源域分割损失，包括：
基于所述第一源域图像的特征信息，对所述源域图像中噪声图像进行目标分割，得到第一噪声分割概率；
获取源域图像中噪声图像的权重图；
根据所述第一噪声分割概率，和噪声图像的权重图，获取第一噪声分割损失；
基于所述第一源域图像的特征信息，对所述源域图像中无噪声图像进行目标分割，得到第一无噪声分割概率；
根据第一无噪声分割概率，和无噪声图像的标注结果，获取第一无噪声分割损失；
基于所述第一噪声分割损失和所述第一无噪声分割损失，确定第一源域分割损失。
4.根据权利要求2所述的方法，其特征在于，基于所述第一目标域图像的特征信息，对所述目标域图像进行目标分割，确定第一目标域分割损失，包括：
基于所述第一目标域图像的特征信息，对所述目标域图像进行目标分割，得到第一目标域分割概率；
根据所述第一目标域分割概率，生成第一目标域分割结果；
根据所述第一目标域分割结果、和所述目标域图像，获取第一目标域分割损失。
5.根据权利要求1所述的方法，其特征在于，所述采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失，包括：
采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行特征提取，得到第二源域图像的特征信息和第二目标域图像的特征信息；
基于所述第二源域图像的特征信息，对所述源域图像进行目标分割，确定第二源域分割损失；
基于所述第二目标域图像的特征信息，对所述目标域图像进行目标分割，确定第二目标域分割损失。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一源域分割损失、所述第二源域分割损失确定第一源域目标图像和第二源域目标图像，包括：
对所述第一源域分割损失进行排序，从排序后的第一源域分割损失中选取满足预设损失条件的源域图像，确定为第一源域目标图像；
对所述第二源域分割损失进行排序，从排序后的第二源域分割损失中选取满足预设损失条件的源域图像，确定为第二源域目标图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标域分割损失、所述第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像，包括：
根据所述第一目标域分割损失对所述第一生成对抗网络进行训练，利用训练结果生成第一目标域目标图像；
根据所述第二目标域分割损失对所述第二生成对抗网络进行训练，利用训练结果生成第二目标域目标图像。
8.根据权利要求1所述的方法，其特征在于，所述利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对所述第一生成对抗网络和所述第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络，包括：
采用第一生成对抗网络的生成网络，分别对第二源域目标图像和第二目标域目标图像进行分割，得到第二源域目标分割结果和第二目标域目标分割结果；
采用第一生成对抗网络的判别网络，对第二源域目标分割结果和第二目标域目标分割结果进行判别，得到第二目标判别结果；
根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络；
采用第二生成对抗网络的生成网络，分别对第一源域目标图像和第一目标域目标图像进行分割，得到第一源域目标分割结果和第一目标域目标分割结果；
采用第二生成对抗网络的判别网络，对第一源域目标分割结果和第一目标域目标分割结果进行判别，得到第一目标判别结果；
根据第一源域目标分割结果、第一目标域目标分割结果和第一目标判别结果对第二生成对抗网络进行训练，得到训练后的第二生成对抗网络。
9.根据权利要求8所述的方法，其特征在于，所述采用第一生成对抗网络的判别网络，对第二源域目标分割结果和第二目标域目标分割结果进行判别，得到第二目标判别结果，包括：
计算第二目标域目标图像的信息熵；
采用第一生成对抗网络的判别网络，根据所述第二源域目标分割结果、第二目标域目标分割结果、以及第二目标域目标图像的信息熵，得到第二目标判别结果。
10.根据权利要求8所述的方法，其特征在于，所述根据第二源域目标分割结果、第二目标域目标分割结果和第二目标判别结果对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络，包括：
根据所述第二源域目标分割结果，和第二源域目标图像的标注结果，获取第二源域目标分割损失；
根据所述第二目标域目标分割结果，和第二目标域目标图像，获取第二目标域目标分割损失；
根据第二源域目标分割结果和第二目标域目标分割结果，获取判别网络的第二目标判别损失；
根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络。
11.根据权利要求10所述的方法，其特征在于，所述根据第二源域目标分割损失、第二目标域目标分割损失和第二目标判别损失对第一生成对抗网络进行训练，得到训练后的第一生成对抗网络，包括：
根据所述第二源域目标分割损失和所述第二目标域目标分割损失构建第一生成对抗网络的极小化对抗损失；
根据所述第二目标判别损失构建第一生成对抗网络的极大化对抗损失；
基于所述极小化对抗损失和所述极大化对抗损失，对第一生成对抗网络进行迭代训练，得到训练后的第一生成对抗网络。
12.一种图像分割装置，其特征在于，包括：
获取单元，用于获取目标域图像、以及已标注目标信息的源域图像；
第一分割单元，用于采用第一生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第一源域分割损失和第一目标域分割损失；
第二分割单元，用于采用第二生成对抗网络中的生成网络分别对源域图像和目标域图像进行分割，确定第二源域分割损失和第二目标域分割损失；
确定单元，用于根据所述第一源域分割损失、所述第二源域分割损失确定第一源域目标图像和第二源域目标图像，以及根据所述第一目标域分割损失、所述第二目标域分割损失确定第一目标域目标图像和第二目标域目标图像；
训练单元，用于利用第一源域目标图像、第一目标域目标图像、第二源域目标图像以及第二目标域目标图像对所述第一生成对抗网络和所述第二生成对抗网络进行交叉训练，得到训练后的第一生成对抗网络；
第三分割单元，用于基于所述训练后的第一生成对抗网络的生成网络对待分割图像进行分割，得到分割结果。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11中任一项所述的图像分割方法中的步骤。
14.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至11任一项所述方法的步骤。
CN202010084625.6A 2020-02-10 2020-02-10 图像分割方法、装置和存储介质 Active CN111340819B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010084625.6A CN111340819B (zh) 2020-02-10 2020-02-10 图像分割方法、装置和存储介质
PCT/CN2020/124673 WO2021159742A1 (zh) 2020-02-10 2020-10-29 图像分割方法、装置和存储介质
EP20919226.9A EP4002271A4 (en) 2020-02-10 2020-10-29 METHOD AND APPARATUS FOR IMAGE SEGMENTATION AND STORAGE MEDIA
JP2022523505A JP7268248B2 (ja) 2020-02-10 2020-10-29 画像分割方法、装置及びコンピュータプログラム
US17/587,825 US20220148191A1 (en) 2020-02-10 2022-01-28 Image segmentation method and apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084625.6A CN111340819B (zh) 2020-02-10 2020-02-10 图像分割方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111340819A true CN111340819A (zh) 2020-06-26
CN111340819B CN111340819B (zh) 2023-09-12

Family

ID=71186799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084625.6A Active CN111340819B (zh) 2020-02-10 2020-02-10 图像分割方法、装置和存储介质

Country Status (5)

Country Link
US (1) US20220148191A1 (zh)
EP (1) EP4002271A4 (zh)
JP (1) JP7268248B2 (zh)
CN (1) CN111340819B (zh)
WO (1) WO2021159742A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861909A (zh) * 2020-06-29 2020-10-30 南京理工大学 一种网络细粒度图像去噪分类方法
CN111986202A (zh) * 2020-10-26 2020-11-24 平安科技（深圳）有限公司 青光眼辅助诊断装置、方法及存储介质
CN112419326A (zh) * 2020-12-02 2021-02-26 腾讯科技（深圳）有限公司 图像分割数据处理方法、装置、设备及存储介质
WO2021159742A1 (zh) * 2020-02-10 2021-08-19 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
CN113627433A (zh) * 2021-06-18 2021-11-09 中国科学院自动化研究所 基于数据扰动的跨域自适应语义分割方法及装置
CN113657389A (zh) * 2021-07-29 2021-11-16 中国科学院软件研究所 一种软件定义卫星语义分割方法、装置和介质
CN113936143A (zh) * 2021-09-10 2022-01-14 北京建筑大学 基于注意力机制和生成对抗网络的图像识别泛化方法
WO2022199225A1 (zh) * 2021-03-26 2022-09-29 北京沃东天骏信息技术有限公司 解码方法、装置和计算机可读存储介质
WO2022242352A1 (zh) * 2021-05-21 2022-11-24 北京沃东天骏信息技术有限公司 构建图像语义分割模型和图像处理的方法、装置、电子设备及介质
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
WO2023024418A1 (zh) * 2021-08-25 2023-03-02 平安科技（深圳）有限公司 杯盘比确定方法、装置、设备及存储介质
JP7386370B1 (ja) 2022-09-09 2023-11-24 之江実験室 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468294B2 (en) * 2020-02-21 2022-10-11 Adobe Inc. Projecting images to a generative model based on gradient-free latent vector determination
JP6800453B1 (ja) * 2020-05-07 2020-12-16 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN113221905B (zh) * 2021-05-18 2022-05-17 浙江大学 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质
CN113706547B (zh) * 2021-08-27 2023-07-18 北京航空航天大学 一种基于类别同异性引导的无监督域适应语义分割方法
CN114529878B (zh) * 2022-01-21 2023-04-25 四川大学 一种基于语义感知的跨域道路场景语义分割方法
CN116092164B (zh) * 2023-02-01 2023-12-26 中国科学院自动化研究所 人脸图像重演方法、装置、电子设备及存储介质
CN117911804A (zh) * 2023-05-09 2024-04-19 宁波大学 基于自纠正伪双模型的半监督分割模型、训练方法与应用
CN116486408B (zh) * 2023-05-12 2024-04-05 国家基础地理信息中心 遥感图像跨域语义分割方法及装置
CN117994273A (zh) * 2023-12-11 2024-05-07 重庆理工大学 基于重参数化与卷积块注意力的息肉分割算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
CN110570433A (zh) * 2019-08-30 2019-12-13 北京影谱科技股份有限公司 基于生成对抗网络的图像语义分割模型构建方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773800B2 (en) * 2001-06-06 2010-08-10 Ying Liu Attrasoft image retrieval
US10474929B2 (en) 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation
US20190130220A1 (en) * 2017-10-27 2019-05-02 GM Global Technology Operations LLC Domain adaptation via class-balanced self-training with spatial priors
CN108256561B (zh) * 2017-12-29 2020-06-16 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
US10482600B2 (en) 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
CN108197670B (zh) * 2018-01-31 2021-06-15 国信优易数据股份有限公司 伪标签生成模型训练方法、装置及伪标签生成方法及装置
JP6893194B2 (ja) 2018-05-28 2021-06-23 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US12042320B2 (en) 2018-07-30 2024-07-23 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN109255390B (zh) 2018-09-30 2021-01-29 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN109345455B (zh) 2018-09-30 2021-01-26 京东方科技集团股份有限公司 图像鉴别方法、鉴别器和计算机可读存储介质
CN109829894B (zh) * 2019-01-09 2022-04-26 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN109902809B (zh) * 2019-03-01 2022-08-12 成都康乔电子有限责任公司 一种利用生成对抗网络辅助语义分割模型
CN110322446B (zh) * 2019-07-01 2021-02-19 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110490884B (zh) * 2019-08-23 2023-04-28 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN111340819B (zh) * 2020-02-10 2023-09-12 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110570433A (zh) * 2019-08-30 2019-12-13 北京影谱科技股份有限公司 基于生成对抗网络的图像语义分割模型构建方法和装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159742A1 (zh) * 2020-02-10 2021-08-19 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
CN111861909A (zh) * 2020-06-29 2020-10-30 南京理工大学 一种网络细粒度图像去噪分类方法
CN111861909B (zh) * 2020-06-29 2023-06-16 南京理工大学 一种网络细粒度图像分类方法
CN111986202A (zh) * 2020-10-26 2020-11-24 平安科技（深圳）有限公司 青光眼辅助诊断装置、方法及存储介质
CN112419326A (zh) * 2020-12-02 2021-02-26 腾讯科技（深圳）有限公司 图像分割数据处理方法、装置、设备及存储介质
CN112419326B (zh) * 2020-12-02 2023-05-23 腾讯科技（深圳）有限公司 图像分割数据处理方法、装置、设备及存储介质
WO2022199225A1 (zh) * 2021-03-26 2022-09-29 北京沃东天骏信息技术有限公司 解码方法、装置和计算机可读存储介质
WO2022242352A1 (zh) * 2021-05-21 2022-11-24 北京沃东天骏信息技术有限公司 构建图像语义分割模型和图像处理的方法、装置、电子设备及介质
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115409764B (zh) * 2021-05-28 2024-01-09 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN113627433A (zh) * 2021-06-18 2021-11-09 中国科学院自动化研究所 基于数据扰动的跨域自适应语义分割方法及装置
CN113627433B (zh) * 2021-06-18 2024-04-09 中国科学院自动化研究所 基于数据扰动的跨域自适应语义分割方法及装置
CN113657389A (zh) * 2021-07-29 2021-11-16 中国科学院软件研究所 一种软件定义卫星语义分割方法、装置和介质
WO2023024418A1 (zh) * 2021-08-25 2023-03-02 平安科技（深圳）有限公司 杯盘比确定方法、装置、设备及存储介质
CN113936143B (zh) * 2021-09-10 2022-07-01 北京建筑大学 基于注意力机制和生成对抗网络的图像识别泛化方法
CN113936143A (zh) * 2021-09-10 2022-01-14 北京建筑大学 基于注意力机制和生成对抗网络的图像识别泛化方法
JP7386370B1 (ja) 2022-09-09 2023-11-24 之江実験室 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム
JP2024039598A (ja) * 2022-09-09 2024-03-22 之江実験室 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム

Also Published As

Publication number Publication date
WO2021159742A1 (zh) 2021-08-19
US20220148191A1 (en) 2022-05-12
JP2022554120A (ja) 2022-12-28
EP4002271A1 (en) 2022-05-25
CN111340819B (zh) 2023-09-12
EP4002271A4 (en) 2022-12-14
JP7268248B2 (ja) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111340819B (zh) 图像分割方法、装置和存储介质
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN111199550A (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
Li et al. Accurate retinal vessel segmentation in color fundus images via fully attention-based networks
US11410306B2 (en) Method, apparatus, system, and storage medium for recognizing medical image
Bhanumathi et al. CNN based training and classification of MRI brain images
Zhang et al. Hybrid graph convolutional network for semi-supervised retinal image classification
CN113673244B (zh) 医疗文本处理方法、装置、计算机设备和存储介质
CN116563707B (zh) 一种基于图文多模态特征融合的枸杞虫害识别方法
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
Hu et al. A Hybrid Convolutional Neural Network Model Based on Different Evolution for Medical Image Classification.
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
CN117976215A (zh) 一种用于心血管疾病检查项目的推荐方法、设备和介质
Xu et al. Application of artificial intelligence technology in medical imaging
Yuan et al. Pulmonary arteries segmentation from CT images using PA‐Net with attention module and contour loss
Aguirre Nilsson et al. Classification of ulcer images using convolutional neural networks
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN116994695A (zh) 报告生成模型的训练方法、装置、设备及存储介质
Pan et al. Self-paced learning with diversity for medical image segmentation by using the query-by-committee and dynamic clustering techniques
Zhang et al. Research on attribute reduction algorithm with weights
Wang et al. [Retracted] Study on Automatic Multi‐Classification of Spine Based on Deep Learning and Postoperative Infection Screening
Ishwerlal et al. Lung disease classification using chest X ray image: An optimal ensemble of classification with hybrid training
Mesbahi et al. Automatic segmentation of medical images using convolutional neural networks
Laroui et al. Comparative study of performing features applied in CNN architectures
Qiao et al. Fuzzy deep medical diagnostic system: gray relation framework and the guiding functionalities for the professional sports club social responsibility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024364

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant