CN110148142B - 图像分割模型的训练方法、装置、设备和存储介质 - Google Patents
图像分割模型的训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110148142B CN110148142B CN201910448095.6A CN201910448095A CN110148142B CN 110148142 B CN110148142 B CN 110148142B CN 201910448095 A CN201910448095 A CN 201910448095A CN 110148142 B CN110148142 B CN 110148142B
- Authority
- CN
- China
- Prior art keywords
- discriminator
- image
- segmentation
- result
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Abstract
本申请提供了一种图像分割模型的训练方法、装置、设备和存储介质。所述方法包括:采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型;通过预训练的图像分割模型,提取源域图像的预测分割结果和目标域图像的预测分割结果;采用源域图像的预测分割结果和目标域图像的预测分割结果,对第一判别器进行训练;采用源域图像的预测分割结果和源域图像的标准分割结果,对第二判别器进行训练;根据预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数,对预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型,使对目标域图像的分割结果更加准确。
Description
技术领域
本申请实施例涉及图像识别技术领域,特别涉及一种图像分割模型的训练方法、装置、设备和存储介质。
背景技术
图像分割是指对图像中的每个像素进行分类,并标注出目标区域。图像分割可以应用于医疗图像分析、无人车驾驶、地理信息系统、水下物体检测等领域。例如,在医疗图像分析领域,图像分割可用于实现如肿瘤和其它病灶的定位、组织体积的测量、解剖学结构的研究等工作。
传统的图像分割方法依赖于大量的已标注的图像,且该方法的前提假设是训练图像集(即源域图像)和测试图像集(即目标域图像)的数据分布相一致。但是,在实际应用中,复杂多样的图像数据分布很难满足这一前提假设,因此导致在特定图像集上训练的模型泛化能力差,在来自不同域的图像集或者有域变化的图像集上的测试性能下降很多。
在相关技术中,在训练图像分割模型的过程中,是将源域图像和目标域图像在特征空间对齐,使得最终训练得到的模型可以在特征空间适应于目标域图像。但是,从特征空间传递至输出空间,图像还会经过多步处理,从而导致目标域图像在输出空间输出的图像分割结果不够准确。
发明内容
本申请实施例提供了一种图像分割模型的训练方法、装置、设备和存储介质,可用于解决相关技术中,图像分割结果不够准确的问题。所述技术方案如下:
一方面,本申请实施例提供了一种图像分割模型的训练方法,所述方法包括:
采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型,所述源域样本包括源域图像和所述源域图像的标准分割结果;
通过所述预训练的图像分割模型,提取所述源域图像的预测分割结果和目标域图像的预测分割结果;
采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练;其中,所述第一判别器用于判别输入的分割结果来自于源域还是目标域;
采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练;其中,所述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果;
根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
另一方面,本申请实施例提供了一种图像分割方法,所述方法包括:
获取来自目标域的待分割图像;
调用完成训练的图像分割模型处理所述待分割图像,得到所述待分割图像的分割结果,所述完成训练的图像分割模型是通过第一判别器和第二判别器,在输出空间采用对抗学习对图像分割模型进行训练得到的;
其中,所述第一判别器用于在训练所述图像分割模型的过程中,减小目标域图像的预测分割结果与源域图像的预测分割结果之间的差异;所述第二判别器用于在训练所述图像分割模型的过程中,减小所述源域图像的预测分割结果与所述源域图像的标准分割结果之间的差异。
还一方面,本申请实施例提供了一种图像分割模型的训练装置,所述装置包括:
第一训练模块,用于采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型,所述源域样本包括源域图像和所述源域图像的标准分割结果;
结果提取模块,用于通过所述预训练的图像分割模型,提取所述源域图像的预测分割结果和目标域图像的预测分割结果;
第二训练模块,用于采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练;其中,所述第一判别器用于判别输入的分割结果来自于源域还是目标域;
第三训练模块,用于采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练;其中,所述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果;
第四训练模块,用于根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
再一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像分割模型的训练方法,或者实现上述图像分割方法。
再一方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像分割模型的训练方法,或者实现上述图像分割方法。
又一方面,本申请实施例提供一种计算机程序产品,当该计算机程序产品被执行时,其用于执行上述图像分割模型的训练方法,或者实现上述图像分割方法。
本申请实施例提供的技术方案可以包括如下有益效果:
本申请实施例提供的技术方案中,通过经源域样本预训练的图像分割模型,提取源域图像和目标域图像的预测分割结果,进一步将源域图像和目标域图像的预测分割结果输入至第一判别器,将源域图像的预测分割结果和源域图像的标准分割结果输入至第二判别器,采用对抗学习思想对预训练的图像分割模型进行再训练,如此迭代循环训练直至模型收敛,得到完成训练的图像分割模型。本申请提供的技术方案将源域图像和目标域图像在输出空间进行对齐,使得完成训练的图像分割模型可以在输出空间减小源域图像和目标域图像之间的差别,降低所训练的图像分割模型在对目标域分割的误差,进一步使得目标域图像的分割结果更加准确。
附图说明
图1是本申请一个实施例提供的图像分割模型的训练方法的流程图;
图2示例性示出了图像分割模型训练方法的流程示意图;
图3是本申请另一个实施例提供的图像分割模型的训练方法的流程图;
图4示例性示出了不同分割方式下的分割结果的示意图;
图5示出了不同分割方式下脑肿瘤分割结果的示例图;
图6示出了不同分割方式下脊髓灰质分割结果的示例图;
图7是本申请一个实施例提供的图像分割模型的训练装置的框图;
图8是本申请一个实施例提供的图像分割模型的训练装置的框图;
图9是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图像分割是指对图像中的每个像素进行分类,并标注出目标区域。图像分割可以应用于医疗图像分析、无人车驾驶、地理信息系统、水下物体检测等领域。在医疗图像分析领域,图像分割可用于实现如肿瘤和其它病灶的定位、组织体积的测量、解剖学结构的研究等。在无人车驾驶领域,图像分割可用于在车载摄像头或者激光雷达获取到环境图像后,对环境图像进行处理,检测地面并识别出可通行区域,进而规划出行驶路径。在地理信息系统领域,图像分割可用于在采集到卫星遥感影像后,对卫星遥感影像进行处理,识别道路、河流、庄稼、建筑物等,并对影像中的每个像素进行标注。
本申请实施例提供的技术方案中,基于DCNNs(Deep Convolutional NeuralNetworks,深度卷积神经网络)和对抗学习思想提出了一种在输出空间进行领域自适应的图像分割模型。通过经源域样本预训练的图像分割模型,提取源域图像和目标域图像的预测分割结果,进一步将源域图像和目标域图像的预测分割结果输入至第一判别器,将源域图像的预测分割结果和源域图像的标准分割结果输入至第二判别器,采用对抗学习思想对预训练的图像分割模型进行循环训练迭代直至模型收敛,得到完成训练的图像分割模型。本申请提供的技术方案将源域图像和目标域图像在输出空间进行对齐,使得完成训练的图像分割模型可以在输出空间减小源域图像和目标域图像之间的差别,降低所训练的图像分割模型在对目标域分割的误差,进一步使得目标域图像的分割结果更加准确。
本申请实施例提供的方法,各步骤的执行主体可以是计算机设备,该计算机设备是指具备数据计算、处理和存储能力的电子设备,如PC(Personal Computer,个人计算机)或服务器。
请参考图1,其示出了本申请一个实施例提供的图像分割模型的训练方法的流程图。该方法可以包括以下几个步骤(101~105):
步骤101,采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型。
上述源域样本包括源域图像和源域图像的标准分割结果。该源域图像可以是图像采集装置(如摄像头、医疗设备、激光雷达等)采集的图像,也可以是预先存储在本地的图像,还可以是从网络上获取的图像,本申请实施例对此不作限定。另外,上述源域图像可以是图片格式的图像,也可以是视频图像,在本申请实施例中,对上述源域图像的格式也不作限定。
上述源域图像中存在有目标区域,该目标区域可以是用户感兴趣的区域,如一张风景图像中的人物区域、动物区域、植物区域或其它指定区域;也可以是一张医疗图像中的组织器官区域、细胞区域或病灶区域等,本申请实施例对此不作限定。
上述源域图像的标准分割结果是指准确标注出目标区域的源域图像,即真实的分割标签。该标准分割结果可以是由专业人员人工标注的。
以上述源域图像为医疗图像为例,目标区域可以是该医疗图像中的病灶区域,则上述源域图像的标准分割结果是在该医疗图像中,准确标注病灶区域后的医疗图像,有利于临床诊治和医疗研究。如对于病人身体某个部位的一张医疗图像,若图像中存在肿瘤区域,临床医生或其他相关人员需要得到较为准确的肿瘤区域位置以便于临床诊治和医疗研究,则肿瘤区域即为医疗图像的目标区域。上述图像分割模型用于在输入该图像分割模型的图像中分割出目标区域,得到输入图像对应的分割结果。由于源域样本包括源域图像和源域图像的标准分割结果,因此可以采用源域样本来训练初始的图像分割模型,更新该初始的图像分割模型的相关参数,从而得到预训练的图像分割模型,该预训练的图像分割模型相较于初始的图像分割模型,针对同一张图像的分割结果更加准确。
上述图像分割模型的框架结构可以是CNN(Convolutional Neural Networks,卷积神经网络)、DCNN、ResNet(Residual Neural Network,残差网络)、DenseNet(DenselyConnected Convolutional Networks,稠密的卷积神经网络)等等,还可以是其它可用于图像分割的模型结构,本申请实施例对此不作限定。
步骤102,通过预训练的图像分割模型,提取源域图像的预测分割结果和目标域图像的预测分割结果。
上述目标域图像是与源域图像属于同一类任务的图像,但图像数据分布不同。例如,在医疗图像分析领域,目标域图像和源域图像均是为了检测肿瘤区域,但是目标域图像和源域图像是来自不同的采集设备,或者来自不同的医院或不同中心,均会导致目标域图像和源域图像的分布有较大的差异。还例如目标域图像是CT(Computed Tomography,电子计算机断层扫描)图像,源域图像是MRI(Magnetic Resonance Imaging,核磁共振图像),由于不同的两种医疗图像侧重表现的信息不同,导致肿瘤区域在CT图像和MRI图像中的分布存在差异。再例如,在无人车驾驶领域,目标域图像和源域图像均是为了标识地面识别可通行区域,但目标域图像是采用车载摄像头获取的,源域图像是采用激光雷达获取的,由于不同设备采集的图像表现形式不同,导致地面以及可通行区域存在差异。
以医疗图像为例,由于医疗图像有多种模态,如MRI、CT、PET(Positron EmissionComputed Tomography,正电子发射型计算机断层显像)、PD(Proton Density WeightedImages,质子密度加权图像)等等,而不同模态的医疗图像对于同一区域的分布会有不同程度的改变,这就是域变化问题;同样的,当采集的医疗图像是来自不同医院(中心)的不同的影像设备时,其相同模态的医疗图像的数据分布也存在较大差异,这也是域变化问题。上述目标域图像和源域图像可以都是为了分割出脑肿瘤组织,但目标域图像和源域图像是来自不同中心或者不同医院的医疗图像,即目标域图像和源域图像中肿瘤区域的分布不相同。
上述源域图像的预测分割结果是指通过图像分割模型在源域图像中标注出目标区域后的图像。上述目标域图像的预测分割结果是指通过图像分割模型在目标域图像中标注出目标区域后的图像。
将源域图像和目标域图像输入至预训练的图像分割模型之后,图像分割模型可以获取到源域图像和目标域图像各自的特征图,然后对特征图中每个像素点所属的类别信息进行标注,以标注出目标区域,即得到图像的预测分割结果。继续以在医疗图像中分割肿瘤区域为例,图像分割模型需要区分图像中每个像素点是否属于肿瘤区域,并对属于肿瘤区域的像素点进行标注,从而得到分割出肿瘤区域的图像。
步骤103,采用源域图像的预测分割结果和目标域图像的预测分割结果,对第一判别器进行训练。
在提取到源域图像的预测分割结果和目标域图像的预测分割结果之后,将上述分割结果输入第一判别器,以训练该第一判别器。其中,上述第一判别器用于判别输入的分割结果来自于源域还是目标域。通过对第一判别器训练,可以使得训练后的第一判别器尽可能准确地判别出输入的分割结果是来自源于还是目标域。
可选地,上述判别器可以采用CNNs构建。示例性地,该CNNs可以包括多个卷积层,如包括5个卷积层,每个卷积层的卷积核尺寸(kernel size)为2,步长(stride)为2,填充(padding)为1。另外,前4层中每一层后都可以跟随一个激活函数层,该激活函数层可以是leaky ReLU层、ReLU层、RReLU层等;最后一层卷积层的输出为2,对应于判别器判别的输入的预测分割结果的类别,如来自源域和来自目标域。
步骤104,采用源域图像的预测分割结果和源域图像的标准分割结果,对第二判别器进行训练。
在提取到源域图像的预测分割结果之后,还可以将该分割结果和源域图像的标准分割结果输入第二判别器,以训练该第二判别器。其中,上述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果。通过对第二判别器训练,可以使得训练后的第二判别器尽可能准确地判别出输入的分割结果是预测分割结果还是标准分割结果。
可选地,上述第二判别器也可以采用CNNs构建,其结构可以与第一判别器的结构相同或不同,本申请实施例对此不作限定。
步骤105,根据预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数,对预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
上述预训练的图像分割模型的损失函数用于衡量图像分割模型的分割准确度。
上述第一判别器的对抗损失函数用于衡量目标域图像的预测分割结果与源域图像的预测分割结果之间的差异程度。目标域图像的预测分割结果与源域图像的预测分割结果输入至第一判别器进行对抗学习,其中,第一判别器需要尽可能地判别出输入的分割结果是来自源域还是目标域,而图像分割模型需要尽可能地将目标域图像准确分割,以使得第一判别器将目标域图像的分割结果判别为来自于源域。通过这样一个对抗学习的过程,以提高图像分割模型的分割的准确度。
上述第二判别器的对抗损失函数用于衡量源域图像的预测分割结果与源域图像的标准分割结果之间的差异程度。源域图像的预测分割结果与源域图像的标准分割结果输入至第二判别器进行对抗学习,其中,第二判别器需要尽可能地判别出输入的分割结果是源域图像的预测分割结果还是标准分割结果,而图像分割模型需要尽可能地将源域图像准确分割,以使得第二判别器将源域图像的预测分割结果判别为标准分割结果。通过这样一个对抗学习的过程,以减小源域图像的预测分割结果和源域图像的标准分割结果之间的差异。
通过预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数,对预训练的图像分割模型进行循环训练,直至模型收敛,得到完成训练的图像分割模型。上述对预训练的图像分割模型进行循环训练包括重复执行上述步骤102至步骤105,根据每轮训练得到的图像分割模型的损失函数的值、第一判别器的对抗损失函数的值以及第二判别器的对抗损失函数的值不断调整图像分割模型的参数,直至模型收敛,得到完成训练的图像分割模型。该完成训练的图像分割模型可以减小源域图像和目标域图像之间的差别,降低所训练的图像分割模型在对目标域分割的误差,进一步使得目标域图像在输出空间输出的图像视觉信息更加准确。
结合参考图2,其示例性示出了图像分割模型训练方法的流程示意图。其中,XS表示源域图像,YS表示源域图像的标准分割结果,XT表示目标域图像,PS表示源域图像的分割结果,PT表示目标域图像的分割结果,LD1(PT)表示第一判别器的判别损失函数,LAdv1(XT)表示第一判别器的对抗损失函数,LD2(PS)表示第二判别器的判别损失函数,LAdv2(XS)表示第二判别器的对抗损失函数,LSeg(XS)表示预训练的图像分割模型的损失函数。
如图2所示,将源域图像和目标域图像输入至图像分割模型,该图像分割模型可以是经过预训练的图像分割模型,得到源域图像的分割结果和目标域图像的分割结果;将源域图像的分割结果和目标域图像的分割结果输入至第一判别器,得到第一判别器的判别结果,进一步得到第一判别器的判别损失函数和对抗损失函数;将源域图像的分割结果以及源域图像的标准分割结果输入至第二判别器,得到第二判别器的判别结果,进一步得到第二判别器的判别损失函数和对抗损失函数;之后,将预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数反馈至图像分割模型,通过最小化图像分割模型的损失函数的值与两个对抗损失函数加权和的值,并最大化第一判别器的判别损失函数以及第二判别器的判别损失函数的值,来调整预训练的图像分割模型的参数,得到完成训练的图像分割模型。该完成训练的图像分割模能够准确分割来自目标域的图像,具有良好的分割性能和泛化能力。
本申请实施例提供的技术方案,可应用于AI(Artificial Intelligence,人工智能)领域的图像分割任务的模型训练过程中,特别适用于训练数据集有域变化问题的数据集的图像分割模型的训练过程中。以对不同模态的医疗图像的分割任务为例,训练数据集可以包括多张从不同的医疗设备拍摄的医疗图像。在这种应用场景下,其输入是一张从医疗图像,输出是分割出病灶区域分割结果;然后通过第一判别器和第二判别器优化图像分割网络,图像分割模型预测出的源域图像的分割结果和目标域图像的分割结果尽可能的与源域图像的标准分割结果靠近,最终训练出更准确地图像分割模型,辅助医生做出病灶诊断分析。
综上所述,本申请实施例提供的技术方案中,通过经源域样本预训练的图像分割模型,提取源域图像和目标域图像的预测分割结果,进一步将源域图像和目标域图像的预测分割结果输入至第一判别器,将源域图像的预测分割结果和源域图像的标准分割结果输入至第二判别器,采用对抗学习思想对预训练的图像分割模型进行迭代循环训练,直至模型收敛,得到完成训练的图像分割模型。本申请提供的技术方案将源域图像和目标域图像在输出空间进行对齐,使得完成训练的图像分割模型可以在输出空间减小源域图像和目标域图像之间的差别,降低所训练的图像分割模型在对目标域分割的误差,进一步使得目标域图像的分割结果更加准确。
另外,在本申请实施例中,在第一判别器的基础上,通过第二判别器进一步训练图像分割模型,使得图像分割模型预测出的源域图像的分割结果和目标域图像的分割结果尽可能的与源域图像的标准分割结果靠近,进一步提升模型的精度。
请参考图3,其示出了本申请另一个实施例提供的图像分割模型的训练方法的流程图。该方法可以包括以下几个步骤(301~312):
步骤301,采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型。
上述源域样本包括源域图像和所述源域图像的标准分割结果。
在本申请实施例中,上述图像分割模型可以是DeepLabv3+模型。DeepLabv3+模型中包括ASPP(Atrous Spatial Pyramid Pooling,空间金字塔池化)模块和编码-解码(encoder-decoder)结构,融合了两者的优点;ASPP可以通过池化操作在多个不同的比率和不同的感受野来编码数据中不同尺度的纹理信息,而编码-解码结构可以通过逐步的恢复空间信息来获取物体更加清晰的边界信息。
在一些其它实施例中,上述图像分割模型也可以是DeepLabv2模型、RefineNet模型、ResNet模型等等,本公开实施例对此不作限定。
步骤302,通过预训练的图像分割模型,提取源域图像的预测分割结果和目标域图像的预测分割结果。
在一种可能的实施方式中,在使用源域样本训练得到预训练的图像分割模型之后,再次将该源域样本输入至预训练的图像分割模型,以提取该源域图像的预测分割结果。
在另一种可能的实施方式中,在上述步骤301中,源域样本包括第一样本集和第二样本集,可以使用第一样本集对初始的图像分割模型进行训练,以得到预训练的图像分割模型;之后,可以使用第二样本集对预训练的图像分割模型进行再训练。此时,预训练的图像分割模型的输入是源域样本中的第二样本集,则提取的是该第二样本集中源域图像的预测分割结果。
关于目标域图像已在图1实施例中进行了介绍,此处不再赘述。将目标域图像输入至预训练的图像分割模型,以便提取该目标域图像的预测分割结果。
步骤303,将源域图像的预测分割结果和目标域图像的预测分割结果分别输入至第一判别器,得到第一判别器的判别结果。
上述第一判别器用于判别输入的分割结果来自于源域还是目标域,即该第一判别器执行二分类任务。例如,第一判别器的结果可以是0或1,当结果为0时,表示输入的分割结果是来自于源域;当结果为1时,表示输入的分割结果是来自于目标域。
步骤304,根据第一判别器的判别结果,计算第一判别器的判别损失函数的值。
其中,第一判别器的判别损失函数用于衡量第一判别器的判别准确度。
上述第一判别器的判别损失函数LD1(PT)可以表示为:
LD1(PT)=-∑h,w(1-z)log(D(PT)(h,w,0))+zlog(D(PT)(h,w,1));
其中,z为常数,当z=1时表示图像为目标域图像,z=0时表示图像为源域图像。
PT为目标域图像的预测分割结果,其可以表示为:
PT=GSeg(XT);
其中,Gseg表示图像分割模型;XT表示目标域图像;且PT∈RH×W×C,上述H和W分别表示目标域图像的预测分割的高和宽,C表示分割的类目。
步骤305,通过最小化第一判别器的判别损失函数的值,来调整第一判别器的参数。
由于判别损失函数的值反映了第一判别器的判别准确度,且与判别准确度成反比,也即,判别损失函数的值越小,第一判别器判别准确度越高。因此,在训练过程中,可以通过最小化该判别损失函数的值,来调整第一判别器的参数,使得第一判别器尽可能准确地判别出输入的分割结果是来自于源域还是目标域。
步骤306,根据第一判别器针对目标域图像的预测分割结果的判别结果,计算第一判别器的对抗损失函数的值。
其中,第一判别器的对抗损失函数用于衡量目标域图像的预测分割结果与源域图像的预测分割结果之间的差异程度。
上述对抗损失函数LAdv1(XT)可以表示为:
LAdv1(XT)=-∑h,wLMAE(D(PT)(h,w,1),z);
其中,XT表示目标域图像,LMAE表示平均绝对误差函数,z=0表示输入至判别器的分割结果是来自源域。
步骤307,将源域图像的预测分割结果和源域图像的标准分割结果分别输入至第二判别器,得到第二判别器的判别结果。
上述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果,该第二判别器同样执行二分类任务。例如,第二判别器的结果可以是0至1之间的数,当结果为0时,表示输入的分割结果是来自于源域;当结果为1时,表示输入的分割结果是源域图像的标准分割结果。
步骤308,根据第二判别器的判别结果,计算第二判别器的判别损失函数的值。
其中,第二判别器的判别损失函数用于衡量第二判别器的判别准确度。
上述第二判别器的判别损失函数LD2(PS)可以表示为:
LD2(PS)=-∑h,w(1-u)log(D(PS)(h,w,0))+ulog(D(PS)(h,w,1));
其中,PS表示源域图像的预测分割结果,u为常数,当u=1时表示图像为目标域图像,u=0时表示图像为源域图像。
上述源域图像的预测分割结果PS可以表示为:
PS=GSeg(XS);
其中,Gseg表示图像分割模型;XS表示源域图像。
步骤309,通过最小化第二判别器的判别损失函数的值,来调整第二判别器的参数。
由于判别损失函数的值反映了第二判别器的判别准确度,且与判别准确度成反比。因此,在训练过程中,可以通过最小化该判别损失函数的值,来调整第二判别器的参数,使得第二判别器尽可能准确地判别出输入的分割结果是源域图像的分割结果还是源域图像的标准分割结果。
步骤310,根据第二判别器针对源域图像的预测分割结果的判别结果,计算第二判别器的对抗损失函数的值。
其中,第二判别器的对抗损失函数用于衡量源域图像的预测分割结果与源域图像的标准分割结果之间的差异程度。
上述第二判别器的对抗损失函数LAdv2(XS)可以表示为
LAdv2(XS)=-∑h,wLMAE(D(PS)(h,w,1),u);
其中,XS表示源域图像,LMAE表示平均绝对误差函数,u=1表示输入至判别器的分割结果是源域图像的标准分割结果。
步骤311,根据预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数,构建目标函数。
上述预训练的图像分割模型的损失函数LSeg(XS)可以采用交叉熵(CrossEntropy,CE)损失函数,可以表示为:
LSeg(XS)=-∑h,w+c∈CYS (h,w,c)log(PS (h,w,c));
其中,XS表示源域图像,YS表示源域图像的标准分割结果。
上述图像分割模型训练的目标函数可以表示为:
其中,αSeg、αAdv1和αAdv2是用来平衡训练过程中的图像分割模型的损失函数、第一判别器的对抗损失函数和第二判别器的对抗损失函数的调控参数。表示最大化第一判别器的判别损失函数以及第二判别器的判别损失函数的值,表示最小化图像分割模型的损失函数、第一判别器的对抗损失函数和第二判别器的对抗损失函数的加权和的值。
步骤312,通过最小化图像分割模型的损失函数的值、第一判别器的对抗损失函数和第二判别器的对抗损失函数的加权和的值,并最大化第一判别器的判别损失函数以及第二判别器的判别损失函数的值,来调整预训练的图像分割模型的参数,得到完成训练的图像分割模型。
在获取到图像分割模型的损失函数的值,并将第一判别器的对抗损失函数以及第二判别器的对抗损失函数的值反馈至图像分割网络之后;图像分割网络通过调整其参数,以最小化上述图像分割模型的损失函数的值、第一判别器的对抗损失函数和第二判别器的对抗损失函数的加权和的值,并最大化第一判别器的判别损失函数以及第二判别器的判别损失函数的值;通过分割网络和判别网络的对抗训练使得图像分割模型预测出的源域图像的分割结果和目标域图像的分割结果尽可能的与源域图像的标准分割结果靠近。
由于最小化第一判别器的对抗损失函数,使得源域图像的分割结果逐渐与目标域图像的分割结果靠近,此时源域图像的分割结果会逐渐远离源域图像的标准分割结果,即分割模型对于源域图像的分割精度降低。此时,通过最小化第二判别器的对抗损失函数,使得源域图像的分割结果逐渐与源域图像的标准分割结果靠近,进一步使得图像分割模型预测出的源域图像的分割结果和目标域图像的分割结果尽可能的与源域图像的标准分割结果靠近。
在图像分割模型满足停止训练条件时,停止对该模型的训练,得到完成训练的图像分割模型。该完成训练的图像分割模型对于目标域图像的分割结果与标准分割结果更相似。其中,图像分割模型的停止训练条件可以预先进行设定,如损失函数的值达到预设阈值、训练轮数达到预设轮数或训练时长达到预设时长等,本申请实施例对此不作限定。
可选地,在将源域图像和目标域图像输入至图像分割模型之前,对源域图像和目标域图像进行归一化处理,得到处理后的源域图像和处理后的目标域图像,例如,将源域图像和目标域图像中每个像素点的像素值归一化到[-1,1]之间;上述处理后的源域图像和处理后的目标域图像用于图像分割模型的训练。
需要说明的一点是,在本申请实施例中,上述第一判别器和第二判别器共享参数。在一个示例中,第一判别器和第二判别器的参数实时共享。例如,在每一轮训练过程中,当第一判别器的参数进行更新后,将更新后的参数同步给第二判别器,第二判别器以同步后的参数进行训练,再次更新参数,并将该再次更新后的参数同步给第一判别器。通过在训练过程中,第一判别器和第二判别器实时共享参数,有助于提高模型的训练效率。
在一些其它示例中,第一判别器和第二判别器只在训练初始共享参数,之后各自独立进行参数更新。在这种情况下,可以先训练第一判别器,然后训练第二判别器;也可以先训练第二判别器,再训练第一判别器;还可以同时训练第一判别器和第二判别器,本申请实施例对此不作限定。
另外,图像分割网络、第一判别器和第二判别器的初始学习率为预设值。例如,图像分割网络、第一判别器和第二判别器的初始学习率分别为1.5×10-5、1×10-5和1×10-5。
综上所述,本申请实施例提供的技术方案,通过将源域图像的分割结果和目标域图像的分割结果输入至第一判别器,将源域图像的分割结果以及源域图像的标准分割结果输入至第二判别器,得到第一判别器的判别损失函数和对抗损失函数,以及第二判别器的判别损失函数和对抗损失函数;之后,将预训练的图像分割模型的损失函数、第一判别器的对抗损失函数以及第二判别器的对抗损失函数反馈至图像分割模型,通过最小化图像分割模型的损失函数的值、第一判别器的对抗损失函数和第二判别器的对抗损失函数的加权和的值,并最大化第一判别器的判别损失函数以及第二判别器的判别损失函数的值,来调整预训练的图像分割模型的参数,得到完成训练的图像分割模型。该完成训练的图像分割模型能够准确分割来自目标域的图像,具有良好的分割性能和泛化能力。
另外,在本申请实施例中,在将源域图像和目标域图像输入至图像分割模型之前,对源域图像和目标域图像进行归一化处理,使得输入的图像与判别器的判别结果处在同一维度上,进一步更好的训练和优化图像分割模型。
结合参考图4,其示例性示出了不同分割方式下的分割结果的示意图。其中,(a)表示源域图像;(b)表示目标域图像;(c)表示只使用源域图像训练图像分割模型得到的图像分割模型,对源域图像的分割结果;(d)表示使用源域图像和源域图像的标准分割结果训练,且没有进行领域自适应训练得到的图像分割模型,对目标域图像的分割结果;(e)表示采用本方案提供的训练方法得到的完成训练的图像分割模型,对目标域图像的分割结果;(f)表示目标域图像的标准分割结果。从图4中可以看出,采用本方案提供的图像分割模型训练方法训练完成的图像分割模型,能够准确分割出目标区域,具有良好的分割性能。
在得到上述完成训练的图像分割模型之后,可以将该完成训练的图像分割模型部署在计算机设备中,当计算机设备获取到来自目标域的待分割图像时,调用该完成训练的图像分割模型,以准确分割出图像中的目标区域,得到待分割图像的分割结果。以计算机设备为医院中辅助诊断平台为例,将完成训练的图像分割模型部署在该辅助诊断平台中,辅助诊断平台可以在采集到病人的医疗图像时,直接分割出病灶区域的准确的分布信息,以方便医生准确做出诊断。
下面,通过将本方案在三个不同图像数据集上测试,进一步描述本方案的有益效果:
三个数据集分别是BRATS(Brain Tumor Segmentation,脑肿瘤分割)2018数据集、脑胶质瘤私有数据集和多中心的SCGM(Spinal Cord Gray Matter,脊髓灰质分割)2017数据集。
其中,BRATS 2018数据集包括285个带有标签集的样本,每个样本有4个模态,分别是FLAIR(FLuid Attenuated Inversion Recovery,液体衰减反转恢复),T1增强、T1MRI和T2MRI。对上述数据预处理包括头骨剥离、配准和重采样到1×1×1mm3的分辨率,每个样本的维度为240×240×155。在测试过程中,仅使用该数据集中T2MRI的数据集,并将3D T2MRI轴视图转换为多层2D图像。
脑胶质瘤私有数据集包括200个带有标签集的样本,每个样本仅有厚层3D T2MRI的数据集,且标签集仅标注了肿瘤水肿区(即肿瘤全区)。由于该数据集是厚层扫描的,即仅有轴状图是结构清晰的,另外两个视图(即冠状图和矢状图)的图像是非常模糊的。因此在测试过程中,仅使用轴状面,并将3D T2MRI轴视图转换为多层2D图像,且2D图像被重采样到513×513的大小,另外,对上述数据预处理仅是头骨剥离。
SCGM 2017数据集包括4个不同中心的数据,总共40个带有标签集的样本。数据的维度从0.25×0.25×0.25mm3到0.5×0.5×0.5mm3不等,并将3D T2MRI轴视图转换为多层2D图像。
在脑肿瘤分割任务中,设计了两种测试方案:测试1,将BRATS 2018数据作为源域数据,脑胶质瘤私有数据作为目标域数据;测试2,将脑胶质瘤私有数据作为源域数据,BRATS 2018数据作为目标域数据。另外,在使用DeepLabv3+作为分割模型的基础上,还使用DeepLabv2作为分割模型进行对比。此外,将本方案的在输出空间进行ADDA(AdversarialDiscriminative Domain Adaptation,无监督领域自适应)分割算法与在特征空间进行ADDA分割算法进行对比。
如表-1所示,其示出了在脑肿瘤分割任务中测试1和测试2的测试结果。
表-1
其中,第一行是图像分割的衡量指标;其中,Dice系数(Dice Score)用于度量两个集合的相似性;灵敏度(Sensitivity)表示所有测试结果中分割准确的结果的比例;特异性(Specificity)表示;霍斯多夫距离(Hausdorff Distance)是在度量空间中任意两个集合之间定义的一种距离。上述Dice系数、灵敏度和特异性与图像分割模型的准确度成正比,斯多夫距离与图像分割模型的准确度成反比。第二行的P表示将脑胶质瘤私有数据作为源域数据,BRATS 2018数据作为目标域数据,第二行的B表示将BRATS 2018数据作为源域数据,脑胶质瘤私有数据作为目标域数据。第三行至第五行分别表示使用DeepLabv3+和DeepLabv2分割模型,以及ADDA分割算法得到的测试结果。第六行1Ours表示本方案中使用DeepLabv2作为分割模型得到的测试结果。第七行2Ours表示本方案中使用DeepLabv3+作为分割模型得到的测试结果。从表-1中可以看出,本方案的测试结果相比于上述三种相关分割模型和分割算法更加准确。另外,对比第六行和第七行的测试结果,可以看出本方案中使用DeepLabv3+作为分割模型可以得到更好的分割结果。
结合参考图5,其示出了不同分割方式下脑肿瘤分割结果的示例图。P行表示将脑胶质瘤私有数据作为源域数据,BRATS 2018数据作为目标域数据得到的测试结果,B行表示将BRATS 2018数据作为源域数据,脑胶质瘤私有数据作为目标域数据得到的测试结果。第一列Axial表示数据轴状图;第二列GT(Ground Truth,分割标准)图;第三列表示采用DeepLabv3+作为分割模型,且进行DA(Domain Adaptation,领域自适应)后得到的测试结果,也即本方案的测试结果;第四列表示只采用DeepLabv3+作为分割模型,不进行DA后得到的测试结果;第五列表示采用DeepLabv2作为分割模型,且进行DA后得到的测试结果;第六列表示只采用DeepLabv3+作为分割模型,不进行DA得到的测试结果。从图5中可以直观的看出,本申请技术方案能够准确分割目标域图像。
在脊髓灰质分割任务中,参考相关技术方案,设计了两种测试方案:测试1,将中心1和中心2的数据作为源域数据,将中心3的数据作为目标域数据;测试2,将中心1和2的数据作为源域数据,将中心4的数据作为目标域数据。并与相关的两个技术方案,即采用EMA(Exponential Moving Average,指数滑动平均)分割模型和UDASE(Unsupervised DomainAdaptation with Self-Ensembling,自整合无监督领域适应)分割模型的分割结果进行对比。本申请中设计的两种测试方案与相关技术中提供的测试方案相同,以将本申请提供的技术方案的效果与相关技术提供的技术方案的效果进行对比。
如表-2所示,其示出了在脊髓灰质分割任务中测试1和测试2的测试结果。
表-2
其中,DeepLabv3+所在行表示使用DeepLabv3+作为分割模型得到的测试结果;EMA和UDASE所在行为相关技术的测试结果;Ours所在行表示本方案的测试结果。从表-2中可以看出,对于测试2,即由中心1和2的作为源域数据适应到中心4的测试中,本方案分割模型的分割性能显著优于相关技术提供的方案。对于测试1,由中心1和2的作为源域数据适应到中心3的测试中,本方案分割模型的分割性能与仅使用DeepLabv3+进行分割,没有进行自适应的测试结果相比,本方案能显著提升目标域数据的分割性能。
结合参考图6,其示出了不同分割方式下脊髓灰质分割结果的示例图。其中,第一列和第四列分别表示测试1和测试2中采用相关技术得到的分割结果;第二列和第五列分别表示测试1和测试2中采用DeepLabv3+作为分割模型,且进行DA后得到的测试结果,也即本方案的测试结果;第三列和第六列分别表示测试1和测试2中只采用DeepLabv3+作为分割模型,不进行DA得到的测试结果。从图6中可以看出,本申请技术方案可以更加直观的看出,本申请技术方案能够准确分割目标域图像,且目标域图像在输出空间输出的图像视觉信息更加清楚和准确。
综上所述,本申请提供的技术方案,在使用DeepLabv3+作为分割模型,且在输出空间进行领域自适应之后,提升最终训练得到的图像分割模型的分割性能以及泛化能力,使得图像分割模型能够准确分割目标域图像,且目标域图像的分割结果更加准确。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图7,其示出了本申请一个实施例提供的图像分割模型的训练装置的框图。该装置具有实现上述图像分割模型的训练方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备上。该装置700可以包括:第一训练模块710、结果提取模块720、第二训练模块730、第三训练模块740和第四训练模块750。
第一训练模块710,用于采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型,所述源域样本包括源域图像和所述源域图像的标准分割结果。
结果提取模块720,用于通过所述预训练的图像分割模型,提取所述源域图像的预测分割结果和目标域图像的预测分割结果。
第二训练模块730,用于采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练;其中,所述第一判别器用于判别输入的分割结果来自于源域还是目标域。
第三训练模块740,用于采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练;其中,所述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果。
第四训练模块750,用于根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
综上所述,本申请实施例提供的技术方案中,通过经源域样本预训练的图像分割模型,提取源域图像和目标域图像的预测分割结果,进一步将源域图像和目标域图像的预测分割结果输入至第一判别器,将源域图像的预测分割结果和源域图像的标准分割结果输入至第二判别器,采用对抗学习思想对预训练的图像分割模型进行再训练,如此迭代循环训练直至模型收敛,得到完成训练的图像分割模型。本申请提供的技术方案将源域图像和目标域图像在输出空间进行对齐,使得完成训练的图像分割模型可以在输出空间减小源域图像和目标域图像之间的差别,降低所训练的图像分割模型在对目标域分割的误差,进一步使得目标域图像的分割结果更加准确。
在一些可能的设计中,所述第二训练模块730,用于将所述源域图像的预测分割结果和所述目标域图像的预测分割结果分别输入至所述第一判别器,得到所述第一判别器的判别结果;根据所述第一判别器的判别结果,计算所述第一判别器的判别损失函数的值,其中,所述第一判别器的判别损失函数用于衡量所述第一判别器的判别准确度;通过最小化所述第一判别器的判别损失函数的值,来调整所述第一判别器的参数。
在一些可能的设计中,结合参考图8,所述装置700还包括:第一计算模块760。
第一计算模块760,用于根据所述第一判别器针对所述目标域图像的预测分割结果的判别结果,计算所述第一判别器的对抗损失函数的值;其中,所述第一判别器的对抗损失函数用于衡量所述目标域图像的预测分割结果与所述源域图像的预测分割结果之间的差异程度。
在一些可能的设计中,所述第三训练模块740,用于将所述源域图像的预测分割结果和所述源域图像的标准分割结果分别输入至所述第二判别器,得到所述第二判别器的判别结果;根据所述第二判别器的判别结果,计算所述第二判别器的判别损失函数的值,其中,所述第二判别器的判别损失函数用于衡量所述第二判别器的判别准确度;通过最小化所述第二判别器的判别损失函数的值,来调整所述第二判别器的参数。
在一些可能的设计中,结合参考图8,所述装置700还包括:第二计算模块770。
第二计算模块770,用于根据所述第二判别器针对所述源域图像的预测分割结果的判别结果,计算所述第二判别器的对抗损失函数的值;其中,所述第二判别器的对抗损失函数用于衡量所述源域图像的预测分割结果与所述源域图像的标准分割结果之间的差异程度。
在一些可能的设计中,所述第四训练模块750,用于根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,构建目标函数;通过最小化所述图像分割模型的损失函数、所述第一判别器的对抗损失函数和所述第二判别器的对抗损失函数的加权和的值,并最大化所述第一判别器的判别损失函数的值和所述第二判别器的判别损失函数的值,来调整所述预训练的图像分割模型的参数,得到所述完成训练的图像分割模型。
在一些可能的设计中,所述第一判别器和所述第二判别器共享参数。
在一些可能的设计中,结合参考图8,所述装置700还包括:图像处理模块780。
图像处理模块780,用于对所述源域图像和所述目标域图像进行归一化处理,得到处理后的源域图像和处理后的目标域图像;其中,所述处理后的源域图像和所述处理后的目标域图像用于所述图像分割模型的训练。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图9,其示出了本申请一个实施例提供的计算机设备的结构示意图。该计算机设备可以是任何具备数据处理和存储功能的电子设备,如PC或服务器。该计算机设备用于实施上述实施例中提供的图像分割模型的训练方法。具体来讲:
所述计算机设备900包括中央处理单元(CPU)901、包括随机存取存储器(RAM)902和只读存储器(ROM)903的系统存储器904,以及连接系统存储器904和中央处理单元901的系统总线905。所述计算机设备900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)906,和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
所述基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中所述显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。所述基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。所述大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说,所述大容量存储设备907可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例,所述计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在所述系统总线905上的网络接口单元911连接到网络912,或者说,也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述图像分割模型的训练方法,或者图像分割方法。
在示例性实施例中,还提供了一种计算机设备。该计算机设备可以是终端或计算机设备。所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像分割模型的训练方法,或者图像分割方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述图像分割模型的训练方法,或者图像分割方法。
在示例性实施例中,还提供了一种计算机程序产品,当该计算机程序产品被处理器执行时,其用于实现上述实施例提供的图像分割模型的训练方法,或者图像分割方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种图像分割模型的训练方法,其特征在于,所述方法包括:
采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型,所述源域样本包括源域图像和所述源域图像的标准分割结果;
通过所述预训练的图像分割模型,提取所述源域图像的预测分割结果和目标域图像的预测分割结果;
采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练;其中,所述第一判别器用于判别输入的分割结果来自于源域还是目标域;
采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练;其中,所述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果;其中,所述第一判别器和所述第二判别器参数实时共享;在一轮训练过程中,更新所述第一判别器的参数之后,将更新后的参数同步至所述第二判别器,根据同步得到的参数对所述第二判别器进行训练,将更新后的所述第二判别器的参数同步至所述第一判别器,根据同步得到的参数对所述第一判别器进行训练;或者,所述第一判别器和所述第二判别器在训练初始共享参数,之后各自独立进行参数更新;
根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
2.根据权利要求1所述的方法,其特征在于,所述采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练,包括:
将所述源域图像的预测分割结果和所述目标域图像的预测分割结果分别输入至所述第一判别器,得到所述第一判别器的判别结果;
根据所述第一判别器的判别结果,计算所述第一判别器的判别损失函数的值,其中,所述第一判别器的判别损失函数用于衡量所述第一判别器的判别准确度;
通过最小化所述第一判别器的判别损失函数的值,来调整所述第一判别器的参数。
3.根据权利要求2所述的方法,其特征在于,所述将所述源域图像的预测分割结果和所述目标域图像的预测分割结果分别输入至所述第一判别器,得到所述第一判别器的判别结果之后,还包括:
根据所述第一判别器针对所述目标域图像的预测分割结果的判别结果,计算所述第一判别器的对抗损失函数的值;
其中,所述第一判别器的对抗损失函数用于衡量所述目标域图像的预测分割结果与所述源域图像的预测分割结果之间的差异程度。
4.根据权利要求1所述的方法,其特征在于,所述采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练,包括:
将所述源域图像的预测分割结果和所述源域图像的标准分割结果分别输入至所述第二判别器,得到所述第二判别器的判别结果;
根据所述第二判别器的判别结果,计算所述第二判别器的判别损失函数的值,其中,所述第二判别器的判别损失函数用于衡量所述第二判别器的判别准确度;
通过最小化所述第二判别器的判别损失函数的值,来调整所述第二判别器的参数。
5.根据权利要求4所述的方法,其特征在于,所述将所述源域图像的预测分割结果和所述源域图像的标准分割结果分别输入至所述第二判别器,得到所述第二判别器的判别结果之后,还包括:
根据所述第二判别器针对所述源域图像的预测分割结果的判别结果,计算所述第二判别器的对抗损失函数的值;
其中,所述第二判别器的对抗损失函数用于衡量所述源域图像的预测分割结果与所述源域图像的标准分割结果之间的差异程度。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型,包括:
根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,构建目标函数;
通过最小化所述图像分割模型的损失函数、所述第一判别器的对抗损失函数和所述第二判别器的对抗损失函数的加权和的值,并最大化所述第一判别器的判别损失函数的值和所述第二判别器的判别损失函数的值,来调整所述预训练的图像分割模型的参数,得到所述完成训练的图像分割模型。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
对所述源域图像和所述目标域图像进行归一化处理,得到处理后的源域图像和处理后的目标域图像;
其中,所述处理后的源域图像和所述处理后的目标域图像用于所述图像分割模型的训练。
8.一种图像分割方法,其特征在于,所述方法包括:
获取来自目标域的待分割图像;
调用完成训练的图像分割模型处理所述待分割图像,得到所述待分割图像的分割结果,所述完成训练的图像分割模型是通过第一判别器和第二判别器,在输出空间采用对抗学习对图像分割模型进行训练得到的;
其中,所述第一判别器用于在训练所述图像分割模型的过程中,减小目标域图像的预测分割结果与源域图像的预测分割结果之间的差异;所述第二判别器用于在训练所述图像分割模型的过程中,减小所述源域图像的预测分割结果与所述源域图像的标准分割结果之间的差异;
其中,所述第一判别器和所述第二判别器在训练过程中的参数实时共享;在一轮训练过程中,更新所述第一判别器的参数之后,将更新后的参数同步至所述第二判别器,根据同步得到的参数对所述第二判别器进行训练,将更新后的所述第二判别器的参数同步至所述第一判别器,根据同步得到的参数对所述第一判别器进行训练;或者,所述第一判别器和所述第二判别器在训练初始共享参数,之后各自独立进行参数更新。
9.一种图像分割模型的训练装置,其特征在于,所述装置包括:
第一训练模块,用于采用源域样本对初始的图像分割模型进行训练,得到预训练的图像分割模型,所述源域样本包括源域图像和所述源域图像的标准分割结果;
结果提取模块,用于通过所述预训练的图像分割模型,提取所述源域图像的预测分割结果和目标域图像的预测分割结果;
第二训练模块,用于采用所述源域图像的预测分割结果和所述目标域图像的预测分割结果,对第一判别器进行训练;其中,所述第一判别器用于判别输入的分割结果来自于源域还是目标域;
第三训练模块,用于采用所述源域图像的预测分割结果和所述源域图像的标准分割结果,对第二判别器进行训练;其中,所述第二判别器用于判别输入的分割结果为预测分割结果还是标准分割结果;其中,所述第一判别器和所述第二判别器参数实时共享;在一轮训练过程中,更新所述第一判别器的参数之后,将更新后的参数同步至所述第二判别器,根据同步得到的参数对所述第二判别器进行训练,将更新后的所述第二判别器的参数同步至所述第一判别器,根据同步得到的参数对所述第一判别器进行训练;或者,所述第一判别器和所述第二判别器在训练初始共享参数,之后各自独立进行参数更新;
第四训练模块,用于根据所述预训练的图像分割模型的损失函数、所述第一判别器的对抗损失函数以及所述第二判别器的对抗损失函数,对所述预训练的图像分割模型进行再训练,如此迭代循环训练直至收敛得到完成训练的图像分割模型。
10.根据权利要求9所述的装置,其特征在于,所述第二训练模块,用于:
将所述源域图像的预测分割结果和所述目标域图像的预测分割结果分别输入至所述第一判别器,得到所述第一判别器的判别结果;
根据所述第一判别器的判别结果,计算所述第一判别器的判别损失函数的值,其中,所述第一判别器的判别损失函数用于衡量所述第一判别器的判别准确度;
通过最小化所述第一判别器的判别损失函数的值,来调整所述第一判别器的参数。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第一计算模块,用于根据所述第一判别器针对所述目标域图像的预测分割结果的判别结果,计算所述第一判别器的对抗损失函数的值;
其中,所述第一判别器的对抗损失函数用于衡量所述目标域图像的预测分割结果与所述源域图像的预测分割结果之间的差异程度。
12.根据权利要求9所述的装置,其特征在于,所述第三训练模块,用于:
将所述源域图像的预测分割结果和所述源域图像的标准分割结果分别输入至所述第二判别器,得到所述第二判别器的判别结果;
根据所述第二判别器的判别结果,计算所述第二判别器的判别损失函数的值,其中,所述第二判别器的判别损失函数用于衡量所述第二判别器的判别准确度;
通过最小化所述第二判别器的判别损失函数的值,来调整所述第二判别器的参数。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一项所述的方法,或者实现如权利要求8所述的方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一项所述的方法,或者实现如权利要求8所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910448095.6A CN110148142B (zh) | 2019-05-27 | 2019-05-27 | 图像分割模型的训练方法、装置、设备和存储介质 |
PCT/CN2020/091455 WO2020238734A1 (zh) | 2019-05-27 | 2020-05-21 | 图像分割模型的训练方法、装置、计算机设备和存储介质 |
EP20815327.0A EP3979198A4 (en) | 2019-05-27 | 2020-05-21 | IMAGE SEGMENTATION MODEL TRAINING METHOD AND INSTALLATION, COMPUTER DEVICE AND STORAGE MEDIA |
US17/470,433 US11961233B2 (en) | 2019-05-27 | 2021-09-09 | Method and apparatus for training image segmentation model, computer device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910448095.6A CN110148142B (zh) | 2019-05-27 | 2019-05-27 | 图像分割模型的训练方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110148142A CN110148142A (zh) | 2019-08-20 |
CN110148142B true CN110148142B (zh) | 2023-04-18 |
Family
ID=67593307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910448095.6A Active CN110148142B (zh) | 2019-05-27 | 2019-05-27 | 图像分割模型的训练方法、装置、设备和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11961233B2 (zh) |
EP (1) | EP3979198A4 (zh) |
CN (1) | CN110148142B (zh) |
WO (1) | WO2020238734A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148142B (zh) * | 2019-05-27 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
CN112733864B (zh) * | 2019-09-16 | 2023-10-31 | 北京迈格威科技有限公司 | 模型训练方法、目标检测方法、装置、设备及存储介质 |
US11455531B2 (en) * | 2019-10-15 | 2022-09-27 | Siemens Aktiengesellschaft | Trustworthy predictions using deep neural networks based on adversarial calibration |
CN110866931B (zh) * | 2019-11-18 | 2022-11-01 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
CN110880182B (zh) * | 2019-11-18 | 2022-08-26 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
CN110956214B (zh) * | 2019-12-03 | 2023-10-13 | 北京车和家信息技术有限公司 | 一种自动驾驶视觉定位模型的训练方法及装置 |
CN111178207B (zh) * | 2019-12-20 | 2023-08-01 | 北京邮电大学 | 一种基于复平面坐标系定位的目标检测方法及装置 |
CN111209916B (zh) * | 2019-12-31 | 2024-01-23 | 中国科学技术大学 | 病灶识别方法及系统、识别设备 |
CN111199256B (zh) * | 2020-01-02 | 2024-03-22 | 东软医疗系统股份有限公司 | 图像优化网络的训练方法、图像处理方法及装置 |
TWI726574B (zh) * | 2020-01-10 | 2021-05-01 | 宏碁股份有限公司 | 模型訓練方法與電子裝置 |
CN111340819B (zh) * | 2020-02-10 | 2023-09-12 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置和存储介质 |
CN111402278B (zh) * | 2020-02-21 | 2023-10-27 | 华为云计算技术有限公司 | 分割模型训练方法、图像标注方法及相关装置 |
CN111444952B (zh) * | 2020-03-24 | 2024-02-20 | 腾讯科技(深圳)有限公司 | 样本识别模型的生成方法、装置、计算机设备和存储介质 |
CN111444951B (zh) * | 2020-03-24 | 2024-02-20 | 腾讯科技(深圳)有限公司 | 样本识别模型的生成方法、装置、计算机设备和存储介质 |
CN111199550B (zh) * | 2020-04-09 | 2020-08-11 | 腾讯科技(深圳)有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
US11600017B2 (en) * | 2020-04-29 | 2023-03-07 | Naver Corporation | Adversarial scene adaptation for camera pose regression |
CN111539947B (zh) * | 2020-04-30 | 2024-03-29 | 上海商汤智能科技有限公司 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
CN111709873B (zh) * | 2020-05-27 | 2023-06-20 | 北京百度网讯科技有限公司 | 图像转换模型生成器的训练方法和装置 |
CN112115976B (zh) * | 2020-08-20 | 2023-12-08 | 北京嘀嘀无限科技发展有限公司 | 模型训练方法、模型训练装置、存储介质和电子设备 |
CN112070163B (zh) * | 2020-09-09 | 2023-11-24 | 抖音视界有限公司 | 图像分割模型训练和图像分割方法、装置、设备 |
CN112330625B (zh) * | 2020-11-03 | 2023-03-24 | 杭州迪英加科技有限公司 | 免疫组化核染色切片细胞定位多域共适应训练方法 |
CN112508974A (zh) * | 2020-12-14 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、装置、电子设备和存储介质 |
CN112633385A (zh) * | 2020-12-25 | 2021-04-09 | 华为技术有限公司 | 一种模型训练的方法、数据生成的方法以及装置 |
CN112686913B (zh) * | 2021-01-11 | 2022-06-10 | 天津大学 | 基于边界注意力一致性的目标边界检测和目标分割模型 |
CN112767463B (zh) * | 2021-01-12 | 2024-02-06 | 深圳大学 | 一种对抗配准方法、装置、计算机设备及存储介质 |
CN112966687B (zh) * | 2021-02-01 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 图像分割模型训练方法、装置及通信设备 |
CN112990218A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像语义分割模型的优化方法、装置和电子设备 |
CN113673570A (zh) * | 2021-07-21 | 2021-11-19 | 南京旭锐软件科技有限公司 | 电子器件图片分类模型的训练方法、装置及设备 |
CN113657389A (zh) * | 2021-07-29 | 2021-11-16 | 中国科学院软件研究所 | 一种软件定义卫星语义分割方法、装置和介质 |
CN113450351B (zh) * | 2021-08-06 | 2024-01-30 | 推想医疗科技股份有限公司 | 分割模型训练方法、图像分割方法、装置、设备及介质 |
CN113888547A (zh) * | 2021-09-27 | 2022-01-04 | 太原理工大学 | 基于gan网络的无监督域自适应遥感道路语义分割方法 |
CN113870258B (zh) * | 2021-12-01 | 2022-03-25 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
CN115294400B (zh) * | 2022-08-23 | 2023-03-31 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
CN115841475A (zh) * | 2022-12-14 | 2023-03-24 | 北京医准智能科技有限公司 | 一种心脏图像分割方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166095A (zh) * | 2018-07-11 | 2019-01-08 | 广东技术师范学院 | 一种基于生成对抗机制的眼底影像杯盘分割方法 |
CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10229493B2 (en) * | 2016-03-16 | 2019-03-12 | International Business Machines Corporation | Joint segmentation and characteristics estimation in medical images |
US10395138B2 (en) * | 2016-11-11 | 2019-08-27 | Microsoft Technology Licensing, Llc | Image segmentation using user input speed |
US10970829B2 (en) * | 2017-08-24 | 2021-04-06 | Siemens Healthcare Gmbh | Synthesizing and segmenting cross-domain medical images |
US10643320B2 (en) * | 2017-11-15 | 2020-05-05 | Toyota Research Institute, Inc. | Adversarial learning of photorealistic post-processing of simulation with privileged information |
CN108062753B (zh) * | 2017-12-29 | 2020-04-17 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
CN108389210A (zh) * | 2018-02-28 | 2018-08-10 | 深圳天琴医疗科技有限公司 | 一种医学图像分割方法及装置 |
CN109299716B (zh) * | 2018-08-07 | 2021-07-06 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、图像分割方法、装置、设备及介质 |
CN109241972B (zh) * | 2018-08-20 | 2021-10-01 | 电子科技大学 | 基于深度学习的图像语义分割方法 |
CN109101975B (zh) * | 2018-08-20 | 2022-01-25 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
CN109190707A (zh) * | 2018-09-12 | 2019-01-11 | 深圳市唯特视科技有限公司 | 一种基于对抗学习的域自适应图像语义分割方法 |
CN109543502B (zh) * | 2018-09-27 | 2023-06-06 | 天津大学 | 一种基于深度多尺度神经网络的语义分割方法 |
CN109558901B (zh) * | 2018-11-16 | 2022-04-05 | 北京市商汤科技开发有限公司 | 一种语义分割训练方法及装置、电子设备、存储介质 |
CN110148142B (zh) * | 2019-05-27 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
-
2019
- 2019-05-27 CN CN201910448095.6A patent/CN110148142B/zh active Active
-
2020
- 2020-05-21 EP EP20815327.0A patent/EP3979198A4/en active Pending
- 2020-05-21 WO PCT/CN2020/091455 patent/WO2020238734A1/zh unknown
-
2021
- 2021-09-09 US US17/470,433 patent/US11961233B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166095A (zh) * | 2018-07-11 | 2019-01-08 | 广东技术师范学院 | 一种基于生成对抗机制的眼底影像杯盘分割方法 |
CN109166126A (zh) * | 2018-08-13 | 2019-01-08 | 苏州比格威医疗科技有限公司 | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210407086A1 (en) | 2021-12-30 |
WO2020238734A1 (zh) | 2020-12-03 |
EP3979198A4 (en) | 2022-07-27 |
EP3979198A1 (en) | 2022-04-06 |
CN110148142A (zh) | 2019-08-20 |
US11961233B2 (en) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110148142B (zh) | 图像分割模型的训练方法、装置、设备和存储介质 | |
US11593943B2 (en) | RECIST assessment of tumour progression | |
US8958614B2 (en) | Image-based detection using hierarchical learning | |
US11232853B2 (en) | System and method for creating, querying, and displaying a MIBA master file | |
US10635924B2 (en) | System and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation | |
US11847819B2 (en) | Medical image analysis using machine learning and an anatomical vector | |
Feng et al. | Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation | |
EP3672496A1 (en) | Surgical decision support using a decision theoretic model | |
WO2020243460A1 (en) | Transfer learning for medical applications using limited data | |
CN111275699A (zh) | 医学图像的处理方法、装置、设备及存储介质 | |
Tian et al. | Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data | |
US20210383565A1 (en) | Training a machine learning algorithm using digitally reconstructed radiographs | |
Seshamani et al. | A meta method for image matching | |
US20240005650A1 (en) | Representation learning | |
US20230087494A1 (en) | Determining image similarity by analysing registrations | |
EP3864620B1 (en) | Correcting segmentation of medical images using a statistical analysis of historic corrections | |
WO2023274512A1 (en) | Method for training and using a deep learning algorithm to compare medical images based on dimensionality-reduced representations | |
Kobayashi et al. | Learning global and local features of normal brain anatomy for unsupervised abnormality detection | |
US20220254012A1 (en) | Methods, devices, and systems for determining presence of appendicitis | |
DREVICKÝ et al. | Deep Learning Model Uncertainty in Medical Image Analysis | |
CN116490903A (zh) | 表示学习 | |
CN117011215A (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
Ferrante | Graph-based deformable registration: slice-to-volume mapping and context specific methods | |
EP4298590A2 (en) | Actor-critic approach for generating synthetic images | |
CN113706449A (zh) | 基于病理图像的细胞分析方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |