CN114240955A - 一种半监督的跨领域自适应的图像分割方法 - Google Patents
一种半监督的跨领域自适应的图像分割方法 Download PDFInfo
- Publication number
- CN114240955A CN114240955A CN202111576690.1A CN202111576690A CN114240955A CN 114240955 A CN114240955 A CN 114240955A CN 202111576690 A CN202111576690 A CN 202111576690A CN 114240955 A CN114240955 A CN 114240955A
- Authority
- CN
- China
- Prior art keywords
- domain
- network
- image
- data
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003709 image segmentation Methods 0.000 title claims abstract description 23
- 238000010606 normalization Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 43
- 238000002372 labelling Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 abstract description 11
- 238000013508 migration Methods 0.000 abstract description 8
- 230000005012 migration Effects 0.000 abstract description 8
- 230000011218 segmentation Effects 0.000 description 23
- 210000004351 coronary vessel Anatomy 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及的是一种半监督的跨领域自适应的图像分割方法,属于图像识别技术领域。本发明对来自不同数据域的图像使用共享的卷积层的方式学习数据域间共有的特征信息,并使用独立的批归一化层处理不同数据域的分布差异,从而让一个模型可以在克服数据域差异的情况下实现跨域的知识迁移。针对目标域数据缺乏标注的情况,本发明的半监督域适应方法使用一个辅助网络,通过辅助网络与主网络针对同一个样本产生的不同噪声图像的预测之间的一致性,充分利用未标注数据进行学习,并进一步利用对比学习策略提高域不变特征的学习。本发明提出的方法可以解决图像分割模型在处理不同中心的数据时遇到的性能不稳定问题,并且在新的中心的数据中仅需少量的标注就可以让模型取得鲁棒的性能。在实际基于深度神经网络的图像分割场景中,可有效提高模型的稳定性和泛化能力。
Description
技术领域
本发明涉及的是一种图像的自动分割技术,特别是针对从一个从带标注的源数据域中训练的算法模型迁移到另一个含少量标注的目标数据域进行图像分割,属于图像识别方法领域。
背景技术
随着成像技术的不断发展,图像分割技术成为理解图像内容、实现计算机视觉的重要基础,比如对街景图像的自动分割是自动驾驶汽车的重要基础,在医学图像中对病灶的分割有助于医生对疾病做出精确的诊断和定量化的评估。由于对图像进行人工手动分割是一项费时费力的事情,将人工宝贵的时间浪费在对目标区域的低效率勾画上是不可取的,因此图像的自动分割方法越来越受到临床上的关注。近年来,随着深度学习的出现,全监督的自动分割算法的表现接近甚至是超过人类的水平,基于深度学习的图像自动分割方法已经逐渐成为目前的主流方法并逐渐得到应用。
对目前的图像自动分割模型进行研究发现,尽管深度学习在图像分割任务中可以取得令人瞩目的表现,但是这些好的表现都依赖于大量的含像素级别的精确标注的图像进行训练,即全监督学习。图像的逐像素精确标注十分耗时,且在某些情况下依赖于具有专业知识的人员来操作,导致获得高质量的标注数据十分困难,时间和人力成本高昂。这已经成为深度学习算法发展的主要障碍。同时,传统的全监督深度学习方法普遍具有较差的跨领域适应性,在一批数据上训练好模型后,当新来一批没有在训练时见过的数据时,模型的性能往往会有非常明显的下降。这主要是由于不同中心的图像在成像模态、成像参数、目标物体的特点、环境变化等因素上存在较多差异,导致两个中心的图像存在分布差异,即域偏移,从而在一个数据域上训练的模型不能直接用于另一个数据域。
传统的迁移学习方法需要目标数据域图像的完整标注,具有较高的标注成本,即利用在源数据域上预训练的模型作为初始模型,再使用目标域的图像及其标注进行全监督学习。高昂的标注成本限制了这些方法的实用性。为了解决这一问题,本发明提出一种半监督的域适应方法,即只需要目标数据域的少量标注图像,将预训练模型适应到该数据域,从而提高模型在新的目标数据域的性能。
发明内容
本发明的目的在于克服现有的图像自动分割算法的跨数据域迁移和适应能力不足的问题和现有的迁移学习方法依赖大量人工标注的问题,提出一种基于对比学习的半监督域适应方法用于图像分割。已有的全监督迁移学习技术需要对目标数据域的图像进行大量精确标注,标注成本高,限制了方法的实用性。同时,目前的无监督域适应方法不使用目标数据域上的任何标注信息,缺乏有效的监督信号,导致其难以取得满意的性能。本发明的设计的半监督域适应方法,只需要对目标数据域上的图像进行少量标注,有效减少标注成本的同时,也提供了足够的监督信号以保证算法的性能。
本发明采用一种新的基于半监督知识迁移的领域适应方法来解决不同中心的数据分布差异带来的域偏移的问题和数据标注不足的挑战。对于一个给定的已标注的源数据域和一个带部分标注的目标数据域,本发明采用域适应性批归一化的神经网络进行学习,在分别对两个数据域的图像的特征进行适应性批归一化后,消除域差异,并通过共享卷积参数,学习到域不变特征。同时,本发明采用对比学习的方法,通过构建对比学习策略让网络更关注到领域不变的特征信息。在此基础上,基于一种主网络和辅助网络的半监督学习方法,通过学习源域和有部分标注的目标域数据获得分割能力,将源域的知识迁移到目标域上,克服目标域图像标注量少的不足,从而得到在目标域上具有较高性能的分割模型。
本发明技术方案为一种半监督的跨领域自适应的图像分割方法,该方法包括以下步骤:
步骤1:图像预处理;
将获取的彩色图片先转换成灰度图片,并且将灰度图进行直方图匹配,完成预处理;
主网络包括级联的编码器和解码器,所述编码器由多个级联的卷积-下采样单元组成,每个卷积-下采样单元包括一个卷积层和一个下采样层,每个卷积层包括一个卷积运算,一个批归一化层和一个激活层;解码器由多个级联的卷积-上采样单元组成,其中的每个卷积-上采样单元包含一个卷积层和一个上采样层,其中卷积层与编码器中的卷积层结构一致;
考虑到源数据域的图像和目标数据域的图像在分布上存在差异,为了消除这种差异,分别针对两个数据域设立批归一化层;用S和T分别表示源数据域和目标数据域,d∈{S,T}表示其中的某一个数据域,fd表示神经网络中某一层在数据域d的特征图,表示fd的第c个通道,对进行批归一化的操作如下:
设数据集中包含N张带标注的源数据域图像及其标注M张带标注的目标域图像及其标注以及K张未标注的目标域图像用θ表示神经网络中卷积层的参数,分别表示源数据域和目标数据域的批归一化参数,将图像分割网络的所有参数表示为
将N张带标注的源数据域图像送入主网络,以进行归一化,并将M张带标注的目标域图像送入主网络,以进行归一化,得到的预测结果分别表示为和其中n=1,2,…,N,m=1,2,…,M;主网络针对源数据域图像和目标域图像的监督损失函数Ls为:
步骤3:构建基于指数移动平均的辅助网络和一致性约束;
以作为主网络,设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理;具体地,用表示主网络的针对目标域的参数,Θ′表示辅助网络对应的所有参数,辅助网络的参数通过指数移动平均的方式进行更新,用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻,α∈[0,1]是控制参数更新速度的超参数,Θ′的更新过程如下:
Θ′t+1=αΘ′t+(1-α)Θt 公式4
针对目标数据域中的所有M+K张图像,对分别添加不同的随机噪声δ′和δ″,其中k=1,2,…,M+K,得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络,得到其预测结果同时将输入辅助网络,得到其预测结果构建这两个预测之间的一致性约束如下:
步骤4:构建对比样本;
基于编码器-解码器结构的所述主网络中,用E表示编码器,当使用批归一化时,该编码器记为源域编码器ES,当使用批归一化时,该编码器记为目标域编码器ET;在编码器的输出部分增加一个全连接层分支,该分支用g表示;一幅图像X经过编码器E和该全连接层分支后的输出为高维隐藏特征z=g(E(X));
针对一幅源域图像其经过ES和g得到的结果记为经过ET和g得到的结果记为对于一幅目标域图像其经过ES和g得到的结果记为 经过ET和g得到的结果记为则称为的一个正样本,称为的一个负样本;将的所有负样本的集合记为Λ-,则的对比损失函数为:
其中sim()是计算两个向量之间的余弦相似度;τ是一个超参数;
步骤5:设置整体损失函数;
根据主网络、辅助网络、样本对比网络的损失函数,建立如下损失函数L;在采用主网络对图像分割结果进行预测的同时,采用损失函数L对主网络的参数进行更新:
L=Ls+λ1Lc+λ2Lcont 公式7
Lcont是对比学习约束函数,λ1,λ2是三项约束函数之间的相对权重,对比学习损失函数Lcont的定义如下:
与现有技术相比,本发明具有以下优点:
(1)针对在深度学习图像分割模型在一个中心训练好之后在另外一个中心测试存在性能明显降低的问题,本发明提出基于主网络和辅助网络的半监督领域适应方法,可以在目标领域提供少量精确标注的情况下解决领域迁移问题。相比于已有的全监督迁移学习技术,本方法可以大大减少标注成本,提高训练的效率,同时相比于已有的无监督域适应技术,本方法在少量标注图像的引导下,可以大幅度提高模型的性能。
(2)现有的大部分方法都是通过生成对抗网络来学习域不变特征,需要额外的判别器模型进行训练,训练不够稳定且耗时,对计算机显存占用较高。本发明提出使用域适应性批归一化操作,使用独立的归一化参数分别处理源域和目标域的图像,可以更简洁的处理不同数据域之间分布差异的问题,同时使用对比学习策略,使得网络卷积参数层更容易学到域不变特征。
(3)传统的领域适应方法只能解决源域和目标域是相同目标的分割任务的问题,例如相同器官在不同模态的图像中的分割任务,这样限制了实际解决领域迁移问题的使用场景。本发明不受限于相同目标物体的域适应任务,可让网络提取不同目标物体之间存在的相同的结构信息,从而可用于跨目标的域适应任务。例如可以使用网上公开的眼底血管图像对网络进行训练后,迁移到对X光图像中心脏冠状动脉的分割任务中。因此本发明可使用范围更广,数据有效性利用更高,更具有实际部署潜力。
附图说明
图1本发明中源域数据和目标域数据的示例,(a)为预处理后源域数据——眼底血管图像及其分割标注,(b)为预处理后目标域数据——X光冠脉图像及其分割标注;
图2本发明中基于半监督域适应图像分割方法的框架图;
图3本发明中进行图像分割所提出的网络结构示例图;
图4本发明中主网络对带标注的源域和目标域图像构建监督损失的示意图;
图5本发明中主网络和辅助网络对目标域的未标注图像构建一致性损失示意图;
图6本发明中主网络编码器对源域和目标域特征表达构建对比学习损失的示意图;
图7本发明方法在半监督跨目标领域适应分割模型的效果,(a)是目标域中一张测试样本和部分区域的细节放大展示,(b)是对应的分割标注和对应区域展示;(c)是本发明提出的方法利用眼底血管图像作为源域训练后,在X光图像的目标域中取得的分割结果。可以表明本发明提出的模型在解决领域迁移问题上有很好的的表现,得到的结果接近金标准。
具体实施方式
结合本发明的内容,提供以下以眼底血管图像作为源域数据,冠状动脉X光图像作为目标数据域,实现目标数据域图像中冠状动脉分割的实施例,本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz,GPU为Nvidia GTX1080Ti,内存为32.0GB的计算机中实现,编程语言为Python。
步骤1、源域数据和目标域数据的预处理
由于眼底图像为彩色图像,同冠状动脉的X光图像存在图像颜色、对比度等的差别,所以需要将彩色眼底图片先转换成黑白的灰度图片,并且将灰度图进行直方图匹配;X光的冠状动脉图片同样进行直方图匹配,最后完成图像输入神经网络前的预处理工作。图1展示一组预处理后的眼底图片和冠状动脉图片。
步骤2、基于域适应性批归一化的主网络的构建
本实施例中的神经网络基本结构采用编码器-解码器的结构,由18个卷积模块构成的编码-解码结构组成,如图3所示。每个卷积模块包含一个3×3的卷积,在每层卷积之后,先使用批归一化,再使用线性整流函数进行激活,以获得更平滑输出。在相同的图片分辨率下级联有两个卷积模块,在第二个卷积模块中使用跳跃连接将编码器的特征传递到对应分辨率下的解码器中的卷积模块中,以获得更好的收敛效果。在编码过程中,每次经过最大池化下采样后,通道数都翻倍。为获得更好的分割性能,将编码通道中各层得到的特征图跳跃连接后与解码通道中对应大小的特征图相拼接,以充分利用高层次特征和低层次特征进行分割。编码器的输出其中一支进入对比学习中抽取特征表达的模块中,另外一支输入到解码器中,完成下游任务。在解码器的输出部分,最终通过一个1×1的卷积与Softmax函数得到预测的分割概率图。
为了处理源数据域与目标数据域不同的分布,使用两套批归一化参数以分别对两个数据域的特征图进行归一化操作,即域适应性批归一化。因此,这两个数据域共享网络中的卷积参数,而使用各自的批归一化参数。用S和T分别表示源数据域和目标数据域,d∈{S,T}表示其中的某一个数据域,fd表示神经网络中某一层在数据域d的特征图,表示fd的第c个通道。对进行批归一化的操作如下:
其中和分别是在当前批次中的均值和方差。用θ表示神经网络中卷积层的参数,分别表示源数据域和目标数据域的批归一化参数,则图像分割网络的所有参数可以表示为图4展示了含域适应性批归一化操作的分割网络的示意图。
将N=40张带标注的源数据域图像送入主网络,以进行归一化,并将M=20张带标注的目标域图像送入主网络,以进行归一化,得到的预测结果分别表示为和其中n=1,2,…,N,m=1,2,…,M。基于这两种预测结果的监督损失函数Ls的定义如下:
步骤3、基于指数移动平均的辅助网络的设计和一致性约束
以上述神经网络作为主网络,设置一个与其结构一致的辅助网络,辅助网络仅用于目标域图像的处理,接受目标域的未标注图像作为输入。用表示主网络的针对目标域的参数,Θ′表示辅助网络对应的所有参数。辅助网络的参数通过指数移动平均的方式进行更新,用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻,α是控制参数更新速度的超参数,这里设置为α=0.99。Θ′的更新过程如下:
Θ′t+1=αΘ′t+(1-α)Θt 公式4
针对目标数据域中的所有211张图像,对分别添加不同的随机噪声δ′和δ″,得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络,得到其预测结果同时将输入辅助网络,得到其预测结果构建这两个预测之间的一致性约束如下:
一致性约束损失函数如图5所示。
步骤4、对比样本网络的构建
在上述基于编码器-解码器结构的基础上,用E表示其编码器部分。当使用批归一化时,该编码器记为源域编码器ES,当使用批归一化时,该编码器记为目标域域编码器ET。在编码器的输出部分增加一个全连接层分支,该分支用g表示。一幅图像X经过编码器E和该全连接层分支后的输出是一个高维向量z=g(ES(X))。
针对一幅源域图像其经过ES和g得到的结果记为经过ET和g得到的结果记为对于一幅目标域图像其经过ES和g得到的结果记为 经过ET和g得到的结果记为则称为的一个正样本,称为的一个负样本。将的所有负样本的集合记为Λ-,则的对比损失函数为:
其中sim()是计算两个向量之间的余弦相似度。τ是一个超参数,数值为0.1。
步骤5、整体损失函数的设置及计算
在上述不同类型的网络的预测结果的基础上,建立如下损失函数对网络的参数进行更新:
L=Ls+λ1Lc+λ2Lcont 公式7
其中Ls是根据公式3定义的监督损失函数,Lc是根据公式5定义的一致性约损失函数,Lcont是对比学习约束函数,λ1=1.0,λ2=1.0是三项约束函数之间的相对权重。对比学习损失函数Lcont的定义如下:
图7展示了一例目标域测试样本用本方法训练的模型得到的分割结果。本实施例的实施流程如下。
1、首先利用Opencv(一个科学运算库)编写函数对眼底图像和冠状动脉X光图像进行预处理,将眼底图像转换为灰度图,并对两种图像进行直方图匹配。
2、利用Pytorch(一个机器学习库)搭建本发明提出基于主网络和辅助网络的半监督领域适应卷积神经网络,将预处理后的图像输入网络中,对于有金标准的源域和目标域数据,将预测结果与对应金标准送入监督损失函数中。对于所有的目标域数据,使用一致性约束函数对主网络和辅助网络分别经过扰动的数据输出计算一致性损失函数值。此外,基于源域和目标域的编码器,构建一幅图像的正样本和负样本,建立对比学习损失函数。将监督损失函数、一致性损失函数和对比学习损失函数结合,使用Adam优化器进行反向传播,优化网络参数。对训练集数据循环训练,直至网络收敛。
3、对一个目标数据域的测试图像,使用训练完成后的主网络得到预测结果。
图7(a)表示是目标域中的一个测试样本,(b)是该测试样本的金标准以及部分细节的展示,(c)是本方法训练的模型在该样本上的分割预测图及其与金标准细节的比较。可以看到,本发明提出的模型在仅仅使用少量有标注的目标域数据的情况下,借助网上公开的容易获得金标准具有相似结构的血管图像对网络进行训练后,对目标血管的分割能力能够很好的迁移到目标域数据上。
Claims (1)
1.一种半监督的跨领域自适应的图像分割方法,该方法包括以下步骤:
步骤1:图像预处理;
将获取的彩色图片先转换成灰度图片,并且将灰度图进行直方图匹配,完成预处理;
主网络包括级联的编码器和解码器,所述编码器由多个级联的卷积-下采样单元组成,每个卷积-下采样单元包括一个卷积层和一个下采样层,每个卷积层包括一个卷积运算,一个批归一化层和一个激活层;解码器由多个级联的卷积-上采样单元组成,其中的每个卷积-上采样单元包含一个卷积层和一个上采样层,其中卷积层与编码器中的卷积层结构一致;
考虑到源数据域的图像和目标数据域的图像在分布上存在差异,为了消除这种差异,分别针对两个数据域设立批归一化层;用S和T分别表示源数据域和目标数据域,d∈{S,T}表示其中的某一个数据域,fd表示神经网络中某一层在数据域d的特征图,表示fd的第c个通道,对进行批归一化的操作如下:
设数据集中包含N张带标注的源数据域图像及其标注M张带标注的目标域图像及其标注以及K张未标注的目标域图像用θ表示神经网络中卷积层的参数,分别表示源数据域和目标数据域的批归一化参数,将图像分割网络的所有参数表示为
将N张带标注的源数据域图像送入主网络,以进行归一化,并将M张带标注的目标域图像送入主网络,以进行归一化,得到的预测结果分别表示为和(θ,),其中n=1,2,…,N,m=1,2,…,M;主网络针对源数据域图像和目标域图像的监督损失函数Ls为:
步骤3:构建基于指数移动平均的辅助网络和一致性约束;
以作为主网络,设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理;具体地,用表示主网络的针对目标域的参数,Θ′表示辅助网络对应的所有参数,辅助网络的参数通过指数移动平均的方式进行更新,用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻,α∈[0,1]是控制参数更新速度的超参数,Θ′的更新过程如下:
Θ′t+1=αΘ′t+(1-α)Θt 公式4
针对目标数据域中的所有M+K张图像,对分别添加不同的随机噪声δ′和δ″,其中k=1,2,…,M+K,得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络,得到其预测结果同时将输入辅助网络,得到其预测结果构建这两个预测之间的一致性约束如下:
步骤4:构建对比样本;
基于编码器-解码器结构的所述主网络中,用E表示编码器,当使用批归一化时,该编码器记为源域编码器ES,当使用批归一化时,该编码器记为目标域编码器ET;在编码器的输出部分增加一个全连接层分支,该分支用g表示;一幅图像X经过编码器E和该全连接层分支后的输出为高维隐藏特征z=g(E(X));
针对一幅源域图像其经过ES和g得到的结果记为经过ET和g得到的结果记为对于一幅目标域图像其经过ES和g得到的结果记为 经过ET和g得到的结果记为则称为的一个正样本,称为的一个负样本;将的所有负样本的集合记为Λ-,则的对比损失函数为:
其中sim()是计算两个向量之间的余弦相似度;τ是一个超参数;
步骤5:设置整体损失函数;
根据主网络、辅助网络、样本对比网络的损失函数,建立如下损失函数L;在采用主网络对图像分割结果进行预测的同时,采用损失函数L对主网络的参数进行更新:
L=Ls+λ1Lc+λ2Lcont 公式7
Lcont是对比学习约束函数,λ1,λ2是三项约束函数之间的相对权重,对比学习损失函数Lcont的定义如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576690.1A CN114240955B (zh) | 2021-12-22 | 2021-12-22 | 一种半监督的跨领域自适应的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576690.1A CN114240955B (zh) | 2021-12-22 | 2021-12-22 | 一种半监督的跨领域自适应的图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114240955A true CN114240955A (zh) | 2022-03-25 |
CN114240955B CN114240955B (zh) | 2023-04-07 |
Family
ID=80760889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111576690.1A Active CN114240955B (zh) | 2021-12-22 | 2021-12-22 | 一种半监督的跨领域自适应的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240955B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549842A (zh) * | 2022-04-22 | 2022-05-27 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及系统 |
CN115100390A (zh) * | 2022-08-24 | 2022-09-23 | 华东交通大学 | 一种联合对比学习与自监督区域定位的图像情感预测方法 |
CN115841475A (zh) * | 2022-12-14 | 2023-03-24 | 北京医准智能科技有限公司 | 一种心脏图像分割方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942779A (zh) * | 2014-03-27 | 2014-07-23 | 南京邮电大学 | 一种基于图论和半监督学习相结合的图像分割方法 |
US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
CN112734764A (zh) * | 2021-03-31 | 2021-04-30 | 电子科技大学 | 一种基于对抗网络的无监督医学图像分割方法 |
CN112837338A (zh) * | 2021-01-12 | 2021-05-25 | 浙江大学 | 一种基于生成对抗网络的半监督医学图像分割方法 |
CN113177950A (zh) * | 2021-04-22 | 2021-07-27 | 燕山大学 | 基于半监督对抗学习的冠脉造影血管图像分割的方法 |
CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
CN113469186A (zh) * | 2021-06-30 | 2021-10-01 | 华侨大学 | 一种基于少量点标注的跨域迁移图像分割方法 |
-
2021
- 2021-12-22 CN CN202111576690.1A patent/CN114240955B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942779A (zh) * | 2014-03-27 | 2014-07-23 | 南京邮电大学 | 一种基于图论和半监督学习相结合的图像分割方法 |
US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
CN112837338A (zh) * | 2021-01-12 | 2021-05-25 | 浙江大学 | 一种基于生成对抗网络的半监督医学图像分割方法 |
CN112734764A (zh) * | 2021-03-31 | 2021-04-30 | 电子科技大学 | 一种基于对抗网络的无监督医学图像分割方法 |
CN113177950A (zh) * | 2021-04-22 | 2021-07-27 | 燕山大学 | 基于半监督对抗学习的冠脉造影血管图像分割的方法 |
CN113436197A (zh) * | 2021-06-07 | 2021-09-24 | 华东师范大学 | 基于生成对抗和类特征分布的域适应无监督图像分割方法 |
CN113469186A (zh) * | 2021-06-30 | 2021-10-01 | 华侨大学 | 一种基于少量点标注的跨域迁移图像分割方法 |
Non-Patent Citations (5)
Title |
---|
JINGYANG ZHANG等: "SS-CADA: A Semi-Supervised Cross-Anatomy Domain Adaptation for Coronary Artery Segmentation", 《2021 IEEE 18TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》 * |
XIANGDE LUO等: "Semi-supervised Medical Image Segmentation through Dual-task Consistency", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
XIANGDE LUO等: "Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer", 《HTTPS://ARXIV.ORG/ABS/2112.04894V1》 * |
张轶岳: "基于深度学习和域自适应的图像语义分割", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王颖: "基于深度学习的图像语义分割算法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549842A (zh) * | 2022-04-22 | 2022-05-27 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及系统 |
CN115100390A (zh) * | 2022-08-24 | 2022-09-23 | 华东交通大学 | 一种联合对比学习与自监督区域定位的图像情感预测方法 |
CN115841475A (zh) * | 2022-12-14 | 2023-03-24 | 北京医准智能科技有限公司 | 一种心脏图像分割方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114240955B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114240955B (zh) | 一种半监督的跨领域自适应的图像分割方法 | |
WO2022252272A1 (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
CN111754596A (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
WO2021155792A1 (zh) | 一种处理装置、方法及存储介质 | |
KR20190138238A (ko) | 딥 블라인드 전의 학습 | |
CN110942466B (zh) | 一种基于深度学习技术的脑动脉分割方法及装置 | |
CN113763442A (zh) | 一种可变形医学图像配准方法及系统 | |
CN112734723A (zh) | 一种面向多源数据的乳腺肿瘤图像分类预测方法及装置 | |
CN111931602A (zh) | 基于注意力机制的多流分段网络人体动作识别方法及系统 | |
CN113256592B (zh) | 图像特征提取模型的训练方法、系统及装置 | |
CN110363751B (zh) | 一种基于生成协作网络的大肠内视镜息肉检测方法 | |
CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
CN116564355A (zh) | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 | |
Zhang et al. | An improved tongue image segmentation algorithm based on Deeplabv3+ framework | |
CN113449671A (zh) | 一种多尺度多特征融合的行人重识别方法及装置 | |
CN117975002A (zh) | 一种基于多尺度伪标签融合的弱监督图像分割方法 | |
CN117975101A (zh) | 基于舌象和文本信息融合的中医疾病分类方法及系统 | |
CN117708698A (zh) | 一种类别确定方法、装置、设备及存储介质 | |
CN117593275A (zh) | 一种医学图像分割系统 | |
CN116884412A (zh) | 一种基于混合三维残差门控循环单元的唇语识别方法 | |
CN116434343A (zh) | 基于高低频双支路的视频动作识别方法 | |
CN114298159B (zh) | 一种基于无标签样本下文本融合的图像相似性检测方法 | |
Anilkumar et al. | An improved beluga whale optimizer—Derived Adaptive multi-channel DeepLabv3+ for semantic segmentation of aerial images | |
Zhu et al. | DiffSwinTr: A diffusion model using 3D Swin Transformer for brain tumor segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |