CN114240955B - 一种半监督的跨领域自适应的图像分割方法 - Google Patents

一种半监督的跨领域自适应的图像分割方法 Download PDF

Info

Publication number
CN114240955B
CN114240955B CN202111576690.1A CN202111576690A CN114240955B CN 114240955 B CN114240955 B CN 114240955B CN 202111576690 A CN202111576690 A CN 202111576690A CN 114240955 B CN114240955 B CN 114240955B
Authority
CN
China
Prior art keywords
domain
network
image
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111576690.1A
Other languages
English (en)
Other versions
CN114240955A (zh
Inventor
王国泰
顾然
张靖阳
张少霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111576690.1A priority Critical patent/CN114240955B/zh
Publication of CN114240955A publication Critical patent/CN114240955A/zh
Application granted granted Critical
Publication of CN114240955B publication Critical patent/CN114240955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及的是一种半监督的跨领域自适应的图像分割方法，属于图像识别技术领域。本发明对来自不同数据域的图像使用共享的卷积层的方式学习数据域间共有的特征信息，并使用独立的批归一化层处理不同数据域的分布差异，从而让一个模型可以在克服数据域差异的情况下实现跨域的知识迁移。针对目标域数据缺乏标注的情况，本发明的半监督域适应方法使用一个辅助网络，通过辅助网络与主网络针对同一个样本产生的不同噪声图像的预测之间的一致性，充分利用未标注数据进行学习，并进一步利用对比学习策略提高域不变特征的学习。本发明提出的方法可以解决图像分割模型在处理不同中心的数据时遇到的性能不稳定问题，并且在新的中心的数据中仅需少量的标注就可以让模型取得鲁棒的性能。在实际基于深度神经网络的图像分割场景中，可有效提高模型的稳定性和泛化能力。

Description

一种半监督的跨领域自适应的图像分割方法
技术领域
本发明涉及的是一种图像的自动分割技术，特别是针对从一个从带标注的源数据域中训练的算法模型迁移到另一个含少量标注的目标数据域进行图像分割，属于图像识别方法领域。
背景技术
随着成像技术的不断发展，图像分割技术成为理解图像内容、实现计算机视觉的重要基础，比如对街景图像的自动分割是自动驾驶汽车的重要基础，在医学图像中对病灶的分割有助于医生对疾病做出精确的诊断和定量化的评估。由于对图像进行人工手动分割是一项费时费力的事情，将人工宝贵的时间浪费在对目标区域的低效率勾画上是不可取的，因此图像的自动分割方法越来越受到临床上的关注。近年来，随着深度学习的出现，全监督的自动分割算法的表现接近甚至是超过人类的水平，基于深度学习的图像自动分割方法已经逐渐成为目前的主流方法并逐渐得到应用。
对目前的图像自动分割模型进行研究发现，尽管深度学习在图像分割任务中可以取得令人瞩目的表现，但是这些好的表现都依赖于大量的含像素级别的精确标注的图像进行训练，即全监督学习。图像的逐像素精确标注十分耗时，且在某些情况下依赖于具有专业知识的人员来操作，导致获得高质量的标注数据十分困难，时间和人力成本高昂。这已经成为深度学习算法发展的主要障碍。同时，传统的全监督深度学习方法普遍具有较差的跨领域适应性，在一批数据上训练好模型后，当新来一批没有在训练时见过的数据时，模型的性能往往会有非常明显的下降。这主要是由于不同中心的图像在成像模态、成像参数、目标物体的特点、环境变化等因素上存在较多差异，导致两个中心的图像存在分布差异，即域偏移，从而在一个数据域上训练的模型不能直接用于另一个数据域。
传统的迁移学习方法需要目标数据域图像的完整标注，具有较高的标注成本，即利用在源数据域上预训练的模型作为初始模型，再使用目标域的图像及其标注进行全监督学习。高昂的标注成本限制了这些方法的实用性。为了解决这一问题，本发明提出一种半监督的域适应方法，即只需要目标数据域的少量标注图像，将预训练模型适应到该数据域，从而提高模型在新的目标数据域的性能。
发明内容
本发明的目的在于克服现有的图像自动分割算法的跨数据域迁移和适应能力不足的问题和现有的迁移学习方法依赖大量人工标注的问题，提出一种基于对比学习的半监督域适应方法用于图像分割。已有的全监督迁移学习技术需要对目标数据域的图像进行大量精确标注，标注成本高，限制了方法的实用性。同时，目前的无监督域适应方法不使用目标数据域上的任何标注信息，缺乏有效的监督信号，导致其难以取得满意的性能。本发明的设计的半监督域适应方法，只需要对目标数据域上的图像进行少量标注，有效减少标注成本的同时，也提供了足够的监督信号以保证算法的性能。
本发明采用一种新的基于半监督知识迁移的领域适应方法来解决不同中心的数据分布差异带来的域偏移的问题和数据标注不足的挑战。对于一个给定的已标注的源数据域和一个带部分标注的目标数据域，本发明采用域适应性批归一化的神经网络进行学习，在分别对两个数据域的图像的特征进行适应性批归一化后，消除域差异，并通过共享卷积参数，学习到域不变特征。同时，本发明采用对比学习的方法，通过构建对比学习策略让网络更关注到领域不变的特征信息。在此基础上，基于一种主网络和辅助网络的半监督学习方法，通过学习源域和有部分标注的目标域数据获得分割能力，将源域的知识迁移到目标域上，克服目标域图像标注量少的不足，从而得到在目标域上具有较高性能的分割模型。
本发明技术方案为一种半监督的跨领域自适应的图像分割方法，该方法包括以下步骤：
步骤1：图像预处理；
将获取的彩色图片先转换成灰度图片，并且将灰度图进行直方图匹配，完成预处理；
步骤2：构建基于域适应性批归一化的主网络
Figure BDA0003425420420000021
主网络包括级联的编码器和解码器，所述编码器由多个级联的卷积-下采样单元组成，每个卷积-下采样单元包括一个卷积层和一个下采样层，每个卷积层包括一个卷积运算，一个批归一化层和一个激活层；解码器由多个级联的卷积-上采样单元组成，其中的每个卷积-上采样单元包含一个卷积层和一个上采样层，其中卷积层与编码器中的卷积层结构一致；
考虑到源数据域的图像和目标数据域的图像在分布上存在差异，为了消除这种差异，分别针对两个数据域设立批归一化层；用S和T分别表示源数据域和目标数据域，d∈{S,T}表示其中的某一个数据域，fd表示神经网络中某一层在数据域d的特征图，
Figure BDA0003425420420000022
表示fd的第c个通道，对
Figure BDA0003425420420000023
进行批归一化的操作如下：
Figure BDA0003425420420000024
其中，
Figure BDA0003425420420000025
和
Figure BDA0003425420420000026
分别是尺度系数和偏移系数，中间值
Figure BDA0003425420420000027
由如下公式得到：
Figure BDA0003425420420000028
其中
Figure BDA0003425420420000031
和
Figure BDA0003425420420000032
分别是
Figure BDA0003425420420000033
在当前批次中的均值和方差；
设数据集中包含N张带标注的源数据域图像
Figure BDA0003425420420000034
及其标注
Figure BDA0003425420420000035
M张带标注的目标域图像
Figure BDA0003425420420000036
及其标注
Figure BDA0003425420420000037
以及K张未标注的目标域图像
Figure BDA0003425420420000038
用θ表示神经网络中卷积层的参数，
Figure BDA0003425420420000039
分别表示源数据域和目标数据域的批归一化参数，将图像分割网络的所有参数表示为
Figure BDA00034254204200000310
将N张带标注的源数据域图像送入主网络，以
Figure BDA00034254204200000311
进行归一化，并将M张带标注的目标域图像送入主网络，以
Figure BDA00034254204200000312
进行归一化，得到的预测结果分别表示为
Figure BDA00034254204200000313
和
Figure BDA00034254204200000314
其中n＝1,2,…,N,m＝1,2,…,M；主网络针对源数据域图像和目标域图像的监督损失函数Ls为：
Figure BDA00034254204200000315
其中，
Figure BDA00034254204200000316
是主网络利用θ,
Figure BDA00034254204200000317
对源数据域的图像
Figure BDA00034254204200000318
的预测结果，
Figure BDA00034254204200000319
是主网络利用θ,
Figure BDA00034254204200000320
对目标数据域的图像
Figure BDA00034254204200000321
的预测结果，Lseg为图像分割损失函数；
步骤3：构建基于指数移动平均的辅助网络和一致性约束；
以
Figure BDA00034254204200000322
作为主网络，设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理；具体地，用
Figure BDA00034254204200000323
表示主网络的针对目标域的参数，Θ′表示辅助网络对应的所有参数，辅助网络的参数通过指数移动平均的方式进行更新，用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻，α∈[0,1]是控制参数更新速度的超参数，Θ′的更新过程如下：
Θ′t+1＝αΘ′t+(1-α)Θt                      公式4
针对目标数据域中的所有M+K张图像，对
Figure BDA00034254204200000324
分别添加不同的随机噪声δ′和δ″，其中k＝1,2,…,M+K，得到由同一幅未标注图像的产生两幅噪声图像
Figure BDA00034254204200000325
与
Figure BDA00034254204200000326
将
Figure BDA00034254204200000327
输入主网络，得到其预测结果
Figure BDA00034254204200000328
同时将
Figure BDA00034254204200000329
输入辅助网络，得到其预测结果
Figure BDA00034254204200000330
构建这两个预测之间的一致性约束如下：
Figure BDA00034254204200000331
步骤4：构建对比样本；
基于编码器-解码器结构的所述主网络中，用E表示编码器，当使用
Figure BDA00034254204200000332
批归一化时，该编码器记为源域编码器ES,当使用
Figure BDA00034254204200000333
批归一化时，该编码器记为目标域编码器ET；在编码器的输出部分增加一个全连接层分支，该分支用g表示；一幅图像X经过编码器E和该全连接层分支后的输出为高维隐藏特征z＝g(E(X))；
针对一幅源域图像
Figure BDA0003425420420000041
其经过ES和g得到的结果记为
Figure BDA0003425420420000042
经过ET和g得到的结果记为
Figure BDA0003425420420000043
对于一幅目标域图像
Figure BDA0003425420420000044
其经过ES和g得到的结果记为
Figure BDA0003425420420000045
Figure BDA0003425420420000046
经过ET和g得到的结果记为
Figure BDA0003425420420000047
则
Figure BDA0003425420420000048
称为
Figure BDA0003425420420000049
的一个正样本，
Figure BDA00034254204200000410
称为
Figure BDA00034254204200000411
的一个负样本；将
Figure BDA00034254204200000412
的所有负样本的集合记为Λ-，则
Figure BDA00034254204200000413
的对比损失函数
Figure BDA00034254204200000414
为：
Figure BDA00034254204200000415
其中sim()是计算两个向量之间的余弦相似度；τ是一个超参数；
步骤5：设置整体损失函数；
根据主网络、辅助网络、样本对比网络的损失函数，建立如下损失函数L；在采用主网络对图像分割结果进行预测的同时，采用损失函数L对主网络的参数进行更新：
L＝Ls+λ1Lc+λ2Lcont                           公式7
Lcont是对比学习约束函数，λ1,λ2是三项约束函数之间的相对权重,对比学习损失函数Lcont的定义如下：
Figure BDA00034254204200000416
与现有技术相比，本发明具有以下优点：
(1)针对在深度学习图像分割模型在一个中心训练好之后在另外一个中心测试存在性能明显降低的问题，本发明提出基于主网络和辅助网络的半监督领域适应方法，可以在目标领域提供少量精确标注的情况下解决领域迁移问题。相比于已有的全监督迁移学习技术，本方法可以大大减少标注成本，提高训练的效率，同时相比于已有的无监督域适应技术，本方法在少量标注图像的引导下，可以大幅度提高模型的性能。
(2)现有的大部分方法都是通过生成对抗网络来学习域不变特征，需要额外的判别器模型进行训练，训练不够稳定且耗时，对计算机显存占用较高。本发明提出使用域适应性批归一化操作，使用独立的归一化参数分别处理源域和目标域的图像，可以更简洁的处理不同数据域之间分布差异的问题，同时使用对比学习策略，使得网络卷积参数层更容易学到域不变特征。
(3)传统的领域适应方法只能解决源域和目标域是相同目标的分割任务的问题，例如相同器官在不同模态的图像中的分割任务，这样限制了实际解决领域迁移问题的使用场景。本发明不受限于相同目标物体的域适应任务，可让网络提取不同目标物体之间存在的相同的结构信息，从而可用于跨目标的域适应任务。例如可以使用网上公开的眼底血管图像对网络进行训练后，迁移到对X光图像中心脏冠状动脉的分割任务中。因此本发明可使用范围更广，数据有效性利用更高，更具有实际部署潜力。
附图说明
图1本发明中源域数据和目标域数据的示例，(a)为预处理后源域数据——眼底血管图像及其分割标注，(b)为预处理后目标域数据——X光冠脉图像及其分割标注；
图2本发明中基于半监督域适应图像分割方法的框架图；
图3本发明中进行图像分割所提出的网络结构示例图；
图4本发明中主网络对带标注的源域和目标域图像构建监督损失的示意图；
图5本发明中主网络和辅助网络对目标域的未标注图像构建一致性损失示意图；
图6本发明中主网络编码器对源域和目标域特征表达构建对比学习损失的示意图；
图7本发明方法在半监督跨目标领域适应分割模型的效果，(a)是目标域中一张测试样本和部分区域的细节放大展示，(b)是对应的分割标注和对应区域展示；(c)是本发明提出的方法利用眼底血管图像作为源域训练后，在X光图像的目标域中取得的分割结果。可以表明本发明提出的模型在解决领域迁移问题上有很好的的表现，得到的结果接近金标准。
具体实施方式
结合本发明的内容，提供以下以眼底血管图像作为源域数据，冠状动脉X光图像作为目标数据域，实现目标数据域图像中冠状动脉分割的实施例，本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz，GPU为Nvidia GTX1080Ti，内存为32.0GB的计算机中实现，编程语言为Python。
步骤1、源域数据和目标域数据的预处理
由于眼底图像为彩色图像，同冠状动脉的X光图像存在图像颜色、对比度等的差别，所以需要将彩色眼底图片先转换成黑白的灰度图片，并且将灰度图进行直方图匹配；X光的冠状动脉图片同样进行直方图匹配，最后完成图像输入神经网络前的预处理工作。图1展示一组预处理后的眼底图片和冠状动脉图片。
数据集中包含N＝40张带标注的源数据域图像
Figure BDA0003425420420000051
及其标注
Figure BDA0003425420420000052
Figure BDA0003425420420000053
张带标注的目标域图像
Figure BDA0003425420420000054
及其标注
Figure BDA0003425420420000055
以及K张(K＝191)未标注的目标域图像
Figure BDA0003425420420000056
步骤2、基于域适应性批归一化的主网络的构建
本实施例中的神经网络基本结构采用编码器-解码器的结构，由18个卷积模块构成的编码-解码结构组成，如图3所示。每个卷积模块包含一个3×3的卷积，在每层卷积之后，先使用批归一化，再使用线性整流函数进行激活，以获得更平滑输出。在相同的图片分辨率下级联有两个卷积模块，在第二个卷积模块中使用跳跃连接将编码器的特征传递到对应分辨率下的解码器中的卷积模块中，以获得更好的收敛效果。在编码过程中，每次经过最大池化下采样后，通道数都翻倍。为获得更好的分割性能，将编码通道中各层得到的特征图跳跃连接后与解码通道中对应大小的特征图相拼接，以充分利用高层次特征和低层次特征进行分割。编码器的输出其中一支进入对比学习中抽取特征表达的模块中，另外一支输入到解码器中，完成下游任务。在解码器的输出部分，最终通过一个1×1的卷积与Softmax函数得到预测的分割概率图。
为了处理源数据域与目标数据域不同的分布，使用两套批归一化参数以分别对两个数据域的特征图进行归一化操作，即域适应性批归一化。因此，这两个数据域共享网络中的卷积参数，而使用各自的批归一化参数。用S和T分别表示源数据域和目标数据域，d∈{S,T}表示其中的某一个数据域，fd表示神经网络中某一层在数据域d的特征图，
Figure BDA0003425420420000061
表示fd的第c个通道。对
Figure BDA0003425420420000062
进行批归一化的操作如下：
Figure BDA0003425420420000063
其中
Figure BDA0003425420420000064
和
Figure BDA0003425420420000065
分别是尺度系数和偏移系数，
Figure BDA0003425420420000066
由如下公式得到：
Figure BDA0003425420420000067
其中
Figure BDA0003425420420000068
和
Figure BDA0003425420420000069
分别是
Figure BDA00034254204200000610
在当前批次中的均值和方差。用θ表示神经网络中卷积层的参数，
Figure BDA00034254204200000611
分别表示源数据域和目标数据域的批归一化参数，则图像分割网络的所有参数可以表示为
Figure BDA00034254204200000612
图4展示了含域适应性批归一化操作的分割网络的示意图。
将N＝40张带标注的源数据域图像送入主网络，以
Figure BDA00034254204200000613
进行归一化，并将M＝20张带标注的目标域图像送入主网络，以
Figure BDA00034254204200000614
进行归一化，得到的预测结果分别表示为
Figure BDA00034254204200000615
和
Figure BDA00034254204200000616
其中n＝1,2,…,N,m＝1,2,…,M。基于这两种预测结果的监督损失函数Ls的定义如下：
Figure BDA00034254204200000617
其中
Figure BDA00034254204200000618
是主网络利用θ,
Figure BDA00034254204200000619
对源数据域的图像
Figure BDA00034254204200000620
的预测结果，
Figure BDA00034254204200000621
是主网络利用θ,
Figure BDA00034254204200000622
对目标数据域的图像
Figure BDA00034254204200000623
的预测结果，Lseg为交叉熵和Dice损失函数的混合分割损失函数。
步骤3、基于指数移动平均的辅助网络的设计和一致性约束
以上述神经网络作为主网络，设置一个与其结构一致的辅助网络，辅助网络仅用于目标域图像的处理，接受目标域的未标注图像作为输入。用
Figure BDA0003425420420000071
表示主网络的针对目标域的参数，Θ′表示辅助网络对应的所有参数。辅助网络的参数通过指数移动平均的方式进行更新，用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻，α是控制参数更新速度的超参数，这里设置为α＝0.99。Θ′的更新过程如下：
Θ′t+1＝αΘ′t+(1-α)Θt                       公式4
针对目标数据域中的所有211张图像，对
Figure BDA0003425420420000072
分别添加不同的随机噪声δ′和δ″，得到由同一幅未标注图像的产生两幅噪声图像
Figure BDA0003425420420000073
与
Figure BDA0003425420420000074
将
Figure BDA0003425420420000075
输入主网络，得到其预测结果
Figure BDA0003425420420000076
同时将
Figure BDA0003425420420000077
输入辅助网络，得到其预测结果
Figure BDA0003425420420000078
构建这两个预测之间的一致性约束如下：
Figure BDA0003425420420000079
一致性约束损失函数如图5所示。
步骤4、对比样本网络的构建
在上述基于编码器-解码器结构的基础上，用E表示其编码器部分。当使用
Figure BDA00034254204200000710
批归一化时，该编码器记为源域编码器ES,当使用
Figure BDA00034254204200000711
批归一化时，该编码器记为目标域域编码器ET。在编码器的输出部分增加一个全连接层分支，该分支用g表示。一幅图像X经过编码器E和该全连接层分支后的输出是一个高维向量z＝g(ES(X))。
针对一幅源域图像
Figure BDA00034254204200000712
其经过ES和g得到的结果记为
Figure BDA00034254204200000713
经过ET和g得到的结果记为
Figure BDA00034254204200000714
对于一幅目标域图像
Figure BDA00034254204200000715
其经过ES和g得到的结果记为
Figure BDA00034254204200000716
Figure BDA00034254204200000717
经过ET和g得到的结果记为
Figure BDA00034254204200000718
则
Figure BDA00034254204200000719
称为
Figure BDA00034254204200000720
的一个正样本，
Figure BDA00034254204200000721
称为
Figure BDA00034254204200000722
的一个负样本。将
Figure BDA00034254204200000723
的所有负样本的集合记为Λ-，则
Figure BDA00034254204200000724
的对比损失函数为：
Figure BDA00034254204200000725
其中sim()是计算两个向量之间的余弦相似度。τ是一个超参数，数值为0.1。
步骤5、整体损失函数的设置及计算
在上述不同类型的网络的预测结果的基础上，建立如下损失函数对网络的参数进行更新：
L＝Ls+λ1Lc+λ2Lcont                           公式7
其中Ls是根据公式3定义的监督损失函数，Lc是根据公式5定义的一致性约损失函数，Lcont是对比学习约束函数，λ1＝1.0,λ2＝1.0是三项约束函数之间的相对权重。对比学习损失函数Lcont的定义如下：
Figure BDA0003425420420000081
在损失函数L的基础上，利用梯度下降法对模型进行训练，训练收敛后针对目标域的模型参数
Figure BDA0003425420420000082
对目标域的测试图像进行预测，得到分割结果。
图7展示了一例目标域测试样本用本方法训练的模型得到的分割结果。本实施例的实施流程如下。
1、首先利用Opencv(一个科学运算库)编写函数对眼底图像和冠状动脉X光图像进行预处理，将眼底图像转换为灰度图，并对两种图像进行直方图匹配。
2、利用Pytorch(一个机器学习库)搭建本发明提出基于主网络和辅助网络的半监督领域适应卷积神经网络，将预处理后的图像输入网络中，对于有金标准的源域和目标域数据，将预测结果与对应金标准送入监督损失函数中。对于所有的目标域数据，使用一致性约束函数对主网络和辅助网络分别经过扰动的数据输出计算一致性损失函数值。此外，基于源域和目标域的编码器，构建一幅图像的正样本和负样本，建立对比学习损失函数。将监督损失函数、一致性损失函数和对比学习损失函数结合，使用Adam优化器进行反向传播，优化网络参数。对训练集数据循环训练，直至网络收敛。
3、对一个目标数据域的测试图像，使用训练完成后的主网络得到预测结果。
图7(a)表示是目标域中的一个测试样本，(b)是该测试样本的金标准以及部分细节的展示，(c)是本方法训练的模型在该样本上的分割预测图及其与金标准细节的比较。可以看到，本发明提出的模型在仅仅使用少量有标注的目标域数据的情况下，借助网上公开的容易获得金标准具有相似结构的血管图像对网络进行训练后，对目标血管的分割能力能够很好的迁移到目标域数据上。

Claims (1)

1.一种半监督的跨领域自适应的图像分割方法，该方法包括以下步骤：
步骤1：图像预处理；
将获取的彩色图片先转换成灰度图片，并且将灰度图进行直方图匹配，完成预处理；
步骤2：构建基于域适应性批归一化的主网络
Figure FDA0003425420410000011
主网络包括级联的编码器和解码器，所述编码器由多个级联的卷积-下采样单元组成，每个卷积-下采样单元包括一个卷积层和一个下采样层，每个卷积层包括一个卷积运算，一个批归一化层和一个激活层；解码器由多个级联的卷积-上采样单元组成，其中的每个卷积-上采样单元包含一个卷积层和一个上采样层，其中卷积层与编码器中的卷积层结构一致；
考虑到源数据域的图像和目标数据域的图像在分布上存在差异，为了消除这种差异，分别针对两个数据域设立批归一化层；用S和T分别表示源数据域和目标数据域，d∈{S,T}表示其中的某一个数据域，fd表示神经网络中某一层在数据域d的特征图，
Figure FDA0003425420410000012
表示fd的第c个通道，对
Figure FDA0003425420410000013
进行批归一化的操作如下：
Figure FDA0003425420410000014
其中，
Figure FDA0003425420410000015
和
Figure FDA0003425420410000016
分别是尺度系数和偏移系数，中间值
Figure FDA0003425420410000017
由如下公式得到：
Figure FDA0003425420410000018
其中
Figure FDA0003425420410000019
和
Figure FDA00034254204100000110
分别是
Figure FDA00034254204100000111
在当前批次中的均值和方差；
设数据集中包含N张带标注的源数据域图像
Figure FDA00034254204100000112
及其标注
Figure FDA00034254204100000113
M张带标注的目标域图像
Figure FDA00034254204100000114
及其标注
Figure FDA00034254204100000115
以及K张未标注的目标域图像
Figure FDA00034254204100000116
用θ表示神经网络中卷积层的参数，
Figure FDA00034254204100000117
分别表示源数据域和目标数据域的批归一化参数，将图像分割网络的所有参数表示为
Figure FDA00034254204100000118
将N张带标注的源数据域图像送入主网络，以
Figure FDA00034254204100000119
进行归一化，并将M张带标注的目标域图像送入主网络，以
Figure FDA00034254204100000120
进行归一化，得到的预测结果分别表示为
Figure FDA00034254204100000121
和(θ,
Figure FDA00034254204100000122
)，其中n＝1,2,…,N,m＝1,2,…,M；主网络针对源数据域图像和目标域图像的监督损失函数Ls为：
Figure FDA00034254204100000123
其中，
Figure FDA00034254204100000124
是主网络利用θ,
Figure FDA00034254204100000125
对源数据域的图像
Figure FDA00034254204100000126
的预测结果，
Figure FDA00034254204100000127
是主网络利用θ,
Figure FDA00034254204100000128
对目标数据域的图像
Figure FDA00034254204100000129
的预测结果，Lseg为图像分割损失函数；
步骤3：构建基于指数移动平均的辅助网络和一致性约束；
以
Figure FDA00034254204100000130
作为主网络，设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理；具体地，用
Figure FDA0003425420410000021
表示主网络的针对目标域的参数，Θ′表示辅助网络对应的所有参数，辅助网络的参数通过指数移动平均的方式进行更新，用t和t+1分别表示训练过程中当前迭代时刻和下一迭代时刻，α∈[0,1]是控制参数更新速度的超参数，Θ′的更新过程如下：
Θ′t+1＝αΘ′t+(1-α)Θt                       公式4
针对目标数据域中的所有M+K张图像，对
Figure FDA0003425420410000022
分别添加不同的随机噪声δ′和δ″，其中k＝1,2,…,M+K，得到由同一幅未标注图像的产生两幅噪声图像
Figure FDA0003425420410000023
与
Figure FDA0003425420410000024
将
Figure FDA0003425420410000025
输入主网络，得到其预测结果
Figure FDA0003425420410000026
同时将
Figure FDA0003425420410000027
输入辅助网络，得到其预测结果
Figure FDA0003425420410000028
构建这两个预测之间的一致性约束如下：
Figure FDA0003425420410000029
步骤4：构建对比样本；
基于编码器-解码器结构的所述主网络中，用E表示编码器，当使用
Figure FDA00034254204100000210
批归一化时，该编码器记为源域编码器ES,当使用
Figure FDA00034254204100000211
批归一化时，该编码器记为目标域编码器ET；在编码器的输出部分增加一个全连接层分支，该分支用g表示；一幅图像X经过编码器E和该全连接层分支后的输出为高维隐藏特征z＝g(E(X))；
针对一幅源域图像
Figure FDA00034254204100000212
其经过ES和g得到的结果记为
Figure FDA00034254204100000213
经过ET和g得到的结果记为
Figure FDA00034254204100000214
对于一幅目标域图像
Figure FDA00034254204100000215
其经过ES和g得到的结果记为
Figure FDA00034254204100000216
Figure FDA00034254204100000217
经过ET和g得到的结果记为
Figure FDA00034254204100000218
则
Figure FDA00034254204100000219
称为
Figure FDA00034254204100000220
的一个正样本，
Figure FDA00034254204100000221
称为
Figure FDA00034254204100000222
的一个负样本；将
Figure FDA00034254204100000223
的所有负样本的集合记为Λ-，则
Figure FDA00034254204100000224
的对比损失函数
Figure FDA00034254204100000225
为：
Figure FDA00034254204100000226
其中sim()是计算两个向量之间的余弦相似度；τ是一个超参数；
步骤5：设置整体损失函数；
根据主网络、辅助网络、样本对比网络的损失函数，建立如下损失函数L；在采用主网络对图像分割结果进行预测的同时，采用损失函数L对主网络的参数进行更新：
L＝Ls+λ1Lc+λ2Lcont                             公式7
Lcont是对比学习约束函数，λ1,λ2是三项约束函数之间的相对权重,对比学习损失函数Lcont的定义如下：
Figure FDA0003425420410000031
CN202111576690.1A 2021-12-22 2021-12-22 一种半监督的跨领域自适应的图像分割方法 Active CN114240955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111576690.1A CN114240955B (zh) 2021-12-22 2021-12-22 一种半监督的跨领域自适应的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576690.1A CN114240955B (zh) 2021-12-22 2021-12-22 一种半监督的跨领域自适应的图像分割方法

Publications (2)

Publication Number Publication Date
CN114240955A CN114240955A (zh) 2022-03-25
CN114240955B true CN114240955B (zh) 2023-04-07

Family

ID=80760889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576690.1A Active CN114240955B (zh) 2021-12-22 2021-12-22 一种半监督的跨领域自适应的图像分割方法

Country Status (1)

Country Link
CN (1) CN114240955B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549842B (zh) * 2022-04-22 2022-08-02 山东建筑大学 基于不确定性知识域自适应的半监督图像分割方法及系统
CN115100390B (zh) * 2022-08-24 2022-11-18 华东交通大学 一种联合对比学习与自监督区域定位的图像情感预测方法
CN115841475A (zh) * 2022-12-14 2023-03-24 北京医准智能科技有限公司 一种心脏图像分割方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942779A (zh) * 2014-03-27 2014-07-23 南京邮电大学 一种基于图论和半监督学习相结合的图像分割方法
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN112837338A (zh) * 2021-01-12 2021-05-25 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN113177950A (zh) * 2021-04-22 2021-07-27 燕山大学 基于半监督对抗学习的冠脉造影血管图像分割的方法
CN113436197A (zh) * 2021-06-07 2021-09-24 华东师范大学 基于生成对抗和类特征分布的域适应无监督图像分割方法
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474929B2 (en) * 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942779A (zh) * 2014-03-27 2014-07-23 南京邮电大学 一种基于图论和半监督学习相结合的图像分割方法
CN112837338A (zh) * 2021-01-12 2021-05-25 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN113177950A (zh) * 2021-04-22 2021-07-27 燕山大学 基于半监督对抗学习的冠脉造影血管图像分割的方法
CN113436197A (zh) * 2021-06-07 2021-09-24 华东师范大学 基于生成对抗和类特征分布的域适应无监督图像分割方法
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Semi-supervised Medical Image Segmentation through Dual-task Consistency;Xiangde Luo等;《Proceedings of the AAAI Conference on Artificial Intelligence》;8801-8809 *
Semi-Supervised Medical Image Segmentation via Cross Teaching between CNN and Transformer;Xiangde Luo等;《https://arxiv.org/abs/2112.04894v1》;1-12 *
SS-CADA: A Semi-Supervised Cross-Anatomy Domain Adaptation for Coronary Artery Segmentation;Jingyang Zhang等;《2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI)》;1227-1231 *
基于深度学习和域自适应的图像语义分割;张轶岳;《中国优秀硕士学位论文全文数据库信息科技辑》;I138-1275 *
基于深度学习的图像语义分割算法研究;王颖;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;C038-2001 *

Also Published As

Publication number Publication date
CN114240955A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114240955B (zh) 一种半监督的跨领域自适应的图像分割方法
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN110674866A (zh) 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111105032B (zh) 基于gan的染色体结构异常检测方法、系统及存储介质
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
KR20190138238A (ko) 딥 블라인드 전의 학습
CN110942466B (zh) 一种基于深度学习技术的脑动脉分割方法及装置
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
CN113763442A (zh) 一种可变形医学图像配准方法及系统
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN116564355A (zh) 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质
Zhang et al. Deep multiphase level set for scene parsing
CN115861164A (zh) 一种基于多领域半监督的医学图像分割方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN112785581A (zh) 基于深度学习的提取训练大血管cta成像的培训方法和装置
Li et al. wUnet: A new network used for ultrasonic tongue contour extraction
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN116525052A (zh) 结合句子级对比学习的层级式影像报告生成方法和装置
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
Li et al. A multi-grained unsupervised domain adaptation approach for semantic segmentation
CN116453116B (zh) 一种高适应性的明场细胞活死分类算法
CN114298159B (zh) 一种基于无标签样本下文本融合的图像相似性检测方法
CN117576012B (zh) 一种基于不平衡眼底图像数据的疾病预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant