CN115375706A - 图像分割模型训练方法、装置、设备及存储介质 - Google Patents

图像分割模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115375706A
CN115375706A CN202210980989.1A CN202210980989A CN115375706A CN 115375706 A CN115375706 A CN 115375706A CN 202210980989 A CN202210980989 A CN 202210980989A CN 115375706 A CN115375706 A CN 115375706A
Authority
CN
China
Prior art keywords
segmentation
loss function
image
network
segmentation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210980989.1A
Other languages
English (en)
Inventor
蒲尧
周寿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210980989.1A priority Critical patent/CN115375706A/zh
Publication of CN115375706A publication Critical patent/CN115375706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像分割模型训练方法、装置、设备及存储介质，其利用少量有标签的第一样本图像数据和大量无标签的第二样本图像数据输入至第一分割网络和第二分割网络分别进行预测，得到第一分割网络和第二分割网络各自的分割结果，再基于分割结果和标签所构建的损失函数对第一分割网络和第二分割网络分别进行监督训练，同时还利用基于第一分割网络的分割结果和第二分割网络的分割结果所构建的伪标签半监督损失指导第一分割网络和第二分割网络相互学习。本发明能够降低训练模型所需要的标签样本数据，利用少量有标签的样本数据即可完成对模型的训练，同时利用两个分割网络相互指导学习，提升了模型的鲁棒性。

Description

图像分割模型训练方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分割模型训练方法、装置、设备及存储介质。
背景技术
X射线数字减影血管造影(DSA)是一种广泛使用的成像技术，用于可视化和检查人体内的血管，由于其时间效率和成本效益，它保持了评估冠状动脉疾病的“金标准”。从X射线DSA图像中提取冠状动脉段或整棵树是促进定量冠状动脉分析的关键过程。当把造影剂注入感兴趣的血管时，DSA成像收集一系列二维数字X射线投影图像。序列开始时采集的图像称为掩模图像，由于造影剂未进入血管，血管不可见。在掩模图像之后，DSA成像收集对比度图像，其中血管是可见的，因为造影剂在成像时流过血管。在这些X射线投影图像中，血管很难与背景内容(如肋骨、脊椎、导管和器官)区分开来。通常，掩模图像和对应的对比度图像进行配准，其具有相等的灰度分布，然后从对应的对比度图像中减去掩模图像，则可以去除背景并获得可见的血管。然而，由于人体运动以及图像中X射线功率和噪声的波动，由此得到的图像并不是非常真实清晰。而且，冠状动脉的末梢较为细小繁多，常规的提取方法较难分辨。
而随着机器学习算法的快速发展，针对于上述血管图像分割问题已提出了一种基于深度学习的图像分割方法，其基本框架是一个Unet模型，该模型采用卷积运算、池化下采样、跳跃连接、上采样等运算，对原始DSA图像和人为手工标注的标签组成的成对数据进行训练，即首先通过不同维度的卷积操作提取特征，通过跳跃连接和上采样恢复原始图像大小，再通过激活函数对每个像素进行分类，从而得到分割标签；然后将网络计算得到的标签与手工标签进行损失函数的计算，将损失反向传播，梯度下降运算更新网络参数从而减小损失。
然而，虽然Unet模型对块状结构的器官组织病灶具有较好的分割性能，但对管状结构适应性较弱，并且，其需要大量的图像和标签数据进行训练学习，这对于医学图像而言局限性很大，在有标签的图像数据不足的情况下，难以训练得到理想精度的模型。
发明内容
有鉴于此，本申请提供一种图像分割模型训练方法、装置、设备及存储介质，以解决现有的血管图像分割模型精度较差，且需要大量标签数据才能完成训练的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像分割模型训练方法，其特征在于，方法包括：获取样本图像数据，样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据；将样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对第一概率图和第二概率图进行处理，得到第一二值图像和第二二值图像；根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，并对第一分割网络和第二分割网络进行迭代训练，预设损失函数包括反映第一分割网络和第二分割网络自身分割结果的监督损失以及反映第一分割网络与第二分割网络相互指导学习的伪标签半监督损失。
作为本申请的进一步改进，将样本图像数据分别输入至第一分割网络和第二分割网络进行分割之前，还包括：基于限制对比度自适应直方图均衡化的方式对样本图像数据进行对比度增强操作。
作为本申请的进一步改进，第一分割网络包括Unet分割网络，第二分割网络包括ISUnet分割网络，ISUnet分割网络包括嵌入层、编码器、解码器和线性映射层。
作为本申请的进一步改进，编码器包括交替循环的特征提取模块和下采样模块，解码器包括交替循环的特征提取模块和上采样模块，特征提取模块包括特征提取网络和前馈网络，特征提取网络包括分割层、第一高频图像处理模块、第二高频图像处理模块、低频图像处理模块和融合层，第一高频图像处理模块包括最大池化层、第一线性映射层和第一上采样操作层，第二高频图像处理模块包括第二线性映射层和卷积操作层，低频图像处理模块包括平均池化层、基于窗口多头自注意力机制和滑窗多头自注意力机制构建的注意力层和第二上采样操作层。
作为本申请的进一步改进，根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，包括：根据每个第一样本图像自身对应的、第一概率图、第一二值图像和标签计算第一损失函数值；根据每个第一样本图像自身对应的、第二概率图、第二二值图像和标签计算第二损失函数值；根据第一概率图和第二二值图像计算第三损失函数值；根据第二概率图和第一二值图像计算第四损失函数值。
作为本申请的进一步改进，预设损失函数表示为：
loss＝SupervisedLoss1+SupervisedLoss2+0.1*exp(-5(1-ttmax2*CrossTeachingLoss3+CrossTeachingLoss4；
其中，loss表示预设损失函数，SupervisedLoss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，t表示当前迭代训练的次数，tmax表示预先设定的总的迭代训练次数。
作为本申请的进一步改进，第一损失函数值表示为：
Figure BDA0003800431020000041
第二损失函数值表示为：
Figure BDA0003800431020000042
第三损失函数值表示为：
Figure BDA0003800431020000043
第四损失函数值表示为：
Figure BDA0003800431020000044
其中，SupervisedLiss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，N表示一副图像的像素点数目，yi表示第一样本图像数据第i个像素点对应的标签，
Figure BDA0003800431020000045
表示第一概率图第i个像素点，
Figure BDA0003800431020000046
表示第二概率图第i个像素点，
Figure BDA0003800431020000047
表示第一二值图像第i个像素点，
Figure BDA0003800431020000048
表示第二二值图像第i个像素点。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种图像分割模型训练装置，其特征在于，装置包括：获取模块，用于获取样本图像数据，样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据；分割模块，用于将样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对第一概率图和第二概率图进行处理，得到第一二值图像和第二二值图像；训练模块，用于根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，并对第一分割网络和第二分割网络进行迭代训练，预设损失函数包括反映第一分割网络和第二分割网络自身分割结果的监督损失以及反映第一分割网络与第二分割网络相互指导学习的伪标签半监督损失。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种计算机设备，所述计算机设备包括处理器、与所述处理器耦接的存储器，所述存储器中存储有程序指令，所述程序指令被所述处理器执行时，使得所述处理器执行如上述任一项的图像分割模型训练方法的步骤。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有能够实现上述任一项的图像分割模型训练方法的程序指令。
本申请的有益效果是：本申请的图像分割模型训练方法通过利用少量有标签的第一样本图像数据和大量无标签的第二样本图像数据输入至第一分割网络和第二分割网络分别进行预测，得到第一分割网络和第二分割网络各自的分割结果，再基于分割结果和标签所构建的损失函数对第一分割网络和第二分割网络分别进行监督训练，同时还利用基于第一分割网络的分割结果和第二分割网络的分割结果所构建的伪标签半监督损失指导第一分割网络和第二分割网络相互学习，从而能够降低训练模型所需要的标签样本数据，利用少量有标签的样本数据即可完成对模型的训练，同时利用两个分割网络相互指导学习，提升了模型的鲁棒性。
附图说明
图1是本发明第一实施例的图像分割模型训练方法的一流程示意图；
图2是本发明实施例的第二分割网络的结构示意图；
图3是本发明实施例的第二分割网络的特征提取模块的结构示意图；
图4是本发明实施例的特征提取模块的特征提取网络的结构示意图；
图5是本发明实施例的特征提取网络的注意力层的结构示意图；
图6是本发明实施例的双分割网络半监督学习框架的流程示意图；
图7是本发明第二实施例的图像分割模型训练方法的一流程示意图；
图8是本发明实施例限制对比度自适应直方图均衡化原理简图；
图9是本发明实施例进行限制对比度自适应直方图均衡化处理前后的图像及其灰度分布值直方图；
图10是本发明实施例的图像分割模型训练装置的功能模块示意图；
图11是本发明实施例的计算机设备的结构示意图；
图12是本发明实施例的存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的图像分割模型训练方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该图像分割模型训练方法包括步骤：
步骤S101：获取样本图像数据，样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据。
需要说明的是，本实施例中，该图像分割模型应用于血管图像分割，该样本图像数据包括少量的有标签的第一样本图像数据和大量无标签的第二样本图像数据，例如，该第一样本图像数据和第二样本图像数据可以2:8的比例进行配置。
步骤S102：将样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对第一概率图和第二概率图进行处理，得到第一二值图像和第二二值图像。
具体地，将样本图像数据输入至第一分割网络，利用第一分割网络对样本图像数据进行处理，得到第一分割网络输出的第一概率图和第二分割网络输出的第二概率图，然后将第一概率图输入至Softmax激活函数进行处理，得到第一二值图像，将第二概率图输入至Softmax激活函数进行处理，得到第二二值图像。
其中，该第一分割网络包括Unet分割网络，第二分割网络包括ISUnet(InceptionSwinUnet)分割网络，ISUnet分割网络包括嵌入层、编码器、解码器和线性映射层。
需要说明的是，在完成对Unet分割网络和ISUnet分割网络的训练之后，使用Unet分割网络进行血管造影图像分割处理。
如图2所示，该第二分割网络包括嵌入层、编码器、解码器和线性映射层。其中，嵌入层用于对样本图像数据的维度进行线性变换，以将样本图像分割为一系列的图像块。编码器包括交替循环的特征提取模块和下采样模块，解码器包括交替循环的特征提取模块和上采样模块。如图3所示，特征提取模块包括特征提取网络和前馈网络，且特征提取网络和前馈网络之间设有归一化层(LayerNorm)。如图4所示，特征提取网络包括分割层、第一高频图像处理模块、第二高频图像处理模块、低频图像处理模块和融合层，第一高频图像处理模块包括最大池化层、第一线性映射层和第一上采样操作层，第二高频图像处理模块包括第二线性映射层和卷积操作层，低频图像处理模块包括平均池化层、基于窗口多头自注意力机制和滑窗多头自注意力机制构建的注意力层和第二上采样操作层。如图5所示，注意力层具体包括窗口多头自注意力(W-MSA)和滑窗多头自注意力(SW-MSA)。线性映射层用于将进行编码器和解码器运算后得到的图像数据转换为期望的分类信息。
具体地，第二分割网络的编码器对样本图像处理过程具体为：
1、将样本图像数据输入至嵌入层进行线性变化，得到线性变化后的数据；
2、将经嵌入层进行线性变换后的样本图像数据输入至编码器的第一个特征提取模块进行特征提取，具体表示为：
Y＝X+ITM(LayerNorm(X))；
Z＝Y+FFN(LayerNorm(Y))；
其中，X表示线性变换后的样本图像数据，LayerNorm(X)表示对线性变换后的样本图像数据进行第一次归一化处理，ITM表示利用特征提取网络对第一次归一化处理后的数据进行处理，Y表示利用ITM进行处理后的数据，LayerNorm(Y)表示对经ITM处理后的数据进行第二次归一化处理，FFN表示利用前馈网络对第二次归一化处理后的数据进行处理，Z表示利用FFN处理后的数据。
其中，特征提取网络对第一次归一化处理后的数据进行处理的过程表示为：
Xh1,Xh2,Xl＝Split(X) (1)；
上式表示利用分割层对输入至特征提取网络中的数据分割为高频数据和低频数据，得到第一高频图像数据Xh1、第二高频图像数据Xh2和低频图像数据Xl。需要说明的是，在网络浅层阶段，通道数较少，数据中高频占比较大，低频占比较小，而随着网络的深度增加，通道数增多，经网络处理后的数据中高频占比减小，低频占比增大，因此，对比编码器中交替的特征提取模块，每个特征提取模块中高频和低频之间的划分比例依次减小，例如，在第一个特征提取模块中，高频和低频之间的划分比例可以设置为2:1，在第二个特征提取模块中，高频和低频之间的划分比例可以设置为1:1，在第三个特征提取模块中，高频和低频之间的划分比例可以设置为1:2，在第四个特征提取模块中，高频和低频之间的划分比例可以设置为1:3。然后，考虑到最大池化滤波器的灵敏度和卷积运算的细节感知，在将数据划分为高频数据和低频数据后，再将高频数据进行等比例划分，得到第一高频数据和第二高频数据，然后利用特征提取网络中并行的第一高频图像处理模块、第二高频图像处理模块、低频图像处理模块对第一高频数据、第二高频数据、低频数据进行并行处理。
Yh1＝Upsample1(Linear1(MaxPool(Xh1))) (2)；
Yh2＝DWConv1(Linear2(Xh2)) (3)；
Yl＝Upsample2(Attention(AvePool(Xl))) (4)；
其中，Yh1表示第一高频图像处理模块对第一高频数据处理后得到的数据，Yh2表示第二高频图像处理模块对第二高频数据处理后得到的数据，Yl表示低频图像处理模块对低频数据处理后得到的数据，MaxPool表示最大池化层，Linear1表示第一线性映射层，Upsample1表示第一上采样操作层，Linear2表示第二线性映射层，DWConv表示卷积操作层，AvePool表示平均池化层，Attention表示注意力层，Upsample2表示第二上采样操作层。需要说明的是，本实施例中，最大池化层在对图像数据进行处理时，会缩小图像的大小，因此，需要通过第一上采样操作层进行上采样操作以使图像复原，该种池化方式能够减少池化过程中图像的损失，还能够减少模型的整体计算量。
Attention(X)＝{SWMSABlock(WMSABlock(X))}×depth (5)；
Figure BDA0003800431020000101
Figure BDA0003800431020000102
Figure BDA0003800431020000103
上述(5)～(8)式展示了注意力层对数据的处理过程，其中，WMSABlock表示窗口多头自注意力模块，
Figure BDA0003800431020000111
表示中间变量，zl表示一张图像分成的多个小块中的第l个特征小块，WMSA表示窗口多头自注意力层，LN表示归一化层，MLP表示多层线性映射层，SWMSABlock表示滑窗多头自注意力模块，SWMSA表示滑窗多头自注意力层，WMSA(x)表示窗口多头自注意力层对输入x进行处理，softmax表示激活函数，Q、K、V分别表示query、key和value，该三个参数根据输入x计算得到，dk表示K参数的维度，T表示矩阵的转置。
Yc＝Concatenate((Yh1,Yh2,Yl),dim＝C) (9)；
(9)式表示对Yh1、Yh2、Yl进行合并，dim＝C表示在通道为C的维度上进行合并。
Y＝ITM(X)＝Linear(Yc+DWConv(Yc)) (10)；
(10)式表示对由Yh1、Yh2、Yl合并得到的数据进行卷积、残差连接、线性映射操作。
3、将第一个特征提取模块进行特征提取得到的特征数据输入至第一个下采样模块进行下采样操作，得到特征提取数据，然后依次利用后续的特征提取模块和下采样模块对特征提取数据进行处理，直至编码完成为止。
需要说明的是，解码器中的特征提取模块与编码器中的特征提取模块结构相同，因此，基于上述编码器对样本图像处理过程可知解码器对编码器的输出数据的处理过程，此处不再赘述。
步骤S103：根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，并对第一分割网络和第二分割网络进行迭代训练，预设损失函数包括反映第一分割网络和第二分割网络自身分割结果的监督损失以及反映第一分割网络与第二分割网络相互指导学习的伪标签半监督损失。
具体地，如图6所示，图6展示了双分割网络半监督学习框架，其中，输入包括少量有标签的第一样本图像数据和大量无标签的第二样本图像数据，分别输入至第一分割网络和第二分割网络进行分割处理，得到第一分割网络输出的第一概率图和第一概率图经Softmax函数处理后的第一二值图像，以及第二分割网络输出的第二概率图和第二概率图经Softmax函数处理后的第二二值图像，再利用第一损失函数、第二损失函数、第三损失函数和第四损失函数对第一分割网络和第二分割网络进行训练。
其中，预设损失函数表示为：
loss＝SupervisedLoss1+SupervisedLoss2+0.1*exp(-5(1-ttmax2*CrossTeachingLoss3+CrossTeachingLoss4；
其中，loss表示预设损失函数，SupervisedLoss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，t表示当前迭代训练的次数，tmax表示预先设定的总的迭代训练次数。
进一步的，根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，包括：
1、根据每个第一样本图像自身对应的、第一概率图、第一二值图像和标签计算第一损失函数值。
2、根据每个第一样本图像自身对应的、第二概率图、第二二值图像和标签计算第二损失函数值。
3、根据第一概率图和第二二值图像计算第三损失函数值。
4、根据第二概率图和第一二值图像计算第四损失函数值。
需要说明的是，上述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值的计算过程可同步进行。
其中，第一损失函数值表示为：
Figure BDA0003800431020000131
第二损失函数值表示为：
Figure BDA0003800431020000132
第三损失函数值表示为：
Figure BDA0003800431020000133
第四损失函数值表示为：
Figure BDA0003800431020000134
其中，SupervisedLoss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，N表示图像的像素点数目，yi表示第一样本图像数据第i个像素点对应的标签，，
Figure BDA0003800431020000135
表示第一概率图第i个像素点，
Figure BDA0003800431020000136
表示第二概率图第i个像素点，
Figure BDA0003800431020000137
表示第一二值图像第i个像素点，
Figure BDA0003800431020000138
表示第二二值图像第i个像素点。
本发明第一实施例的图像分割模型训练方法通过利用少量有标签的第一样本图像数据和大量无标签的第二样本图像数据输入至第一分割网络和第二分割网络分别进行预测，得到第一分割网络和第二分割网络各自的分割结果，再基于分割结果和标签所构建的损失函数对第一分割网络和第二分割网络分别进行监督训练，同时还利用基于第一分割网络的分割结果和第二分割网络的分割结果所构建的伪标签半监督损失指导第一分割网络和第二分割网络相互学习，从而能够降低训练模型所需要的标签样本数据，利用少量有标签的样本数据即可完成对模型的训练，同时利用两个分割网络相互指导学习，提升了模型的鲁棒性。
图7是本发明第二实施例的图像分割模型训练方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图7所示的流程顺序为限。如图7所示，该图像分割模型训练方法包括步骤：
步骤S201：获取样本图像数据，样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据。
在本实施例中，图7中的步骤S201和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S202：基于限制对比度自适应直方图均衡化的方式对样本图像数据进行对比度增强操作。
具体地，对比度限制自适应直方图均衡化(CLAHE)是从自适应直方图均衡化(AHE)发展而来的。自适应直方图均衡化利用局部窗口的灰度值，构建映射函数，使其灰度值较为均匀地分布在0～255之间。为了避免由于自适应直方图均衡化产生的图像不连续和过度增强的结果，引入一种限制直方图分布的办法，即对比度限制自适应直方图均衡化。相对于自适应直方图均衡化，对比度限制自适应直方图均衡化提出了两个改进的地方:第一，提出一种限制直方图分布的方法，通过设定一个阈值，假定直方图某个灰度级超过了阈值，就对其进行裁剪，然后将超出阈值的部分平均分配到各个灰度级，通常阈值的设定可以直接设定灰度级出现频数，也可以设定为占总像素比例，后一种方式更容易实现，改变后的图像所对应的累积分布函数图不会有太大的剧烈变化，所以可以避免过度增强噪声点。第二，提出了一种插值的方法，加速直方图均衡化，首先，将图像分块，每块计算一个直方图累积分布函数，这里简称每个小块为窗口，其次，对于图像的每一个像素点，找到其邻近的四个窗口，分别计算左上、右上、左下、右下四个窗口直方图累积分布函数对某像素点的映射值，然后进行双线性插值得到最终该像素点的映射值。对比度限制自适应直方图均衡化原理简图如图8所示，针对血管造影图像，进行对比度限制自适应直方图均衡化处理前后的图像及其灰度分布值直方图如图9所示。
步骤S203：将样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对第一概率图和第二概率图进行处理，得到第一二值图像和第二二值图像。
在本实施例中，图7中的步骤S203和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S204：根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，并对第一分割网络和第二分割网络进行迭代训练，预设损失函数包括反映第一分割网络和第二分割网络自身分割结果的监督损失以及反映第一分割网络与第二分割网络相互指导学习的伪标签半监督损失。
在本实施例中，图7中的步骤S204和图1中的步骤S103类似，为简约起见，在此不再赘述。
本发明第二实施例的图像分割模型训练方法通过在获取到样本图像数据之后，利用制对比度自适应直方图均衡化的方式对样本图像数据进行对比度增强操作，从而增强样本图像数据的对比度，提高了样本图像数据的信噪比，更有利于精准的冠脉血管提取。
图10是本发明实施例的图像分割模型训练装置的功能模块示意图。如图10所示，该图像分割模型训练装置20包括获取模块21、分割模块22和训练模块23。
获取模块21，用于获取样本图像数据，样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据；
分割模块22，用于将样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对第一概率图和第二概率图进行处理，得到第一二值图像和第二二值图像；
训练模块23，用于根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失，并对第一分割网络和第二分割网络进行迭代训练，预设损失函数包括反映第一分割网络和第二分割网络自身分割结果的监督损失以及反映第一分割网络与第二分割网络相互指导学习的伪标签半监督损失。
可选地，分割模块22执行将样本图像数据分别输入至第一分割网络和第二分割网络进行分割的操作之前，还用于：基于限制对比度自适应直方图均衡化的方式对样本图像数据进行对比度增强操作。
可选地，第一分割网络包括Unet分割网络，第二分割网络包括ISUnet分割网络，ISUnet分割网络包括嵌入层、编码器、解码器和线性映射层。
可选地，编码器包括交替循环的特征提取模块和下采样模块，解码器包括交替循环的特征提取模块和上采样模块，特征提取模块包括特征提取网络和前馈网络，特征提取网络包括分割层、第一高频图像处理模块、第二高频图像处理模块、低频图像处理模块和融合层，第一高频图像处理模块包括最大池化层、第一线性映射层和第一上采样操作层，第二高频图像处理模块包括第二线性映射层和卷积操作层，低频图像处理模块包括平均池化层、基于窗口多头自注意力机制和滑窗多头自注意力机制构建的注意力层和第二上采样操作层。
可选地，训练模块23执行根据第一概率图、第二概率图、第一二值图像、第二二值图像、标签和预设损失函数计算损失的操作，具体包括：根据每个第一样本图像自身对应的、第一概率图、第一二值图像和标签计算第一损失函数值；根据每个第一样本图像自身对应的、第二概率图、第二二值图像和标签计算第二损失函数值；根据第一概率图和第二二值图像计算第三损失函数值；根据第二概率图和第一二值图像计算第四损失函数值。
可选地，预设损失函数表示为：
loss＝SupervisedLoss1+SupervisedLoss2+0.1*exp(-5(1-ttmax2*CrossTeachingLoss3+CrossTeachingLoss4；
其中，loss表示预设损失函数，SupervisedLoss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，t表示当前迭代训练的次数，tmax表示预先设定的总的迭代训练次数。
可选地，第一损失函数值表示为：
Figure BDA0003800431020000171
第二损失函数值表示为：
Figure BDA0003800431020000172
第三损失函数值表示为：
Figure BDA0003800431020000173
第四损失函数值表示为：
Figure BDA0003800431020000181
其中，SupervisedLoss1表示第一损失函数值，SupervisedLoss2表示第二损失函数值，CrossTeachingLoss3表示第三损失函数值，CrossTeachingLoss4表示第四损失函数值，N表示图像的像素点数目，yi表示第一样本图像数据第i个像素点对应的标签，，
Figure BDA0003800431020000182
表示第一概率图第i个像素点，
Figure BDA0003800431020000183
表示第二概率图第i个像素点，
Figure BDA0003800431020000184
表示第一二值图像第i个像素点，
Figure BDA0003800431020000185
表示第二二值图像第i个像素点。
关于上述实施例图像分割模型训练装置中各模块实现技术方案的其他细节，可参见上述实施例中的图像分割模型训练方法中的描述，此处不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
请参阅图11，图11为本发明实施例的计算机设备的结构示意图。如图11所示，该计算机设备30包括处理器31及和处理器31耦接的存储器32，存储器32中存储有程序指令，程序指令被处理器31执行时，使得处理器31执行上述任一实施例所述的图像分割模型训练方法步骤。
其中，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图12，图12为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述图像分割模型训练方法的程序指令41，其中，该程序指令41可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等计算机设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的计算机设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像分割模型训练方法，其特征在于，所述方法包括：
获取样本图像数据，所述样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据；
将所述样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对所述第一概率图和所述第二概率图进行处理，得到第一二值图像和第二二值图像；
根据所述第一概率图、所述第二概率图、所述第一二值图像、所述第二二值图像、所述标签和预设损失函数计算损失，并对所述第一分割网络和所述第二分割网络进行迭代训练，所述预设损失函数包括反映所述第一分割网络和所述第二分割网络自身分割结果的监督损失以及反映所述第一分割网络与所述第二分割网络相互指导学习的伪标签半监督损失。
2.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述将所述样本图像数据分别输入至第一分割网络和第二分割网络进行分割之前，还包括：
基于限制对比度自适应直方图均衡化的方式对所述样本图像数据进行对比度增强操作。
3.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述第一分割网络包括Unet分割网络，所述第二分割网络包括ISUnet分割网络，所述ISUnet分割网络包括嵌入层、编码器、解码器和线性映射层。
4.根据权利要求3所述的图像分割模型训练方法，其特征在于，所述编码器包括交替循环的特征提取模块和下采样模块，所述解码器包括交替循环的特征提取模块和上采样模块，所述特征提取模块包括特征提取网络和前馈网络，所述特征提取网络包括分割层、第一高频图像处理模块、第二高频图像处理模块、低频图像处理模块和融合层，所述第一高频图像处理模块包括最大池化层、第一线性映射层和第一上采样操作层，所述第二高频图像处理模块包括第二线性映射层和卷积操作层，所述低频图像处理模块包括平均池化层、基于窗口多头自注意力机制和滑窗多头自注意力机制构建的注意力层和第二上采样操作层。
5.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述根据所述第一概率图、所述第二概率图、所述第一二值图像、所述第二二值图像、所述标签和预设损失函数计算损失，包括：
根据每个所述第一样本图像自身对应的、第一概率图、第一二值图像和标签计算第一损失函数值；
根据每个所述第一样本图像自身对应的、第二概率图、第二二值图像和标签计算第二损失函数值；
根据所述第一概率图和所述第二二值图像计算第三损失函数值；
根据所述第二概率图和所述第一二值图像计算第四损失函数值。
6.根据权利要求5所述的图像分割模型训练方法，其特征在于，所述预设损失函数表示为：
loss＝SupervisedLoss1+SupervisedLoss2+0.1*exp(-5(1-ttmax2*CrossTeachingLoss3+CrossTeachingLoss4；
其中，loss表示所述预设损失函数，SupervisedLoss1表示所述第一损失函数值，SupervisedLoss2表示所述第二损失函数值，CrossTeachingLoss3表示所述第三损失函数值，CrossTeachingLoss4表示所述第四损失函数值，t表示当前迭代训练的次数，tmax表示预先设定的总的迭代训练次数。
7.根据权利要求5所述的图像分割模型训练方法，其特征在于，所述第一损失函数值表示为：
Figure FDA0003800431010000031
所述第二损失函数值表示为：
Figure FDA0003800431010000032
所述第三损失函数值表示为：
Figure FDA0003800431010000033
所述第四损失函数值表示为：
Figure FDA0003800431010000034
其中，SupervisedLoss1表示所述第一损失函数值，SupervisedLoss2表示所述第二损失函数值，CrossTeachingLoss3表示所述第三损失函数值，CrossTeachingLoss4表示所述第四损失函数值，N表示图像的像素点数目，yi表示第一样本图像数据第i个像素点对应的标签，
Figure FDA0003800431010000035
表示第一概率图第i个像素点，
Figure FDA0003800431010000036
表示第二概率图第i个像素点，
Figure FDA0003800431010000037
表示第一二值图像第i个像素点，
Figure FDA0003800431010000038
表示第二二值图像第i个像素点。
8.一种图像分割模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取样本图像数据，所述样本图像数据包括有标签的第一样本图像数据和无标签的第二样本图像数据；
分割模块，用于将所述样本图像数据分别输入至第一分割网络和第二分割网络进行分割，得到第一概率图和第二概率图，再利用激活函数分别对所述第一概率图和所述第二概率图进行处理，得到第一二值图像和第二二值图像；
训练模块，用于根据所述第一概率图、所述第二概率图、所述第一二值图像、所述第二二值图像、所述标签和预设损失函数计算损失，并对所述第一分割网络和所述第二分割网络进行迭代训练，所述预设损失函数包括反映所述第一分割网络和所述第二分割网络自身分割结果的监督损失以及反映所述第一分割网络与所述第二分割网络相互指导学习的伪标签半监督损失。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、与所述处理器耦接的存储器，所述存储器中存储有程序指令，所述程序指令被所述处理器执行时，使得所述处理器执行如权利要求1-7中任一项权利要求所述的图像分割模型训练方法的步骤。
10.一种存储介质，其特征在于，存储有能够实现如权利要求1-7中任一项所述的图像分割模型训练方法的程序指令。
CN202210980989.1A 2022-08-16 2022-08-16 图像分割模型训练方法、装置、设备及存储介质 Pending CN115375706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210980989.1A CN115375706A (zh) 2022-08-16 2022-08-16 图像分割模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210980989.1A CN115375706A (zh) 2022-08-16 2022-08-16 图像分割模型训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115375706A true CN115375706A (zh) 2022-11-22

Family

ID=84065117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210980989.1A Pending CN115375706A (zh) 2022-08-16 2022-08-16 图像分割模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115375706A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016945A1 (zh) * 2022-07-19 2024-01-25 马上消费金融股份有限公司 图像分类模型的训练方法、图像分类方法及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016945A1 (zh) * 2022-07-19 2024-01-25 马上消费金融股份有限公司 图像分类模型的训练方法、图像分类方法及相关设备

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110348515B (zh) 图像分类方法、图像分类模型训练方法及装置
CN110458833B (zh) 基于人工智能的医学图像处理方法、医学设备和存储介质
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN113436166A (zh) 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN118247284B (zh) 图像处理模型的训练方法、图像处理方法
CN117809122B (zh) 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN116091518A (zh) 基于动态对比增强磁共振影像的乳腺病灶分割方法及装置
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
CN115375706A (zh) 图像分割模型训练方法、装置、设备及存储介质
CN112785575B (zh) 一种图像处理的方法、装置和存储介质
CN118015396A (zh) 一种基于无监督的医学图像器官分割模型预训练方法
CN117197166A (zh) 基于边缘和邻域信息的息肉图像分割方法及成像方法
CN114022421B (zh) 一种舌下微循环视频序列生理参数估计方法及系统
CN115631194A (zh) 颅内动脉瘤识别检测的方法、装置、设备及介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN112801964B (zh) 肺部ct图像的多标签智能检测方法、装置、设备和介质
CN113409324A (zh) 一种融合微分几何信息的脑分割方法
CN112862786A (zh) Cta影像数据处理方法、装置及存储介质
CN116543147B (zh) 一种颈动脉超声图像分割方法、装置、设备及存储介质
CN118172369B (zh) 基于双解码器与局部特征增强网络的血管旁异常分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination