CN113112509B - 图像分割模型训练方法、装置、计算机设备和存储介质 - Google Patents

图像分割模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113112509B
CN113112509B CN202110390733.0A CN202110390733A CN113112509B CN 113112509 B CN113112509 B CN 113112509B CN 202110390733 A CN202110390733 A CN 202110390733A CN 113112509 B CN113112509 B CN 113112509B
Authority
CN
China
Prior art keywords
image
feature
overlapping
loss value
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110390733.0A
Other languages
English (en)
Other versions
CN113112509A (zh
Inventor
赖昕
田倬韬
刘枢
沈小勇
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Shanghai Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Shanghai Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd, Shanghai Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202110390733.0A priority Critical patent/CN113112509B/zh
Publication of CN113112509A publication Critical patent/CN113112509A/zh
Application granted granted Critical
Publication of CN113112509B publication Critical patent/CN113112509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分割模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取第一样本图像、第二样本图像，以及与第一样本图像对应的标注图像；将第一样本图像和标注图像以及第二样本图像输入至待训练的图像分割模型，以使待训练的图像分割模型根据第一样本图像对应的预测图像以及标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；第一图像块和第二图像块为第二样本图像中具有图像重叠区域的图像块；基于第一损失值和第二损失值，训练得到图像分割模型。采用本方法能够提高得到的图像分割模型的图像分割准确率。

Description

图像分割模型训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像分割技术领域，特别是涉及一种图像分割模型训练方法、装置、计算机设备和存储介质。
背景技术
随着图像分割技术的发展，出现了一种利用深度学习算法实现图像分割模型训练，并利用训练后的图像分割模型实现图像分割的技术。目前，图像分割模型需要大量的像素级别的标注数据支撑，而由于实际应用中获取像素级别的标注数据的代价昂贵，因此提出了一种半监督图像分割模型训练方法，只需要少部分图像的标注数据以及其他无标注的图像即可完成图像分割模型的训练。
目前的半监督图像分割模型训练方法一般采用对抗学习或者一致学习的方式进行训练。然而，对抗学习训练方法中需要将训练分成生成器训练和判别器训练两部分，从而导致训练的不稳定，而一致学习的训练方法则需要由同一输入经过不同的数据增强产生多个新图像，并要求多个新图像保持一致作为监督信号，而对于同一图像的不同表现的一致性则缺乏约束，因此目前通过半监督图像分割模型训练方法得到的图像分割模型图像分割准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种图像分割模型训练方法、装置、计算机设备和存储介质。
一种图像分割模型训练方法，所述方法包括：
获取第一样本图像、第二样本图像，以及与所述第一样本图像对应的标注图像；
将所述第一样本图像和标注图像以及所述第二样本图像输入至待训练的图像分割模型，以使所述待训练的图像分割模型根据所述第一样本图像对应的预测图像以及所述标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；所述第一图像块和第二图像块为所述第二样本图像中具有所述图像重叠区域的图像块；
基于所述第一损失值和所述第二损失值，训练得到图像分割模型。
在其中一个实施例中，所述图像分割模型包括映射器；所述根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值，包括：将所述第一图像块和第二图像块的特征图输入所述映射器，通过所述映射器获取所述第一图像块的特征图对应的第一映射特征图以及所述第二图像块的特征图对应的第二特征映射图；确定所述第一映射特征图在所述重叠图像区域中的第一重叠特征，并获取所述第一重叠特征在所述第二特征映射图的重叠图像区域中对应的第二重叠特征；根据所述第一重叠特征与所述第二重叠特征的特征相似度得到所述第二损失值。
在其中一个实施例中，所述第一重叠特征的个数为多个；所述根据所述第一重叠特征与所述第二重叠特征的特征相似度得到所述第二损失值，包括：确定当前第一重叠特征，以及所述当前第一重叠特征对应的第二重叠特征，作为当前第二重叠特征；根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度得到所述当前第一重叠特征的特征损失值；确定各第一重叠特征对应的特征损失值，根据所述各第一重叠特征对应的特征损失值的平均值作为所述第二损失值。
在其中一个实施例中，所述图像分割模型包括分类器；所述分类器用于获取所述第一图像块的特征图对应的第一伪标签，以及所述第二图像块的特征图对应的第二伪标签；
所述根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度得到所述当前第一重叠特征的特征损失值，包括：确定所述当前第一重叠特征对应的重叠伪标签，从所述第一伪标签以及所述第二伪标签中获取与所述重叠伪标签不相同的伪标签，并获取与所述重叠伪标签不相同的伪标签对应的特征，作为所述当前第一重叠特征的负样本特征；获取所述当前第一重叠特征与所述当前第二重叠特征的特征相似度，以及获取所述当前第一重叠特征与所述负样本特征的特征相似度，根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度，以及所述当前第一重叠特征与所述负样本特征的特征相似度，得到所述当前第一重叠特征的特征损失值。
在其中一个实施例中，所述得到所述当前第一重叠特征的特征损失值之后，还包括：获取所述当前第一重叠特征在所述第一图像块的特征图上的第一特征分类分数，以及所述当前第二重叠特征在所述第二图像块的特征图上的第二特征分类分数；若所述第一特征分类分数大于或者等于所述第二特征分类分数，或者所述第二特征分类分数小于或者等于所述分类分数阈值，则将所述当前第一重叠特征的特征损失值进行置零处理。
在其中一个实施例中，所述基于所述第一损失值和所述第二损失值，训练得到图像分割模型，包括：获取所述第一损失值对应的第一权重，以及所述第二损失值对应的第二权重；利用所述第一权重以及所述第二权重，对所述第一损失值以及所述第二损失值进行加权求和处理，得到所述图像分割模型的损失值，基于所述图像分割模型的损失值训练得到所述图像分割模型。
在其中一个实施例中，所述训练得到图像分割模型之后，还包括：获取待分割处理的待分割图像；将所述待分割图像输入所述图像分割模型，以使所述图像分割模型输出所述待分割图像对应的图像分割结果。
一种图像分割模型训练装置，所述装置包括：
样本获取模块，用于获取第一样本图像、第二样本图像，以及与所述第一样本图像对应的标注图像；
损失获取模块，用于将所述第一样本图像和标注图像以及所述第二样本图像输入至待训练的图像分割模型，以使所述待训练的图像分割模型根据所述第一样本图像对应的预测图像以及所述标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；所述第一图像块和第二图像块为所述第二样本图像中具有所述图像重叠区域的图像块；
模型训练模块，用于基于所述第一损失值和所述第二损失值，训练得到图像分割模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述图像分割模型训练方法、装置、计算机设备和存储介质，通过获取第一样本图像、第二样本图像，以及与第一样本图像对应的标注图像；将第一样本图像和标注图像以及第二样本图像输入至待训练的图像分割模型，以使待训练的图像分割模型根据第一样本图像对应的预测图像以及标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；第一图像块和第二图像块为第二样本图像中具有图像重叠区域的图像块；基于第一损失值和第二损失值，训练得到图像分割模型。本申请提供的图像分割模型训练方法中，采用了利用图像重叠区域的特征相似度作为损失依据这种对比学习的思想进行图像分割模型的训练，相比于传统技术中采取的对抗学习以及一致学习的训练方法，本申请不需要将训练分成两部分，同时还可以同对一图像的不同表示的一致性要求有更强的约束，从而提高得到的图像分割模型的图像分割准确率。
附图说明
图1为一个实施例中图像分割模型训练方法的流程示意图；
图2为一个实施例中得到第二损失值的流程示意图；
图3为另一个实施例中得到第二损失值的流程示意图；
图4为一个实施例中得到当前第一重叠特征的特征损失值的流程示意图；
图5为一个应用实例中半监督图像分割模型的框架示意图；
图6为一个实施例中图像分割模型训练装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像分割模型训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101，终端获取第一样本图像、第二样本图像，以及与第一样本图像对应的标注图像。
其中，第一样本图像和第二样本图像指的是预先采集的用于训练图像分割模型的样本图像，其中，第一样本图像为携带有图像分割标注数据的样本图像，标注图像即为该第一样本图像的标注数据，而第二样本图像则指的是未携带有图像分割标注数据的样本图像。具体来说，本申请对图像分割模型的训练采用的是半监督训练的方式，即同时采用携带有标注数据的样本图像以及无标注数据的样本图像进行图像分割模型的训练，携带有标注数据的样本图像可以作为第一样本图像，而无标注数据的样本图像则可以作为第二样本图像。
步骤S102，终端将第一样本图像和标注图像以及第二样本图像输入至待训练的图像分割模型，以使待训练的图像分割模型根据第一样本图像对应的预测图像以及标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；第一图像块和第二图像块为第二样本图像中具有图像重叠区域的图像块。
其中，预测图像指的是由图像分割模型输出的针对于第一样本图像对应的图像分割预测结果的图像，第一损失值则指的是预测图像与真实的标注图像之间产生的交叉熵损失。具体来说，终端可以将第一样本图像和标注图像以及第二样本图像输入需要训练的图像分割模型，而该模型的训练过程可以包括两个分支，第一个分支可以是利用第一样本图像以及其对应的标注图像进行模型训练的分支，该分支中图像分割模型可以基于输入的第一样本图像，输出其对应的预测图像，并利用预测图像以及标注图像计算交叉熵损失，作为第一个分支对应的损失值，即第一损失值。
而第二个分支则可以是利用第二样本图像进行图像分割模型训练的分支，该分支通过对比携带有重叠图像区域的两个图像块，即第一图像块与第二图像块中，在该重叠图像区域中的特征的一致性情况，进行损失值计算，一致性情况可以通过特征的相似度进行表征。具体来说，在图像分割模型的第二个分支中，终端可以通过该图像分割模型从第二样本图像中提取出两个携带有图像重叠区域的图像块，即第一图像块和第二图像块，图像块的提取可以是通过两个不同的数据增强处理方式得到。之后，终端则可以对第一图像块和第二图像块中重叠图像区域的部分进行特征图的比对，该特征图可以是通过图像分割模型的编码器输出得到，用于确定重叠图像区域的特征是否具有一致性，即计算特征相似度，并作为图像分割模型第二个分支对应的损失值，即第二损失值。
步骤S103，终端基于第一损失值和第二损失值，训练得到图像分割模型。
最后，终端可以根据步骤S102得到的第一损失值与第二损失值，实现对图像分割模型的训练，直到该模型满足某个条件时，例如可以是得到的第一损失值与第二损失值的和最小时，或者达到设定的训练次数时，则可以将得到的模型作为训练完成的图像分割模型。
上述图像分割模型训练方法中，终端通过获取第一样本图像、第二样本图像，以及与第一样本图像对应的标注图像；将第一样本图像和标注图像以及第二样本图像输入至待训练的图像分割模型，以使待训练的图像分割模型根据第一样本图像对应的预测图像以及标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；第一图像块和第二图像块为第二样本图像中具有图像重叠区域的图像块；基于第一损失值和第二损失值，训练得到图像分割模型。本申请提供的图像分割模型训练方法中，采用了利用图像重叠区域的特征相似度作为损失依据这种对比学习的思想进行图像分割模型的训练，相比于传统技术中采取的对抗学习以及一致学习的训练方法，本申请不需要将训练分成两部分，同时还可以同对一图像的不同表示的一致性要求有更强的约束，从而提高得到的图像分割模型的图像分割准确率。
在一个实施例中，图像分割模型包括映射器；如图2所示，步骤S102可以进一步包括：
步骤S201，图像分割模型将第一图像块和第二图像块的特征图输入映射器，通过映射器获取第一图像块的特征图对应的第一映射特征图以及第二图像块的特征图对应的第二特征映射图。
本实施例中提供的图像分割模型可以携带有映射器，该映射器可以实现特征图的映射，通过将特征图输入映射器，可以得到该特征图对应的映射特征图。具体来说，图像分割模型得到第一图像块和第二图像块分别对应的特征图后，可以将得到的第一图像块的特征图以及第二图像块的特征图输入图像分割模型的映射器，以使得映射器分别输出第一图像块的特征图对应的第一映射特征图，以及第二图像块的特征图对应的第二特征映射图。
步骤S202，图像分割模型确定第一映射特征图在重叠图像区域中的第一重叠特征，并获取第一重叠特征在第二特征映射图的重叠图像区域中对应的第二重叠特征。
映射特征图由特征组成，而第一重叠特征指的是在第一映射特征图中该重叠图像区域内的特征。具体来说，图像分割模型可以在第一映射特征图的重叠图像区域中得到第一重叠特征，并利用第一重叠特征在重叠图像区域的位置关系，在第二特征映射图的重叠图像区域的相应位置得到其对应的第二重叠特征。
步骤S203，图像分割模型根据第一重叠特征与第二重叠特征的特征相似度得到第二损失值。
最后，图像分割模型可以利用步骤S202中得到的第一重叠特征与第二重叠特征计算其对应的特征相似度，作为第二损失值。
进一步地，第一重叠特征的个数为多个；如图3所示，步骤S203可以进一步包括：
步骤S301，图像分割模型确定当前第一重叠特征，以及当前第一重叠特征对应的第二重叠特征，作为当前第二重叠特征。
其中，当前第一重叠特征可以是任意一个在重叠图像区域中的第一重叠特征，具体来说，图像分割模型可以从多个第一重叠特征中确定出任意一个作为当前第一重叠特征，并在第二重叠特征中，找到与当前第一重叠特征对应的第二重叠特征，作为当前第二重叠特征。
步骤S302，图像分割模型根据当前第一重叠特征与当前第二重叠特征的特征相似度得到当前第一重叠特征的特征损失值；
步骤S303，图像分割模型确定各第一重叠特征对应的特征损失值，根述各第一重叠特征对应的特征损失值的平均值作为第二损失值。
之后，图像分割模型可以根据当前第一重叠特征与当前第二重叠特征的特征相似度，计算得到当前第一重叠特征对应的特征损失值，并通过步骤S301到步骤S302的方式，确定重叠图像区域中每一个第一重叠特征对应的特征损失值，并通过计算每一个特征损失值的平均值的方式，作为图像分割模型第二分支上的第二损失值。
进一步地，图像分割模型包括分类器；分类器用于获取第一图像块的特征图对应的第一伪标签，以及第二图像块的特征图对应的第二伪标签；如图4所示，步骤S302可以进一步包括：
步骤S401，图像分割模型确定当前第一重叠特征对应的重叠伪标签，从第一伪标签以及第二伪标签中获取与重叠伪标签不相同的伪标签，并获取与重叠伪标签不相同的伪标签对应的特征，作为当前第一重叠特征的负样本特征。
其中伪标签是图像分割模型通过将得到的图像块的特征图输入分类器，由分类器输出得到的标注结果，第一伪标签指的是将第一图像块的特征图输入分类器得到的伪标签，而第二伪标签则指的是将第二图像块的特征图输入分类器从而得到的伪标签。具体来说，当图像分割模型得到第一图像块以及第二图像块分别对应的特征图后，还可以将得到的特征图输入分类器，分别得到第一伪标签以及第二伪标签。
之后，在计算当前第一重叠特征的特征损失值时，图像分割模型可以从得到的第一伪标签中找到当前第一重叠特征对应的第一伪标签，作为重叠伪标签，同时还可以获取在第一伪标签以及第二伪标签中，与重叠伪标签不相同的伪标签，并且得到上述不相同的伪标签对应的在映射特征图上的特征，作为当前第一重叠特征的负样本特征。
步骤S402，图像分割模型获取当前第一重叠特征与当前第二重叠特征的特征相似度，以及获取当前第一重叠特征与负样本特征的特征相似度，根据当前第一重叠特征与当前第二重叠特征的特征相似度，以及当前第一重叠特征与负样本特征的特征相似度，得到当前第一重叠特征的特征损失值。
具体来说，特征之间的特征相似度可以通过如下公式计算得到：
r(φ1,φ2)＝exp(s(φ1,φ2)/τ)
其中，r(φ1,φ2)表示特征φ1和特征φ2之间的特征相似度，而s(φ1,φ2)则表示特征φ1和特征φ2之间的余弦相似度，τ表示预先设定的平滑参数。当图像分割模型得到当前第二重叠特征以及负样本特征后，可以通过如上特征相似度计算公式得到当前第一重叠特征与当前第二重叠特征的特征相似度，以及计算当前第一重叠特征与对应的负样本特征的特征相似度，从而利用当前第一重叠特征与当前第二重叠特征的特征相似度，以及当前第一重叠特征与对应的负样本特征的特征相似度得到最终的当前第一重叠特征的特征损失值。
另外，在一个实施例中，步骤S402之后，还可以包括：图像分割模型获取当前第一重叠特征在第一图像块的特征图上的第一特征分类分数，以及当前第二重叠特征在第二图像块的特征图上的第二特征分类分数；若第一特征分类分数大于或者等于第二特征分类分数，或者第二特征分类分数小于或者等于分类分数阈值，则将当前第一重叠特征的特征损失值进行置零处理。
第一特征分类分数指的是当前第一重叠特征在第一图像块的特征图上对应特征的特征分类分数，第二特征分类分数则指的是当前第二重叠特征在第二图像块的特征图上对应特征的特征分类分数，特征分类分数可以通过计算公式maxC(f)得到，表示特征f的对应的特征分类分数。
本实施例中，只有满足第一特征分类分数小于第二特征分类分数，且第二特征分类分数大于一个预设的分类分数阈值的当前第一重叠特征时才对图像分割模型的第二损失值有贡献，因此，本实施例设定如果第一特征分类分数大于或者等于第二特征分类分数，或者第二特征分类分数小于或者等于分类分数阈值，则将当前第一重叠特征的特征损失值进行置零处理。
综上所述，上述实施例中第二损失值的计算可以通过如下计算公式得到：
Figure BDA0003016609040000091
其中，
Figure BDA0003016609040000101
表示第二损失值，N表示第一重叠特征的特征个数，/>
Figure BDA0003016609040000102
为在h行w列的第一重叠特征/>
Figure BDA0003016609040000103
的二进制掩码，可通过如下计算公式得到：
Figure BDA0003016609040000104
Figure BDA0003016609040000105
其中，
Figure BDA0003016609040000106
表示h行w列的第一重叠特征/>
Figure BDA0003016609040000107
在第一图像块的特征图上对应特征，
Figure BDA0003016609040000108
则表示特征/>
Figure BDA0003016609040000109
的分类分数，/>
Figure BDA00030166090400001010
表示h行w列的第二重叠特征/>
Figure BDA00030166090400001011
在第二图像块的特征图上对应特征，/>
Figure BDA00030166090400001012
则表示特征/>
Figure BDA00030166090400001013
的分类分数，而γ则是一个预先设定的分类分数阈值，/>
Figure BDA00030166090400001014
表明只有特征/>
Figure BDA00030166090400001015
的分类分数小于特征/>
Figure BDA00030166090400001016
的分类分数，且特征
Figure BDA00030166090400001017
的分类分数小于预先设定的分类分数阈值γ时对应的第一重叠特征/>
Figure BDA00030166090400001018
才进行第二损失值的运算。
而
Figure BDA00030166090400001019
则表示h行w列的第一重叠特征/>
Figure BDA00030166090400001020
与h行w列的第二重叠特征/>
Figure BDA00030166090400001021
之间的特征相似度，/>
Figure BDA00030166090400001022
则表示h行w列的第一重叠特征/>
Figure BDA00030166090400001023
与任意一个特征之间的特征相似度，/>
Figure BDA00030166090400001024
为一个二进制掩码，可通过如下公式计算得到：
Figure BDA00030166090400001025
其中
Figure BDA00030166090400001026
指的是h行w列的第一重叠特征/>
Figure BDA00030166090400001027
对应的伪标签，即重叠伪标签，而/>
Figure BDA00030166090400001028
表示任意一个特征对应的伪标签，可以是第一伪标签或者第二伪标签的任意一个，/>
Figure BDA00030166090400001029
表明只有与重叠伪标签不相同的伪标签对应的特征，即负样本特征，才对第一重叠特征的特征损失值的计算有所影响。
上述实施例中，第二损失值的计算是通过对多个第一重叠特征的特征损失值计算平均得到，其中第一重叠特征的特征损失值是通过第一重叠特征与对应的第二重叠特征的特征相似度，以及第一重叠特征与该特征对应的负样本特征的特征相似度得到，并且只有在第一重叠特征满足第一特征分类分数小于第二特征分类分数，且第二特征分类分数大于设定的分类分数阈值时才对第二损失值做出贡献，否则对其置零处理，可以保证得到的第二损失值的准确性。
在一个实施例中，步骤S103可以进一步包括：终端获取第一损失值对应的第一权重，以及第二损失值对应的第二权重；利用第一权重以及第二权重，对第一损失值以及第二损失值进行加权求和处理，得到图像分割模型的损失值，基于图像分割模型的损失值训练得到图像分割模型。
本实施例中，第一损失值与第二损失值对模型训练过程中对模型训练过程的影响程度也可以有所不同，因此本实施例中终端可以分别为第一损失值以及第二损失值设置相应的权重，即第一权重和第二权重，并分别利用第一权重和第二权重，对得到的第一损失值和第二损失值进行加权求和处理，得到最终的图像分割模型的损失值，并利用加权处理后得到的损失值对图像分割模型进行训练，从而得到最终的图像分割模型。
本实施例中，图像分割模型的训练过程可以基于对第一损失值和第二损失值进行加权求和处理得到的损失值进行，从而可以保证训练得到的图像分割模型的模型精度，以提高图像分割的准确性。
另外，在一个实施例中，步骤S103之后，还可以包括：终端获取待分割处理的待分割图像；将待分割图像输入图像分割模型，以使图像分割模型输出待分割图像对应的图像分割结果。
图像分割模型训练完成后，则可以通过该模型实现图像的分割处理，而待分割图像则指的是需要进行图像分割处理的原始图像，具体来说，终端可以将需要进行图像分割处理的待分割图像输入训练好的图像分割模型，并通过图像分割模型输出待分割图像对应的图像分割结果。
本实施例中，通过将需要进行图像分割处理的待分割图像输入至图像分割模型，并输出对应的图像分割结果，能够提高图像分割的准确率，并且可适用于各种图像分割场景中。
在一个应用实例中，提供了一种对比学习在半监督图像分割中的应用方法，相比于传统的对抗学习技术，本应用实例不需要将训练分成两部分，而是整体同时进行训练，这保证了训练的稳定性。与此同时，本应用实例的表现在各个超参数的设定在较大范围内都不敏感，这保证了在实际场景中能够较快地得到较优的超参数。而相比于一致学习，本应用实例额外地提出了基于语义信息的数据增强，这使得在一致学习的同时能够保证模型合理地利用图像地语义信息，即在一定程度上缓解了模型过度使用语义信息的问题。此外，本应用实例还利用了对比学习，因此对同一图像的不同表示的一致性要求有了更强的约束，这使得一致学习更加有效，最终提升模型的表现。
如图5所示，本应用实例提供的半监督图像分割模型整体的框架由两个分支构成：有监督分支和无监督分支。在有监督分支中，有标注的图像(xl)经过编码器E(Encoder)以及分类器C(Classifier)之后得到预测结果，并与真实分割结果(yl)产生交叉熵损失。而在无监督分支中，无标注的图像(xu)首先经过两个不同的数据增强得到两个图像块(xu1和xu2)，但要求这两个图像块必须有重叠部分。然后，这两个图像块经过编码器E(Encoder)得到两个特征图fu1和fu2，之后再经过映射器P(Projector)，分别得到一个对应的特征图(φu1和φu2)。与此同时，经过编码器E得到的两个特征图(即fu1和fu2)还需经过分类器C(即图中Classifier)得到两个预测图(
Figure BDA0003016609040000121
和/>
Figure BDA0003016609040000122
)，并作为上述映射器P输出的两个特征图所对应的伪标签(Pseudo Label)。通过两个特征图(φu1和φu2)及其对应的伪标签(/>
Figure BDA0003016609040000123
和/>
Figure BDA0003016609040000124
)，我们要求这两个特征图重叠的部分(即φo1和φo2)保持一致性。最终损失函数具体公式如下所示。
Figure BDA0003016609040000125
其中
Figure BDA0003016609040000126
表示对锚特征/>
Figure BDA0003016609040000127
的二进制掩码，即同时需要满足特征/>
Figure BDA0003016609040000128
的分数小于
Figure BDA0003016609040000129
且/>
Figure BDA00030166090400001210
需要满足大于一个预设的门槛(threshold)，即γ。这表示只有满足这个条件的锚特征才能够对最终的损失作出贡献。
Figure BDA00030166090400001211
Figure BDA00030166090400001212
Figure BDA00030166090400001213
表示特征φ1和φ2之间的余弦相似度经过1/τ的尺度扩大之后的指数函数，
r(φ1,φ2)＝exp(s(φ1,φ2)/τ)
Figure BDA00030166090400001214
表示一个二进制掩码，将拥有与锚特征/>
Figure BDA00030166090400001215
相同的伪标签的特征对最终的损失的贡献置为0。
Figure BDA00030166090400001216
此外，还需注意，在梯度反向传播时，
Figure BDA00030166090400001217
的梯度只会回传给φo1。
本应用实例在多个数据集中表现出了目前最优的准确率，超过了之前的所有已发表的方法。其中，在Pascal VOC数据集上，以PSPNet为基础分割网络时使用1/8的数据可达到71.3％mIoU(超过基础方案6.3％mIoU)，使用1/4的数据时可达到72.5％mIoU(超过基础方案4.2％mIoU)。(使用全部数据可达到75.1％。)而在Cityscapes数据集上，以DeepLabv3+为基础分割网络时，使用1/8的数据可达到69.7％mIoU(超过基础方案3.7％mIoU)，使用1/4的数据可达到72.7％mIoU(超过基础方案2.0％mIoU)。(使用全部数据的结果为77.7％。)由此可证明本应用实例的有效性。
应该理解的是，虽然本申请的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种图像分割模型训练装置，包括：样本获取模块601、损失获取模块602和模型训练模块603，其中：
样本获取模块601，用于获取第一样本图像、第二样本图像，以及与第一样本图像对应的标注图像；
损失获取模块602，用于将第一样本图像和标注图像以及第二样本图像输入至待训练的图像分割模型，以使待训练的图像分割模型根据第一样本图像对应的预测图像以及标注图像，得到第一损失值，以及根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；第一图像块和第二图像块为第二样本图像中具有图像重叠区域的图像块；
模型训练模块603，用于基于第一损失值和第二损失值，训练得到图像分割模型。
在一个实施例中，图像分割模型包括映射器；损失获取模块602，进一步用于将第一图像块和第二图像块的特征图输入映射器，通过映射器获取第一图像块的特征图对应的第一映射特征图以及第二图像块的特征图对应的第二特征映射图；确定第一映射特征图在重叠图像区域中的第一重叠特征，并获取第一重叠特征在第二特征映射图的重叠图像区域中对应的第二重叠特征；根据第一重叠特征与第二重叠特征的特征相似度得到第二损失值。
在一个实施例中，第一重叠特征的个数为多个；损失获取模块602，进一步用于确定当前第一重叠特征，以及当前第一重叠特征对应的第二重叠特征，作为当前第二重叠特征；根据当前第一重叠特征与当前第二重叠特征的特征相似度得到当前第一重叠特征的特征损失值；确定各第一重叠特征对应的特征损失值，根据各第一重叠特征对应的特征损失值的平均值作为第二损失值。
在一个实施例中，图像分割模型包括分类器；分类器用于获取第一图像块的特征图对应的第一伪标签，以及第二图像块的特征图对应的第二伪标签；损失获取模块602，进一步用于确定当前第一重叠特征对应的重叠伪标签，从第一伪标签以及第二伪标签中获取与重叠伪标签不相同的伪标签，并获取与重叠伪标签不相同的伪标签对应的特征，作为当前第一重叠特征的负样本特征；获取当前第一重叠特征与当前第二重叠特征的特征相似度，以及获取当前第一重叠特征与负样本特征的特征相似度，根据当前第一重叠特征与当前第二重叠特征的特征相似度，以及当前第一重叠特征与负样本特征的特征相似度，得到当前第一重叠特征的特征损失值。
在一个实施例中，损失获取模块602，还用于获取当前第一重叠特征在第一图像块的特征图上的第一特征分类分数，以及当前第二重叠特征在第二图像块的特征图上的第二特征分类分数；若第一特征分类分数大于或者等于第二特征分类分数，或者第二特征分类分数小于或者等于分类分数阈值，则将当前第一重叠特征的特征损失值进行置零处理。
在一个实施例中，模型训练模块603，进一步用于获取第一损失值对应的第一权重，以及第二损失值对应的第二权重；利用第一权重以及第二权重，对第一损失值以及第二损失值进行加权求和处理，得到图像分割模型的损失值，基于图像分割模型的损失值训练得到图像分割模型。
在一个实施例中，图像分割模型训练装置，还包括：图像分割模块，用于获取待分割处理的待分割图像；将待分割图像输入图像分割模型，以使图像分割模型输出待分割图像对应的图像分割结果。
关于图像分割模型训练装置的具体限定可以参见上文中对于图像分割模型训练方法的限定，在此不再赘述。上述图像分割模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像分割模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分割模型训练方法，其特征在于，所述方法包括：
获取第一样本图像、第二样本图像，以及与所述第一样本图像对应的标注图像；
将所述第一样本图像和所述标注图像输入至待训练的图像分割模型的第一分支，以使所述第一分支根据所述第一样本图像对应的预测图像以及所述标注图像，得到第一损失值，并将所述第二样本图像输入至所述待训练的图像分割模型的第二分支，以使所述第二分支根据所述第二样本图像得到第一图像块和第二图像块，并根据所述第一图像块和所述第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；所述第一图像块和第二图像块为所述第二样本图像中具有所述图像重叠区域的图像块；
基于所述第一损失值和所述第二损失值，训练得到图像分割模型。
2.根据权利要求1所述的方法，其特征在于，所述图像分割模型包括映射器；
所述根据第一图像块和第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值，包括：
将所述第一图像块和第二图像块的特征图输入所述映射器，通过所述映射器获取所述第一图像块的特征图对应的第一映射特征图以及所述第二图像块的特征图对应的第二特征映射图；
确定所述第一映射特征图在所述重叠图像区域中的第一重叠特征，并获取所述第一重叠特征在所述第二特征映射图的重叠图像区域中对应的第二重叠特征；
根据所述第一重叠特征与所述第二重叠特征的特征相似度得到所述第二损失值。
3.根据权利要求2所述的方法，其特征在于，所述第一重叠特征的个数为多个；
所述根据所述第一重叠特征与所述第二重叠特征的特征相似度得到所述第二损失值，包括：
确定当前第一重叠特征，以及所述当前第一重叠特征对应的第二重叠特征，作为当前第二重叠特征；
根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度得到所述当前第一重叠特征的特征损失值；
确定各第一重叠特征对应的特征损失值，根据所述各第一重叠特征对应的特征损失值的平均值作为所述第二损失值。
4.根据权利要求3所述的方法，其特征在于，所述图像分割模型包括分类器；所述分类器用于获取所述第一图像块的特征图对应的第一伪标签，以及所述第二图像块的特征图对应的第二伪标签；
所述根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度得到所述当前第一重叠特征的特征损失值，包括：
确定所述当前第一重叠特征对应的重叠伪标签，从所述第一伪标签以及所述第二伪标签中获取与所述重叠伪标签不相同的伪标签，并获取与所述重叠伪标签不相同的伪标签对应的特征，作为所述当前第一重叠特征的负样本特征；
获取所述当前第一重叠特征与所述当前第二重叠特征的特征相似度，以及获取所述当前第一重叠特征与所述负样本特征的特征相似度，根据所述当前第一重叠特征与所述当前第二重叠特征的特征相似度，以及所述当前第一重叠特征与所述负样本特征的特征相似度，得到所述当前第一重叠特征的特征损失值。
5.根据权利要求4所述的方法，其特征在于，所述得到所述当前第一重叠特征的特征损失值之后，还包括：
获取所述当前第一重叠特征在所述第一图像块的特征图上的第一特征分类分数，以及所述当前第二重叠特征在所述第二图像块的特征图上的第二特征分类分数；
若所述第一特征分类分数大于或者等于所述第二特征分类分数，或者所述第二特征分类分数小于或者等于所述分类分数阈值，则将所述当前第一重叠特征的特征损失值进行置零处理。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失值和所述第二损失值，训练得到图像分割模型，包括：
获取所述第一损失值对应的第一权重，以及所述第二损失值对应的第二权重；
利用所述第一权重以及所述第二权重，对所述第一损失值以及所述第二损失值进行加权求和处理，得到所述图像分割模型的损失值，基于所述图像分割模型的损失值训练得到所述图像分割模型。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述训练得到图像分割模型之后，还包括：
获取待分割处理的待分割图像；
将所述待分割图像输入所述图像分割模型，以使所述图像分割模型输出所述待分割图像对应的图像分割结果。
8.一种图像分割模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取第一样本图像、第二样本图像，以及与所述第一样本图像对应的标注图像；
损失获取模块，用于将所述第一样本图像和所述标注图像输入至待训练的图像分割模型的第一分支，以使所述第一分支根据所述第一样本图像对应的预测图像以及所述标注图像，得到第一损失值，并将所述第二样本图像输入至所述待训练的图像分割模型的第二分支，以使所述第二分支根据所述第二样本图像得到第一图像块和第二图像块，并根据所述第一图像块和所述第二图像块的特征图关于图像重叠区域的特征相似度，得到第二损失值；所述第一图像块和第二图像块为所述第二样本图像中具有所述图像重叠区域的图像块；
模型训练模块，用于基于所述第一损失值和所述第二损失值，训练得到图像分割模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110390733.0A 2021-04-12 2021-04-12 图像分割模型训练方法、装置、计算机设备和存储介质 Active CN113112509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110390733.0A CN113112509B (zh) 2021-04-12 2021-04-12 图像分割模型训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390733.0A CN113112509B (zh) 2021-04-12 2021-04-12 图像分割模型训练方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113112509A CN113112509A (zh) 2021-07-13
CN113112509B true CN113112509B (zh) 2023-07-04

Family

ID=76715969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390733.0A Active CN113112509B (zh) 2021-04-12 2021-04-12 图像分割模型训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113112509B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332554A (zh) * 2021-11-10 2022-04-12 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备
CN113781491A (zh) * 2021-11-11 2021-12-10 阿里巴巴达摩院(杭州)科技有限公司 图像分割模型的训练、图像分割方法及装置
CN114399513B (zh) * 2021-12-10 2023-04-18 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置
CN115147426B (zh) * 2022-09-06 2022-11-29 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN116168053B (zh) * 2023-02-28 2024-02-02 抖音视界有限公司 息肉分割模型的训练方法、息肉分割方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、系统及相关组件

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665463A (zh) * 2018-03-30 2018-10-16 哈尔滨理工大学 一种基于对抗式生成网络的宫颈细胞图像分割方法
JP7306473B2 (ja) * 2019-04-03 2023-07-11 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN112183325B (zh) * 2020-09-27 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于图像对比的公路车辆检测方法
CN112365511B (zh) * 2020-11-14 2022-06-10 重庆邮电大学 基于重叠区域检索与对齐的点云分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、系统及相关组件

Also Published As

Publication number Publication date
CN113112509A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN113112509B (zh) 图像分割模型训练方法、装置、计算机设备和存储介质
US10803554B2 (en) Image processing method and device
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
US20150206315A1 (en) Labeling Objects in Image Scenes
CN109492674B (zh) 用于目标检测的ssd框架的生成方法及装置
CN113255915B (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
US11544495B2 (en) Attributionally robust training for weakly supervised localization and segmentation
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
CN113159013B (zh) 基于机器学习的段落识别方法、装置、计算机设备和介质
CN113343982A (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN115131803A (zh) 文档字号的识别方法、装置、计算机设备和存储介质
US20210192137A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US20210174021A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN112541902A (zh) 相似区域搜索方法、装置、电子设备及介质
CN111475736A (zh) 社区挖掘的方法、装置和服务器
CN112785601B (zh) 一种图像分割方法、系统、介质及电子终端
CN115205202A (zh) 视频检测方法、装置、设备及存储介质
CN113128496B (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN111898620A (zh) 识别模型的训练方法、字符识别方法、装置、设备和介质
CN110688511A (zh) 细粒度图像检索方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lai Xin

Inventor after: Tian Zhuotao

Inventor after: Liu Shu

Inventor after: Shen Xiaoyong

Inventor after: Lv Jiangbo

Inventor before: Lai Xin

Inventor before: Tian Zhuotao

Inventor before: Liu Shu

Inventor before: Jia Jiaya

Inventor before: Shen Xiaoyong

Inventor before: Lv Jiangbo

GR01 Patent grant
GR01 Patent grant