CN111723813A - 基于类内判别器的弱监督图像语义分割方法、系统、装置 - Google Patents

基于类内判别器的弱监督图像语义分割方法、系统、装置 Download PDF

Info

Publication number
CN111723813A
CN111723813A CN202010506805.9A CN202010506805A CN111723813A CN 111723813 A CN111723813 A CN 111723813A CN 202010506805 A CN202010506805 A CN 202010506805A CN 111723813 A CN111723813 A CN 111723813A
Authority
CN
China
Prior art keywords
class
image
training
discriminator
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010506805.9A
Other languages
English (en)
Other versions
CN111723813B (zh
Inventor
张兆翔
谭铁牛
宋纯锋
樊峻菘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010506805.9A priority Critical patent/CN111723813B/zh
Priority to PCT/CN2020/099945 priority patent/WO2021243787A1/zh
Priority to US17/442,697 priority patent/US11887354B2/en
Publication of CN111723813A publication Critical patent/CN111723813A/zh
Application granted granted Critical
Publication of CN111723813B publication Critical patent/CN111723813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习、计算机视觉及模式识别领域，具体涉及了一种基于类内判别器的弱监督图像语义分割方法、系统、装置，旨在解决弱监督采用的粗略标注带来的语义分割不准确的问题。本发明包括：为每个图像级的类别构建两级类内判别器，用以判断所属该图像类别的各像素点属于目标前景或是背景，并使用弱监督的数据进行训练；基于该类内判别器生成像素级的图像类别标签，生成语义分割结果并输出；还可以使用该标签进行图像语义分割模块或网络的训练，得到最终用于无标签输入图像的语义分割的模型。本发明充分挖掘隐含在特征编码中的类内图像信息，准确区分前景与背景像素，在仅依赖图像级标注的情况下，显著地提高弱监督语义分割模型的性能。

Description

基于类内判别器的弱监督图像语义分割方法、系统、装置
技术领域
本发明属于深度学习、计算机视觉和模式识别领域，具体涉及了一种基于类内判别器的弱监督图像语义分割方法、系统、装置。
背景技术
弱监督语义分割是一个应用广泛且具有挑战性的计算机视觉任务。语义分割任务通常需要利用大量人力时间完成训练图像的精细手工标注，然后进行深度学习网络的训练。而弱监督语义分割致力于仅采用平价易得的粗略标注进行深度学习网络的训练，从而减少对人工的依赖。由于仅采用粗略的标注，弱监督的语义分割通常面临目标预测不完整，定位不准确等问题。
目前，这一领域通常通过图像级的类别信息学得用于估计目标分割结果的模型。但这种模型较多关注于图像之间的差异，因此往往聚焦于最易识别的部分区域，难以得到关于整个物体的完整估计。
总的来说，现有技术图像级弱监督标注数据的情况下，难以得到较为完整的目标分割结果，从而导致弱监督语义分割下目标预测不完整，定位不准确等问题。
发明内容
为了解决现有技术中的上述问题，即弱监督采用的粗略标注带来的语义分割不准确的问题，本发明提供了一种基于类内判别器的弱监督图像语义分割方法，该语义分割方法包括：
通过特征提取网络提取待处理图像的特征图，并通过图像语义分割模块获取所述待处理图像的图像语义分割结果；所述图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；
所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器和第二类内判别器获取；所述第一类内判别器和第二类内判别器分别基于深度网络构建，其训练方法为：
步骤S10，通过特征提取网络提取训练图像集中每一个图像的特征图，获得训练特征图集；分别构建第一类内判别器、第二类内判别器的第一损失函数、第二损失函数；
步骤S20，基于所述训练特征图集、对应的图像级类别标签以及第一损失函数进行所述第一类内判别器的训练，获得所述训练图像集中每一个图像各类别的初步像素级前景和背景标签；
步骤S30，基于所述训练特征图集、对应的初步像素级前景和背景标签以及第二损失函数进行所述第二类内判别器的训练，获得所述训练图像集中每一个图像各类别的精确像素级前景和背景标签；
步骤S40，基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
在一些优选的实施例中，步骤S20包括：
步骤S21，对于所述训练特征图集中每一个特征图的每一个图像级类别标签c，设定方向向量wc，并以wc向量方向的像素作为类别c的前景像素，wc向量反方向的像素作为类别c的背景像素；
步骤S22，基于所述方向向量wc、训练特征图集，计算第一损失值，并基于所述第一损失值更新wc；
步骤S23，重复执行步骤S21-步骤S22直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签。
在一些优选的实施例中，步骤S30包括：
步骤S31，基于所述训练图像集中每一个图像各类别的初步像素级前景和背景标签Bi，k，c、训练特征图集，计算第二损失值，并基于所述第二损失值更新所述特征提取网络的参数；
步骤S32，重复执行步骤S31直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签。
在一些优选的实施例中，步骤S30之前还设置有初步像素级前景和背景标签精细调整的步骤，其方法为：
通过在超像素内求平均、条件随机场中的一种或多种方法进行初步像素级前景和背景标签的精细调整。
在一些优选的实施例中，所述第一损失函数为：
Figure BDA0002526817180000031
其中，N代表训练图像集中图像的数量；H和W分别代表一个训练图像的特征图的高和宽；C代表训练图像集中的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签；
Figure BDA0002526817180000032
代表归一化前的图像级类别标签c的方向向量，
Figure BDA0002526817180000033
代表归一化后的图像级类别标签c的方向向量，
Figure BDA0002526817180000034
为wc的转置；xi，k代表训练图像集中第i张图像的特征图中的第k个像素位置对应的特征。
在一些优选的实施例中，所述第二损失函数为：
Figure BDA0002526817180000035
Figure BDA0002526817180000036
其中，N代表训练图像集中图像的数量；H和W分别代表一个训练图像的特征图的高和宽；C代表训练图像集中的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签；Bi，k，c代表经过精细调整后的第一类内判别器的像素级前景、背景预测结果；Si，k，c代表第二类内判别器的预测结果；σ为Sigmoid函数。
在一些优选的实施例中，所述第一类内判别器和第二类内判别器还可以通过Softmax分类损失函数、MSE回归损失函数中的一种进行训练。
本发明的另一方面，提出了一种基于类内判别器的弱监督图像语义分割系统，基于上述的基于类内判别器的弱监督图像语义分割方法，该语义分割系统包括输入模块、特征提取模块、图像语义分割模块、输出模块；
所述输入模块，配置为获取待处理图像或获取训练图像集和对应的图像级类别标签；
所述特征提取模块，配置为提取所述待处理图像的特征图或提取所述训练图像集对应的特征图集；
所述图像语义分割模块，配置为基于所述待处理图像对应的特征图，获取待处理图像对应的图像语义分割结果；
所述输出模块，配置为输出待处理图像对应的图像语义分割结果；
其中，图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器、第二类内判别器、类别标签生成模块获取；
所述第一类内判别器包括第一损失计算模块、第一循环模块；所述第一损失计算模块，基于训练特征图集、对应的图像级类别标签以及第一损失函数计算第一损失值；所述第一循环模块，用于更新第一类内判别器的参数并循环训练，直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签；
所述第二类内判别器包括第二损失计算模块、第二循环模块；所述第二损失计算模块，基于训练特征图集、对应的各类别的初步像素级前景和背景标签以及第二损失函数计算第二损失值；所述第二循环模块，用于更新第二类内判别器的参数并循环训练，直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签；
所述类别标签生成模块，配置为基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类内判别器的弱监督图像语义分割方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类内判别器的弱监督图像语义分割方法。
本发明的有益效果：
(1)本发明基于类内判别器的弱监督图像语义分割方法，构建了两级的类内判别器，在对图像进行特征编码的基础上，结合弱监督的图像级类别标签，通过第一级类内判别器初步判断各类别的特征图像素是否属于该类别的前景或背景，在此基础上通过第二级类内判别器再一次判断各类别的特征图像素是否属于该类别的前景或背景，结合原图的图像级类别标签，获得图像的精确像素级类别标签，可以此作为语义分割结果输出，还可以依据此精确像素级类别标签进行图像语义分割模块或网络的训练，获得弱监督标签下性能更优、语义分割结果更精确的图像语义分割模块或网络，生成较为完整的目标语义分割结果，从而解决弱监督语义分割下目标预测不完整，定位不准确的问题。
(2)本发明基于类内判别器的弱监督图像语义分割方法，对于第一级类内判别器输出的结果，还可以通过超像素内求平均法、条件随机场等方法进行精细调整，再输入到第二级类内判别器，能够得到更加适合于判别前背景任务的特征编码，从而可以得到更加准确的语义分割结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于类内判别器的弱监督图像语义分割方法的流程示意图；
图2是本发明基于类内判别器的弱监督图像语义分割方法一种实施例的类内判别器语义分割示意图；
图3是本发明基于类内判别器的弱监督图像语义分割方法一种实施例的类内判别器网络训练示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于类内判别器的弱监督图像语义分割方法，提出的基于类内判别器的弱监督语义分割模型，聚焦于每一图像级类别的内部，因此可以有效地避免图像级弱监督标注数据的情况下，难以得到较为完整的目标分割结果，从而导致弱监督语义分割下目标预测不完整，定位不准确等问题。本方法可以有效地判别同一图像类别下的像素从属与目标前景或是背景，从而得到较为准确的目标分割估计，显著地提高弱监督语义分割模型的性能表现。
本发明的一种基于类内判别器的弱监督图像语义分割方法，该语义分割方法包括：
通过特征提取网络提取待处理图像的特征图，并通过图像语义分割模块获取所述待处理图像的图像语义分割结果；所述图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；
所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器和第二类内判别器获取；所述第一类内判别器和第二类内判别器分别基于深度网络构建，其训练方法为：
步骤S10，通过特征提取网络提取训练图像集中每一个图像的特征图，获得训练特征图集；分别构建第一类内判别器、第二类内判别器的第一损失函数、第二损失函数；
步骤S20，基于所述训练特征图集、对应的图像级类别标签以及第一损失函数进行所述第一类内判别器的训练，获得所述训练图像集中每一个图像各类别的初步像素级前景和背景标签；
步骤S30，基于所述训练特征图集、对应的初步像素级前景和背景标签以及第二损失函数进行所述第二类内判别器的训练，获得所述训练图像集中每一个图像各类别的精确像素级前景和背景标签；
步骤S40，基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
为了更清晰地对本发明基于类内判别器的弱监督图像语义分割方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明一种实施例的基于类内判别器的弱监督图像语义分割方法，各步骤详细描述如下：
通过特征提取网络提取待处理图像的特征图，并通过图像语义分割模块获取所述待处理图像的图像语义分割结果；所述图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；
所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器和第二类内判别器获取；所述第一类内判别器和第二类内判别器分别基于深度网络构建，其训练方法为：
步骤S10，通过特征提取网络提取训练图像集中每一个图像的特征图，获得训练特征图集；分别构建第一类内判别器、第二类内判别器的第一损失函数、第二损失函数。
如图2所示，为本发明基于类内判别器的弱监督图像语义分割方法一种实施例的类内判别器语义分割示意图，通过特征提取网络获取输入图像的特征，通过类内判别器获取图像的前景和背景，结合类别响应图，生成分割结果并输出，这里包括一个类内判别的类内判别器分支和一个类别响应图分支：
步骤一，针对每个输入图像，结合其图像标签，利用类别响应图分支，计算分类损失函数并得到参数的梯度进行反传训练；
步骤二，针对上述步骤中的图像，结合其图像标签，对类内判别器分支进行训练；其中，类内判别器分支包括第一类内判别器、第二类内判别器(还可以包括中间进行精细调整的过程)；
步骤三，以上步骤一与二交替或同时进行，训练达到网络整体的收敛；
步骤四，待网络收敛后，可以生成每一输入图像的语义分割结果，该结果可直接作为语义分割的输出，也可用以训练一个性能更加的完整的端到端的图像语义分割模块或网络，并以该模块或网络的输出作为最终的语义分割输出。
步骤S20，基于所述训练特征图集、对应的图像级类别标签以及第一损失函数进行所述第一类内判别器的训练，获得所述训练图像集中每一个图像各类别的初步像素级前景和背景标签。
步骤S21，对于所述训练特征图集中每一个特征图的每一个图像级类别标签c，设定方向向量wc，并以wc向量方向的像素作为类别c的前景像素，wc向量反方向的像素作为类别c的背景像素。
为每一类别c学习一个相应的方向向量wc，该方向向量所指向的方向，用以指示所在类别的像素的前景，其反方向，用以指示所在类别的像素的背景。
步骤S22，基于所述方向向量wc、训练特征图集，计算第一损失值，并基于所述第一损失值更新wc。
通过对方向向量归一化以防止在第一类内判别器训练过程中方向向量wc被映射到无穷大，如式(1)所示：
Figure BDA0002526817180000091
其中，wc代表归一化后的图像级类别标签c的方向向量，
Figure BDA0002526817180000092
代表归一化前的图像级类别标签c的方向向量，
Figure BDA0002526817180000093
代表
Figure BDA0002526817180000094
的范数。
基于归一化后的方向向量wc，第一损失函数如式(2)所示：
Figure BDA0002526817180000101
其中，N代表训练图像集中图像的数量；H和W分别代表一个训练图像的特征图的高和宽；C代表训练图像集的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签，若图像中存在类别c，其值为1，若图像中不存在类别c，其值为0；
Figure BDA0002526817180000102
代表归一化前的图像级类别标签c的方向向量，
Figure BDA0002526817180000103
代表归一化后的图像级类别标签c的方向向量，
Figure BDA0002526817180000104
为wc的转置；xi，k代表训练图像集中第i张图像的特征图中的第k个像素位置对应的特征。
第一类内判别器，还可以通过如式(3)所示的基于L1-norm的损失函数进行训练：
Figure BDA0002526817180000105
第一类内判别器，还可以通过如式(4)所示的基于Sigmoid分类器的损失函数进行训练：
Figure BDA0002526817180000106
Figure BDA0002526817180000107
其中，Yi，k，c代表当前第一类内判别器的输出结果，其值为1或0。
除了上述的几种损失函数之外，在其他实施例中，还可以选择其他的合理有效的损失函数作为第一类内判别器的第一损失函数进行训练，包括但不限于Softmax分类损失函数、MSE回归损失函数等，本发明在此不一一详述。
步骤S23，重复执行步骤S21-步骤S22直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签。
将每张图像中的所有像素点，按每个该图像所具有的类别划分成前景和背景两部分，并根据前景通常具有较高的分类显著性这一特点，予以判断出哪部分是前景，哪部分是背景，得到最终关于每一个图像中所出现的类别的所有像素点的前景、背景所属判断结果。
步骤S30之前还设置有初步像素级前景和背景标签精细调整的步骤，其方法为：
通过在超像素内求平均、条件随机场中的一种或多种方法进行初步像素级前景和背景标签的精细调整。
通过在超像素内求平均的方法进行初步像素级前景和背景标签的精细调整的过程为：
根据原输入图像计算超像素点，在每一超像素点内对相应像素位置的第一类内判别器的预测结果进行平均，以平均后的结果作为调整后的预测结果用以生成像素级的前景和背景。
通过条件随机场进行初步像素级前景和背景标签的精细调整的过程为：
将第一类内判别器的预测结果作为一阶信息，根据条件随机场法，结合原输入图像的信息建立二阶信息，计算条件随机场法中的能量函数并迭代至收敛，得到调整后的预测结果并用以生成像素级的前景和背景。
进行初步像素级前景和背景标签的精细调整的方法不限于上述的在超像素内求平均和条件随机场方法，在其他实施例中，还可以选择其他的方法，也可以通过将上述方法获得的结果求平均或多数投票等方式进行融合，并以融合后的结果作为精细调整后的预测结果，本发明在此不一一详述。
步骤S30，基于所述训练特征图集、对应的初步像素级前景和背景标签以及第二损失函数进行所述第二类内判别器的训练，获得所述训练图像集中每一个图像各类别的精确像素级前景和背景标签。
步骤S31，基于所述训练图像集中每一个图像各类别的初步像素级前景和背景标签Bi，k，c、训练特征图集，计算第二损失值，并基于所述第二损失值更新所述特征提取网络的参数。
第二损失函数如式(5)所示：
Figure BDA0002526817180000121
Figure BDA0002526817180000122
其中，N代表训练图像集中图像的数量；H和W分别代表一个训练图像的特征图的高和宽；C代表训练图像集中的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签；Bi，k，c代表经过精细调整后的第一类内判别器的像素级前景、背景预测结果；Si，k，c代表第二类内判别器的预测结果；σ为Sigmoid函数。
步骤S32，重复执行步骤S31直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签。
步骤S40，基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
如图3所示，为本发明基于类内判别器的弱监督图像语义分割方法一种实施例的类内判别器网络训练示意图，图像经过特征提取后的图像特征编码分别作为第一类内判别器和第二类内判别器的输入，并且将第一类内判别器的输出进行精细调整后反馈到第二类内判别器，结合第二类内判别器基于图像特征编码获取的输出结果，得到最终的输出结果，其中，第一类别判别器和第二类别判别器分别基于第一损失函数和第二损失函数进行训练。
根据上述步骤生成的最终的第二类内判别器输出结果，结合图像的类别信息，整合形成图像的精确像素级类别标签，也可以作为图像的语义分割结果。具体来说，对于只有一个类别的图像，可以直接将第二类内判别器的前景结果作为相应类别的标注，背景结果作为背景标注，完成语义分割的标注；对于具有多个类别标签的图像，首先可将所有相应类别均判断为背景的区域作为背景标注，只有一个类别判断为前景而其它类别判断为背景的区域作为该类别标注，剩余的具有多个前景类别标注的区域依其对应的得分Si，k，c，选取得分最大的类别作为相应的标注。
上述步骤中得到的语义分割结果，可直接作为相应图像的语义分割结果输出；也可将其作为像素级的标注，配以对应的原图，作为输入用于训练一个性能更好的端到端的图像语义分割模块，并由该图像语义分割模块给出最终的语义分割输出结果，用以实际应用或测试。
由第二类内判别器的输出结果计算得到最终的语义分割图时，可采用不同的实现方式。例如，可以将传统的类别响应图的响应，与本发明所提出的类内判别器的输出响应相融合，用融合后的响应生成最终的语义分割图；也可以首先将类内判别器的输出再次通过超像素点、条件随机场等方法进行精细调整后，再行生成最终的语义分割图；还可以在生成语义分割图的过程中，将具有多个前景类别判断的区域留空，后续通过条件随机场等概率模型结合原图像的信息再行迭代调整估计和填充；还可以在获得了关于类内判别器结果的基础上，结合额外的显著性模型等方法对背景进行更加精确的估计，并最终合并得到更加准确和完整的语义分割图等等，本发明在此不一一详述。
本发明第二实施例的基于类内判别器的弱监督图像语义分割系统，基于上述的基于类内判别器的弱监督图像语义分割方法，该语义分割系统包括输入模块、特征提取模块、图像语义分割模块、输出模块；
所述输入模块，配置为获取待处理图像或获取训练图像集和对应的图像级类别标签；
所述特征提取模块，配置为提取所述待处理图像的特征图或提取所述训练图像集对应的特征图集；
所述图像语义分割模块，配置为基于所述待处理图像对应的特征图，获取待处理图像对应的图像语义分割结果；
所述输出模块，配置为输出待处理图像对应的图像语义分割结果；
其中，图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器、第二类内判别器、类别标签生成模块获取；
所述第一类内判别器包括第一损失计算模块、第一循环模块；所述第一损失计算模块，基于训练特征图集、对应的图像级类别标签以及第一损失函数计算第一损失值；所述第一循环模块，用于更新第一类内判别器的参数并循环训练，直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签；
所述第二类内判别器包括第二损失计算模块、第二循环模块；所述第二损失计算模块，基于训练特征图集、对应的各类别的初步像素级前景和背景标签以及第二损失函数计算第二损失值；所述第二循环模块，用于更新第二类内判别器的参数并循环训练，直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签；
所述类别标签生成模块，配置为基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于类内判别器的弱监督图像语义分割系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类内判别器的弱监督图像语义分割方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类内判别器的弱监督图像语义分割方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于类内判别器的弱监督图像语义分割方法，其特征在于，该语义分割方法包括：
通过特征提取网络提取待处理图像的特征图，并通过图像语义分割模块获取所述待处理图像的图像语义分割结果；所述图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；
所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器和第二类内判别器获取；所述第一类内判别器和第二类内判别器分别基于深度网络构建，其训练方法为：
步骤S10，通过特征提取网络提取训练图像集中每一个图像的特征图，获得训练特征图集；分别构建第一类内判别器、第二类内判别器的第一损失函数、第二损失函数；
步骤S20，基于所述训练特征图集、对应的图像级类别标签以及第一损失函数进行所述第一类内判别器的训练，获得所述训练图像集中每一个图像各类别的初步像素级前景和背景标签；
步骤S30，基于所述训练特征图集、对应的初步像素级前景和背景标签以及第二损失函数进行所述第二类内判别器的训练，获得所述训练图像集中每一个图像各类别的精确像素级前景和背景标签；
步骤S40，基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
2.根据权利要求1所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，步骤S20包括：
步骤S21，对于所述训练特征图集中每一个特征图的每一个图像级类别标签c，设定方向向量wc，并以wc向量方向的像素作为类别c的前景像素，wc向量反方向的像素作为类别c的背景像素；
步骤S22，基于所述方向向量wc、训练特征图集，计算第一损失值，并基于所述第一损失值更新wc；
步骤S23，重复执行步骤S21-步骤S22直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签。
3.根据权利要求1所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，步骤S30包括：
步骤S31，基于所述训练图像集中每一个图像各类别的初步像素级前景和背景标签Bi，k，c、训练特征图集，计算第二损失值，并基于所述第二损失值更新所述特征提取网络的参数；
步骤S32，重复执行步骤S31直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签。
4.根据权利要求1所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，步骤S30之前还设置有初步像素级前景和背景标签精细调整的步骤，其方法为：
通过在超像素内求平均、条件随机场中的一种或多种方法进行初步像素级前景和背景标签的精细调整。
5.根据权利要求2所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，所述第一损失函数为：
Figure FDA0002526817170000021
其中，N代表训练图像集中图像的数量；H和W分别代表一个训练图像的特征图的高和宽；C代表训练图像集中的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签；
Figure FDA0002526817170000031
代表归一化前的图像级类别标签c的方向向量，
Figure FDA0002526817170000032
代表归一化后的图像级类别标签c的方向向量，
Figure FDA0002526817170000033
为wc的转置；xi，k代表训练图像集中第i张图像的特征图中的第k个像素位置对应的特征。
6.根据权利要求4所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，所述第二损失函数为：
Figure FDA0002526817170000034
其中，N代表训练图像集中图像的数量；HW代表一个训练图像的特征图中的像素数量；C代表训练图像集的图像级类别标签的数量；yi，c代表第i张图像第c个类别对应的图像级标签；Bi，k，c代表经过精细调整后的第一类内判别器的像素级前景、背景预测结果；Si，k，c代表第二类内判别器的预测结果；σ为Sigmoid函数。
7.根据权利要求1所述的基于类内判别器的弱监督图像语义分割方法，其特征在于，所述第一类内判别器和第二类内判别器还可以通过Softmax分类损失函数、MSE回归损失函数中的一种进行训练。
8.一种基于类内判别器的弱监督图像语义分割系统，其特征在于，基于权利要求1-7任一项所述的基于类内判别器的弱监督图像语义分割方法，该语义分割系统包括输入模块、特征提取模块、图像语义分割模块、输出模块；
所述输入模块，配置为获取待处理图像或获取训练图像集和对应的图像级类别标签；
所述特征提取模块，配置为提取所述待处理图像的特征图或提取所述训练图像集对应的特征图集；
所述图像语义分割模块，配置为基于所述待处理图像对应的特征图，获取待处理图像对应的图像语义分割结果；
所述输出模块，配置为输出待处理图像对应的图像语义分割结果；
其中，图像语义分割模块基于训练图像集和对应的精确像素级类别标签训练获取；所述精确像素级类别标签基于训练图像集和对应的图像级类别标签，通过第一类内判别器、第二类内判别器、类别标签生成模块获取；
所述第一类内判别器包括第一损失计算模块、第一循环模块；所述第一损失计算模块，基于训练特征图集、对应的图像级类别标签以及第一损失函数计算第一损失值；所述第一循环模块，用于更新第一类内判别器的参数并循环训练，直至达到设定第一训练次数，获得训练好的第一类内判别器以及训练图像集中每一个图像各类别的初步像素级前景和背景标签；
所述第二类内判别器包括第二损失计算模块、第二循环模块；所述第二损失计算模块，基于训练特征图集、对应的各类别的初步像素级前景和背景标签以及第二损失函数计算第二损失值；所述第二循环模块，用于更新第二类内判别器的参数并循环训练，直至达到设定第二训练次数，获得训练好的第二类内判别器以及训练图像集中每一个图像各类别的精确像素级前景和背景标签；
所述类别标签生成模块，配置为基于所述训练图像集中每一个图像各类别的精确像素级前景和背景标签以及对应的图像级类别标签，生成精确像素级类别标签。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于类内判别器的弱监督图像语义分割方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-7任一项所述的基于类内判别器的弱监督图像语义分割方法。
CN202010506805.9A 2020-06-05 2020-06-05 基于类内判别器的弱监督图像语义分割方法、系统、装置 Active CN111723813B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010506805.9A CN111723813B (zh) 2020-06-05 2020-06-05 基于类内判别器的弱监督图像语义分割方法、系统、装置
PCT/CN2020/099945 WO2021243787A1 (zh) 2020-06-05 2020-07-02 基于类内判别器的弱监督图像语义分割方法、系统、装置
US17/442,697 US11887354B2 (en) 2020-06-05 2020-07-02 Weakly supervised image semantic segmentation method, system and apparatus based on intra-class discriminator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010506805.9A CN111723813B (zh) 2020-06-05 2020-06-05 基于类内判别器的弱监督图像语义分割方法、系统、装置

Publications (2)

Publication Number Publication Date
CN111723813A true CN111723813A (zh) 2020-09-29
CN111723813B CN111723813B (zh) 2021-07-06

Family

ID=72566086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010506805.9A Active CN111723813B (zh) 2020-06-05 2020-06-05 基于类内判别器的弱监督图像语义分割方法、系统、装置

Country Status (3)

Country Link
US (1) US11887354B2 (zh)
CN (1) CN111723813B (zh)
WO (1) WO2021243787A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232355A (zh) * 2020-12-11 2021-01-15 腾讯科技（深圳）有限公司 图像分割网络处理、图像分割方法、装置和计算机设备
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112800265A (zh) * 2021-02-01 2021-05-14 中国科学院空天信息创新研究院 一种基于无监督或弱监督方式的图像分割数据标注方法及系统
CN113221902A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113807316A (zh) * 2021-10-08 2021-12-17 南京恩博科技有限公司 烟雾浓度估计模型的训练方法、装置、电子设备及介质
CN114677515A (zh) * 2022-04-25 2022-06-28 电子科技大学 基于类间相似性的弱监督语义分割方法
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
CN116912488A (zh) * 2023-06-14 2023-10-20 中国科学院自动化研究所 基于多目相机的三维全景分割方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647245B (zh) * 2018-04-13 2023-04-18 腾讯科技（深圳）有限公司 多媒体资源的匹配方法、装置、存储介质及电子装置
JP6800453B1 (ja) * 2020-05-07 2020-12-16 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN114266952A (zh) * 2021-12-24 2022-04-01 福州大学 基于深监督的实时语义分割方法
CN115512169B (zh) * 2022-11-09 2023-07-25 之江实验室 基于梯度和区域亲和力优化的弱监督语义分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332425A1 (en) * 2009-06-30 2010-12-30 Cuneyt Oncel Tuzel Method for Clustering Samples with Weakly Supervised Kernel Mean Shift Matrices
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108596240A (zh) * 2018-04-20 2018-09-28 华中科技大学 一种基于判别特征网络的图像语义分割方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN110378911A (zh) * 2019-07-11 2019-10-25 太原科技大学 基于候选区域和邻域分类器的弱监督图像语义分割方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565278B1 (ko) * 2018-03-26 2023-08-09 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
CN110880001A (zh) 2018-09-06 2020-03-13 银河水滴科技（北京）有限公司 一种语义分割神经网络的训练方法、设备和存储介质
US11481617B2 (en) * 2019-01-22 2022-10-25 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN109784424B (zh) 2019-03-26 2021-02-09 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN109993173B (zh) 2019-03-28 2023-07-21 华南理工大学 一种基于种子生长及边界约束的弱监督图像语义分割方法
CN110443818B (zh) 2019-07-02 2021-09-07 中国科学院计算技术研究所 一种基于涂鸦的弱监督语义分割方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332425A1 (en) * 2009-06-30 2010-12-30 Cuneyt Oncel Tuzel Method for Clustering Samples with Weakly Supervised Kernel Mean Shift Matrices
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108596240A (zh) * 2018-04-20 2018-09-28 华中科技大学 一种基于判别特征网络的图像语义分割方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN110378911A (zh) * 2019-07-11 2019-10-25 太原科技大学 基于候选区域和邻域分类器的弱监督图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOJTABA SEYEDHOSSEINI，AND ETC: "Semantic Image Segmentation with Contextual Hierarchical Models", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
徐树奎等: "对象边框标注数据的弱监督图像语义分割", 《国防科技大学学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备
CN112329659B (zh) * 2020-11-10 2023-08-29 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备
CN112381831B (zh) * 2020-11-26 2022-08-16 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112232355A (zh) * 2020-12-11 2021-01-15 腾讯科技（深圳）有限公司 图像分割网络处理、图像分割方法、装置和计算机设备
CN112800265A (zh) * 2021-02-01 2021-05-14 中国科学院空天信息创新研究院 一种基于无监督或弱监督方式的图像分割数据标注方法及系统
CN113221902A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113221902B (zh) * 2021-05-11 2021-10-15 中国科学院自动化研究所 基于数据分布扩充的跨域自适应语义分割方法及系统
CN113807316A (zh) * 2021-10-08 2021-12-17 南京恩博科技有限公司 烟雾浓度估计模型的训练方法、装置、电子设备及介质
CN113807316B (zh) * 2021-10-08 2023-12-12 南京恩博科技有限公司 烟雾浓度估计模型的训练方法、装置、电子设备及介质
CN114677515A (zh) * 2022-04-25 2022-06-28 电子科技大学 基于类间相似性的弱监督语义分割方法
CN116168242A (zh) * 2023-02-08 2023-05-26 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
CN116168242B (zh) * 2023-02-08 2023-12-01 阿里巴巴（中国）有限公司 像素级标签的生成方法、模型训练方法及设备
CN116912488A (zh) * 2023-06-14 2023-10-20 中国科学院自动化研究所 基于多目相机的三维全景分割方法及装置
CN116912488B (zh) * 2023-06-14 2024-02-13 中国科学院自动化研究所 基于多目相机的三维全景分割方法及装置

Also Published As

Publication number Publication date
WO2021243787A1 (zh) 2021-12-09
US20220180622A1 (en) 2022-06-09
CN111723813B (zh) 2021-07-06
US11887354B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111723813B (zh) 基于类内判别器的弱监督图像语义分割方法、系统、装置
US9892339B2 (en) Using a probabilistic model for detecting an object in visual data
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109271958B (zh) 人脸年龄识别方法及装置
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN106815323B (zh) 一种基于显著性检测的跨域视觉检索方法
US8983199B2 (en) Apparatus and method for generating image feature data
US11138464B2 (en) Image processing device, image processing method, and image processing program
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
JP6426441B2 (ja) 密度計測装置、密度計測方法、およびプログラム
US20190043168A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Katircioglu et al. Self-supervised segmentation via background inpainting
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
Wang et al. Predicting diverse future frames with local transformation-guided masking
CN108256578B (zh) 一种灰度图像的识别方法、装置、设备及可读存储介质
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113221757B (zh) 一种改善行人属性识别准确率的方法、终端及介质
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant