CN115019036B - 一种学习非目标知识的小样本语义分割方法 - Google Patents

一种学习非目标知识的小样本语义分割方法 Download PDF

Info

Publication number
CN115019036B
CN115019036B CN202210505033.6A CN202210505033A CN115019036B CN 115019036 B CN115019036 B CN 115019036B CN 202210505033 A CN202210505033 A CN 202210505033A CN 115019036 B CN115019036 B CN 115019036B
Authority
CN
China
Prior art keywords
background
query
prototype
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210505033.6A
Other languages
English (en)
Other versions
CN115019036A (zh
Inventor
韩军伟
刘源炜
姚西文
程塨
郭雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210505033.6A priority Critical patent/CN115019036B/zh
Publication of CN115019036A publication Critical patent/CN115019036A/zh
Application granted granted Critical
Publication of CN115019036B publication Critical patent/CN115019036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种学习非目标知识的小样本语义分割方法，首先采用骨干网络对图像进行特征提取，分别得到关于查询和支持图像的特征图，然后利用特殊设计的背景损失函数优化背景原型对背景知识的学习，然后利用背景原型对查询特征图中的背景区域进行挖掘和排除，以该区域的查询特征图形成干扰物体原型，然后利用干扰物体原型在背景排除后的查询特征图中排除干扰物体区域，最后获得关于目标的分割最终结果。本发明利用了背景区域的一般性和背景区域与干扰区域的互补性，可以简单高效的挖掘并排除查询图像中的背景和干扰物体，大大提高了小样本目标的语义分割精度，实用性很强。

Description

一种学习非目标知识的小样本语义分割方法
技术领域
本发明属于计算机视觉算法研究领域，涉及一种学习非目标知识的小样本语义分割方法，具体涉及一种学习非目标知识的小样本语义分割方法。具体涉及一种在小样本的条件下，对非目标区域(背景和干扰物体)进行逐步排除，层进式的完成小样本语义分割任务的方法。
背景技术
由于全卷积网络架构的提出，深度学习在语义分割领域取得了里程碑式进展。然而大多数方法采用的是全监督的学习方案并需要大量标注的数据用于网络的训练。虽然全监督的方式在语义分割上可以实现良好的性能，但是对于大量数据的需求，使得人们要进行大量的费时费力的图像标注。因此，为了缓解这个问题，小样本语义分割提出在仅有几张标注的图像作为支持集在查询图像中分割出训练阶段未见过的类别目标物体。
目前，大量的传统基于深度学习的小样本语义分割研究通常首先对来自查询和支持图像提取特征，然后利用支持图像对应的二值掩码来获得类别原型，最后，使用该类表示原型通过匹配网络在查询图像中的分割出目标对象。虽然取得了一些成绩，但这些方法都侧重于从支持集中更有效地挖掘出目标类别信息，这常常在难区分地模糊区域预测出错误地分割结果。因此，急需提出一种简单高效地利用非目标区域对模糊区域进行有效排除的小样本语义分割方法。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种学习非目标知识的小样本语义分割方法，通过学习图像中非目标知识，对非目标区域(背景和干扰物体)进行逐步排除，层进式的完成小样本语义分割任务的方法。
技术方案
一种学习非目标知识的小样本语义分割方法，其特征在于步骤如下：
步骤1：随机初始化1个高斯分布且维度为C的背景原型向量PBG，将该原型扩展成和查询特征图同样的尺度大小后，与查询特征图串联在一起，通过1个由2个3x3卷积层组成的简单的分割网络，得到关于背景的预测分割结果；
对分割结果背景损失函数进行优化：
其中，i和j表示空间位置的坐标，表示查询或者支持图像的背景预测结果，Mq/s表示查询或者支持图像的真实标注的分割图，log(·)表示以e为底的对数运算，∑表示求和运算，N表示物体的像素点的总数量，Z表示图像的尺度大小，q和s分别表示查询和支持图像，α是1个超参数用于平衡第二项；
步骤2：将背景原型向量PBG扩展成和查询特征图同样的尺度大小后，再次与查询特征图串联在一起维度为2C，经过1个1x1的卷积层降维为C，然后再与扩展的支持原型串联成维度为2C的特征，经过1个1x1的卷积层得到排除背景且目标物体激活的查询特征图再通过1个由2层3x3卷积组成的简单的分割网络，得到关于目标物体的初步分割结果；
步骤3：以0.5作为预测分数的阈值，将步骤1中的背景的预测分割结果和步骤2中目标物体的初步分割结果形成对应的二值背景掩码图像与二值目标掩码图像；接着，将背景掩码图像与目标掩码图像的共同的补集区域作为干扰物体潜在区域YDO，然后将YDO与查询特征逐元素相乘并求均值后得到查询图像中干扰物体的原型PDO；
步骤4：利用步骤3中获得的干扰物体的原型PDO，将其扩展成和查询特征图同样的尺度大小后，再与步骤2中的查询特征图串联在一起，经过1个1x1的卷积层得到排除干扰物体的查询特征图，再通过1个由2个3x3卷积层组成的简单的分割网络，得到关于目标物体的最终分割结果。
有益效果
本发明提出的一种学习非目标知识的小样本语义分割方法，首先采用骨干网络对图像进行特征提取，分别得到关于查询和支持图像的特征图，然后利用特殊设计的背景损失函数优化背景原型对背景知识的学习，然后利用背景原型对查询特征图中的背景区域进行挖掘和排除，更进一步，在背景排除后的查询特征图中利用支持图像的原型获得关于目标的初步分割结果，将初步分割结果和背景区域的共同的补集区域作为干扰物体的潜在区域，以该区域的查询特征图形成干扰物体原型，然后利用干扰物体原型在背景排除后的查询特征图中排除干扰物体区域，最后获得关于目标的分割最终结果。本发明利用了背景区域的一般性和背景区域与干扰区域的互补性，可以简单高效的挖掘并排除查询图像中的背景和干扰物体，大大提高了小样本目标的语义分割精度，实用性很强。
本发明与现有技术相比，没有执着于如何从支持图像中构建关于目标类别信息的有效表达，而是挖掘存在于图像中的非目标知识，通过设计学习背景原型对背景区域进行排除，并在排除后的查询特征中进一步利用干扰物体原型对干扰物体予以排除，从而获得排除非目标区域的关于目标物体的分割结果。
附图说明
图1是本发明的实现流程图；
图2是查询图像；
图3是支持图像；
图4是查询图像的背景分割结果；
图5是查询图像的目标真实标注；
图6是支持图像的目标真实标注；
图7是查询图像的目标物体初步分割结果；
图8是查询图像中干扰物体的潜在区域。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
用于实施的硬件环境是：因特睿Xeon Gold 6240R 2.4GHZ服务器、英伟达GeForce RTX 3090显卡、编程语言是python，深度学习框架是pytorch。我们用pytorch框架实现发明中提出的方法。实验中所使用的训练和测试的图像来源于PASCAL VOC 2012：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/。训练集共包含20个类别，其中15类用于训练，另外5类用于测试。
参照图1的方法流程图，本发明具体实施如下：
步骤1：首先利用固定的骨干网络对图2查询图像和图3支持图像进行特征提取，然后利用随机初始化1个高斯分布且维度为C的背景原型向量PBG，将该原型扩展成和查询特征图同样的尺度大小后，与查询特征图串联在一起，通过1个由2个3x3卷积层组成的简单的分割网络，得到图4中关于背景的分割结果。该背景分割结果利用如下背景损失函数进行优化，从而优化背景原型的学习。
背景损失函数的计算公式为：
其中，i和j表示空间位置的坐标，表示查询或者支持图像的背景预测结果，Mq/s表示查询或者支持图像的真实标注的分割图，log(·)表示以e为底的对数运算，∑表示求和运算，N表示物体的像素点的总数量，Z表示图像的尺度大小，q和s分别表示查询和支持图像，α是1个超参数用于平衡第二项。
步骤2：利用步骤1中已学习的背景原型向量PBG，将其扩展成和查询特征图同样的尺度大小后，再次与查询特征图串联在一起维度为2C，经过1个1x1的卷积层降维为C，然后再与扩展的支持原型串联成维度为2C的特征，经过1个1x1的卷积层得到排除背景且目标物体激活的查询特征图再通过1个由2层3x3卷积组成的简单的分割网络，得到关于目标物体的初步分割结果。
步骤3：利用步骤1中的背景的预测分割结果和步骤2中目标物体的初步分割结果，形成对应的二值背景掩码图像与二值目标掩码图像。接着，将背景掩码图像与目标掩码图像的共同的补集区域作为干扰物体潜在区域YDO，然后将YDO与查询特征逐元素相乘并求均值后得到查询图像中干扰物体的原型PDO。
步骤4：利用步骤3中中获得的干扰物体的原型PDO，将其扩展成和查询特征图同样的尺度大小后，再与步骤2中的查询特征图串联在一起，经过1个1x1的卷积层得到排除干扰物体的查询特征图，再通过1个由2个3x3卷积层组成的简单的分割网络，得到关于目标物体的最终分割结果。
本发明最终在1个支持样本的设定下以ResNet-50为骨干网络在PASCAL VOC2012数据集上达到了64.2％的mIOU(真实值和预测值两个集合的交集和并集之比)，验证了该方法可行性和有效性。

Claims (1)

1.一种学习非目标知识的小样本语义分割方法，其特征在于步骤如下：
步骤1：随机初始化1个高斯分布且维度为C的背景原型向量PBG，将该原型扩展成和查询特征图同样的尺度大小后，与查询特征图串联在一起，通过1个由2个3x3卷积层组成的简单的分割网络，得到关于背景的预测分割结果；
对分割结果背景损失函数进行优化：
其中，i和j表示空间位置的坐标，表示查询或者支持图像的背景预测结果，Mq/s表示查询或者支持图像的真实标注的分割图，log(·)表示以e为底的对数运算，∑表示求和运算，N表示物体的像素点的总数量，Z表示图像的尺度大小，q和s分别表示查询和支持图像，α是1个超参数用于平衡第二项；
步骤2：将背景原型向量PBG扩展成和查询特征图同样的尺度大小后，再次与查询特征图串联在一起维度为2C，经过1个1x1的卷积层降维为C，然后再与扩展的支持原型串联成维度为2C的特征，经过1个1x1的卷积层得到排除背景且目标物体激活的查询特征图再通过1个由2层3x3卷积组成的简单的分割网络，得到关于目标物体的初步分割结果；
步骤3：以0.5作为预测分数的阈值，将步骤1中的背景的预测分割结果和步骤2中目标物体的初步分割结果形成对应的二值背景掩码图像与二值目标掩码图像；接着，将背景掩码图像与目标掩码图像的共同的补集区域作为干扰物体潜在区域YDO，然后将YDO与查询特征逐元素相乘并求均值后得到查询图像中干扰物体的原型PDO；
步骤4：利用步骤3中获得的干扰物体的原型PDO，将其扩展成和查询特征图同样的尺度大小后，再与步骤2中的查询特征图串联在一起，经过1个1x1的卷积层得到排除干扰物体的查询特征图，再通过1个由2个3x3卷积层组成的简单的分割网络，得到关于目标物体的最终分割结果。
CN202210505033.6A 2022-05-10 2022-05-10 一种学习非目标知识的小样本语义分割方法 Active CN115019036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210505033.6A CN115019036B (zh) 2022-05-10 2022-05-10 一种学习非目标知识的小样本语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210505033.6A CN115019036B (zh) 2022-05-10 2022-05-10 一种学习非目标知识的小样本语义分割方法

Publications (2)

Publication Number Publication Date
CN115019036A CN115019036A (zh) 2022-09-06
CN115019036B true CN115019036B (zh) 2024-02-27

Family

ID=83069669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210505033.6A Active CN115019036B (zh) 2022-05-10 2022-05-10 一种学习非目标知识的小样本语义分割方法

Country Status (1)

Country Link
CN (1) CN115019036B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861858B (zh) * 2023-02-16 2023-07-14 之江实验室 基于背景过滤的小样本学习农作物冠层覆盖度计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
CN112419352A (zh) * 2020-11-24 2021-02-26 复旦大学 一种基于轮廓的小样本语义分割方法
CN113569865A (zh) * 2021-09-27 2021-10-29 南京码极客科技有限公司 一种基于类别原型学习的单样本图像分割方法
CN113610097A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于多尺度相似指导网络的sar舰船目标分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
CN112419352A (zh) * 2020-11-24 2021-02-26 复旦大学 一种基于轮廓的小样本语义分割方法
CN113610097A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于多尺度相似指导网络的sar舰船目标分割方法
CN113569865A (zh) * 2021-09-27 2021-10-29 南京码极客科技有限公司 一种基于类别原型学习的单样本图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报;20200616(06);全文 *

Also Published As

Publication number Publication date
CN115019036A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
Xie et al. Unseen object instance segmentation for robotic environments
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
Li et al. Contrast-oriented deep neural networks for salient object detection
Kim et al. XProtoNet: diagnosis in chest radiography with global and local explanations
WO2021017261A1 (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
Yan et al. Blind image blur estimation via deep learning
CN110852349B (zh) 一种图像处理方法、检测方法、相关设备及存储介质
WO2020047420A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
Wang et al. Blind single image super-resolution with a mixture of deep networks
CN111553462A (zh) 一种类激活映射方法
CN115019036B (zh) 一种学习非目标知识的小样本语义分割方法
Lee et al. Semi-supervised learning for simultaneous location detection and classification of mixed-type defect patterns in wafer bin maps
US20210374460A1 (en) Method, non-transitory computer-readable storage medium, and apparatus for searching an image database
CN110852351A (zh) 基于图像的垃圾分类方法、装置、终端设备和存储介质
WO2020047466A1 (en) Human-assisted machine learning through geometric manipulation and refinement
Cheng et al. Sonar image garbage detection via global despeckling and dynamic attention graph optimization
CN113780240A (zh) 基于神经网络及旋转特征增强的物体位姿估计方法
Wang et al. Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network
WO2021259604A1 (en) Domain aware medical image classifier interpretation by counterfactual impact analysis
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
Huang et al. Unsupervised clustering guided semantic segmentation
Amritraj et al. An Automated and Fine-Tuned Image Detection and Classification System for Plant Leaf Diseases
CN113128614B (zh) 基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant