CN113837154A - 一种基于多任务辅助的开放集过滤系统及方法 - Google Patents

一种基于多任务辅助的开放集过滤系统及方法 Download PDF

Info

Publication number
CN113837154A
CN113837154A CN202111411082.5A CN202111411082A CN113837154A CN 113837154 A CN113837154 A CN 113837154A CN 202111411082 A CN202111411082 A CN 202111411082A CN 113837154 A CN113837154 A CN 113837154A
Authority
CN
China
Prior art keywords
image
network
segmentation
foreground
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111411082.5A
Other languages
English (en)
Other versions
CN113837154B (zh
Inventor
苏慧
程乐超
宋明黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111411082.5A priority Critical patent/CN113837154B/zh
Publication of CN113837154A publication Critical patent/CN113837154A/zh
Application granted granted Critical
Publication of CN113837154B publication Critical patent/CN113837154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多任务辅助的开放集过滤系统及方法，用于解决监控场景下属性分类过程中的开放集干扰问题。该系统包括图像划分层、池化层和全连接层，图像划分层与池化层之间的每个网络阶段，包括固定窗口多头自注意力机制块和移动窗口多头自注意力机制块，将每个网络阶段的固定窗口多头自注意力机制块串联；该方法利用transformer能够实现全网络感受野不变的特点，在构建的属性分类网络上，加入分割分支实现图像块分割，利用图像块分割过滤属性分类中的开放集，针对图像块分割过程中背景、前景数量不均衡问题，实施一种新的基于特征增广的惩罚公式，提升图像块分割分支前景、背景的识别效果。

Description

一种基于多任务辅助的开放集过滤系统及方法
技术领域
本发明涉及图像分类领域，尤其是涉及存在开放集（openset）条件下图像分类的系统及方法。
背景技术
计算机视觉领域已经广泛应用到各行各业。目前应用中，绝大多数的视觉算法都采用了封闭集的评估方式，即神经网络训练时已知所有的测试类别。然而在实际视觉应用中，待评估数据类别往往会出现未知的情形，极大影响视觉算法的应用效果。例如监控安防场景中的属性报警应用：建筑工地工人安全帽佩戴、着装规范报警应用中，报警执行流程为先检测并跟踪场景中的目标，对目标进行属性分类，当属性类别不符合设定要求时进行报警操作。检测不可避免存在误检情况，将背景误判为目标，输入分类网络中。分类网络仅对前景目标图片进行属性分类的训练，从未见过、从未训练背景图片，对背景图片的网络分类能力差，甚至无法判断背景图片的属性类别是否存在，这必将导致报警系统中频繁误报或频繁漏报的情形发生。
对神经网络而言未知类别对应的数据，称之为开放集数据。如何实现对开放集数据的判断和过滤，从而提升神经网络的应用效果，在近几年得到了大量关注。目前最常见的开放集判断算法，是计算测试数据经过分类器后的特征与各个类别聚类中心特征的距离，利用特征距离的远近判断是否是开放集，如：OpenMax算法、G-OpenMax算法和CROSR算法，都是基于该方法做出的改进。然而开放集数据的缺失，使得判断距离远近的决策边界的制定难以精准，从而导致这类方法离真实落地还有一定距离。同时，在监控场景的属性分类问题中，如何有效利用已有数据挖掘更多的开放集信息，从而有效识别开放集，研究得相对较少。
发明内容
为解决现有技术的不足，实现过滤开放集的目的，本发明采用如下的技术方案：
一种基于多任务辅助的开放集过滤方法，包括如下步骤：
S1，构建属性多标签分类网络，基于transformer分类网络，利用transformer网络输入为图像块，且能够保持多个层感受野不变的特点，构建图像块分割网络分支，用于同时支持图像多标签属性分类和图像块分割；
S2，图像块分割网络中，将待预测属性分类的目标作为前景，其余作为背景；
S3，预测过程中，通过待预测属性分类的图像中，所有图像块前景像素数，判断图像是否有前景目标，当有前景目标时，输出属性结果，否则，不输出结果。
进一步地，S1中训练数据集
Figure 437832DEST_PATH_IMAGE001
的每个样本图像，对应
Figure 886131DEST_PATH_IMAGE002
个属性分类标 签、前景背景分割标签，
Figure 210409DEST_PATH_IMAGE003
表示第
Figure 402355DEST_PATH_IMAGE004
个样本图像，
Figure 747886DEST_PATH_IMAGE005
表示第
Figure 117819DEST_PATH_IMAGE004
个样本图像的属性分类标签，
Figure 916010DEST_PATH_IMAGE006
表示属性集，
Figure 911648DEST_PATH_IMAGE007
表示第
Figure 127997DEST_PATH_IMAGE004
个样本图像的分割标签，S表示行人（前景）、非行人（背 景）的分割，
Figure 652519DEST_PATH_IMAGE008
表示样本图像的数量，多任务的网络结构同时得出属性分类
Figure 203586DEST_PATH_IMAGE009
和分割结果
Figure 471757DEST_PATH_IMAGE010
，
Figure 542612DEST_PATH_IMAGE009
包含第
Figure 769194DEST_PATH_IMAGE004
个样本图像所有属性的测试结果，
Figure 572938DEST_PATH_IMAGE010
包含第
Figure 644799DEST_PATH_IMAGE004
个样本图像所有像素的分割结果，根 据以下损失函数对
Figure 819429DEST_PATH_IMAGE003
对应的多个属性结果和分割结果进行训练：
Figure 702065DEST_PATH_IMAGE011
Figure 962145DEST_PATH_IMAGE012
其中，
Figure 837697DEST_PATH_IMAGE013
表示第
Figure 883145DEST_PATH_IMAGE014
个属性，
Figure 451529DEST_PATH_IMAGE015
表示第
Figure 198906DEST_PATH_IMAGE004
个样本图像的第
Figure 628881DEST_PATH_IMAGE014
个属性的真值，
Figure 512523DEST_PATH_IMAGE016
表示第
Figure 251809DEST_PATH_IMAGE004
个 样本图像第
Figure 234284DEST_PATH_IMAGE014
个属性的测试结果，
Figure 451639DEST_PATH_IMAGE017
表示超参数，用于平衡分类损失和分割损失，
Figure 455367DEST_PATH_IMAGE018
和
Figure 116287DEST_PATH_IMAGE019
分别 表示样本图像的宽和高，
Figure 838255DEST_PATH_IMAGE020
表示第
Figure 593721DEST_PATH_IMAGE004
个样本图像的第
Figure 202688DEST_PATH_IMAGE021
行、第
Figure 283777DEST_PATH_IMAGE022
列的分割真值，
Figure 493041DEST_PATH_IMAGE023
表示 第
Figure 68510DEST_PATH_IMAGE004
个样本图像第
Figure 46831DEST_PATH_IMAGE021
行、第
Figure 786903DEST_PATH_IMAGE022
列像素的分割结果，
Figure 483464DEST_PATH_IMAGE024
为
Figure 580733DEST_PATH_IMAGE015
的独热编码形式，
Figure 429871DEST_PATH_IMAGE025
为
Figure 587183DEST_PATH_IMAGE020
的独 热编码形式，
Figure 771040DEST_PATH_IMAGE026
表示网络测试结果，
Figure 422732DEST_PATH_IMAGE027
表示网络映射函数，
Figure 110065DEST_PATH_IMAGE028
表示网络参数。
进一步地，S2中由于分类图像中背景图像块数量少而种类多，前景目标部件图像 块数量多而种类少，针对前景、背景的特定特性和差异，提出一种新的基于特征增广的惩罚 公式，进行图像块分割，提高图像块分割能力，特征增广的惩罚公式
Figure 703858DEST_PATH_IMAGE029
如下：
Figure 860164DEST_PATH_IMAGE030
Figure 564815DEST_PATH_IMAGE031
Figure 372234DEST_PATH_IMAGE032
Figure 884730DEST_PATH_IMAGE033
其中，
Figure 512020DEST_PATH_IMAGE034
为所有真值为背景（0值）的位置的分割特征平均值，
Figure 20362DEST_PATH_IMAGE035
表示真值为背景 的特征数，
Figure 433020DEST_PATH_IMAGE036
和
Figure 368615DEST_PATH_IMAGE037
分别表示图像块分割特征的宽和高，
Figure 748781DEST_PATH_IMAGE038
表示第
Figure 280387DEST_PATH_IMAGE021
行、第
Figure 62399DEST_PATH_IMAGE022
列位置的分割 特征，
Figure 168895DEST_PATH_IMAGE020
表示第
Figure 787089DEST_PATH_IMAGE021
行、第
Figure 371654DEST_PATH_IMAGE022
列位置的分割真值，
Figure 8172DEST_PATH_IMAGE039
表示所有真值为前景（1值）的位置的分 割特征平均值，
Figure 27513DEST_PATH_IMAGE040
表示真值为前景的特征数，
Figure 116692DEST_PATH_IMAGE041
表示特征增广后得到的第
Figure 504948DEST_PATH_IMAGE021
行、第
Figure 746704DEST_PATH_IMAGE022
列 分割测试结果，
Figure 195003DEST_PATH_IMAGE042
表示网络分割分支最后一层的映射，
Figure 787790DEST_PATH_IMAGE043
表示网络分割分支最后一层参 数，
Figure 714157DEST_PATH_IMAGE044
表示控制特征增广的超参数。
进一步地，训练过程中，
Figure 59688DEST_PATH_IMAGE045
为0到0.2之间随机取值。
进一步地，S3中通过待属性分类的图像中，所有图像块前景像素数的占比情况，判断图像是否有前景目标，公式如下：
Figure 695200DEST_PATH_IMAGE046
Figure 758971DEST_PATH_IMAGE047
其中，
Figure 754609DEST_PATH_IMAGE048
、
Figure 702449DEST_PATH_IMAGE049
分别表示网络判断为前景、背景的像素数目，
Figure 492550DEST_PATH_IMAGE050
表示图像中所有图像 块前景像素数的占比，
Figure 43617DEST_PATH_IMAGE051
表示网络分割分支的误差冗余。为防止分割误差影响分类精度，通 过设置分割分支的误差冗余，当未超过误差冗余时，直接设置前景像素数占比为0。
进一步地，transformer网络是swin transformer结构。
进一步地，输入属性多标签分类网络前，重塑训练集数据的尺寸，包括样本图像的宽、高。
进一步地，图像块分割网络，将图像划分为
Figure 328099DEST_PATH_IMAGE052
*
Figure 382643DEST_PATH_IMAGE052
个高、宽均为
Figure 609225DEST_PATH_IMAGE053
的图像块，对每个图 像块进行全局特征分析，完成图像块分割。
一种基于多任务辅助的开放集过滤系统，包括transformer分类网络，基于transformer分类网络构建图像块分割网络，用于同时支持图像多标签属性分类和图像块分割，预测过程中，图像块分割网络将待预测属性分类的目标作为前景，其余作为背景，通过待预测属性分类的图像中，所有图像块前景像素数，判断图像是否有前景目标，当有前景目标时，输出属性结果，否则，不输出结果。
进一步地，transformer分类网络采用swin transformer结构，包括图像划分层、池化层和全连接层，所述图像划分层与池化层之间的每个网络阶段（stage），包括固定窗口多头自注意力机制块（W-MSA）和移动窗口多头自注意力机制块（SW-MSA），将每个网络阶段的固定窗口多头自注意力机制块串联，作为图像块分割网络，固定窗口多头自注意力机制块用于操作每个图像块内部特征，移动窗口多头子注意力机制块用于图像块之间特征的关联分析。
本发明的优势和有益效果在于：
本发明主要解决当前基于深度神经网络的图像分类任务中，对存在开放集的图像数据进行属性分类的问题。现有的卷积神经网络主要解决已知类别的闭合集数据，难以处理类别未知的开放集数据，目前常用的开放集判断方法大都未考虑挖掘已有数据中的开放集信息，且效果受限于决策边界制定的准确性。本发明利用transformer能够实现全网络感受野不变的特点，在构建的属性分类网络上，加入分割分支实现图像块分割，利用图像块分割识别背景像素，挖掘数据中的开发集信息，在属性分类过程中过滤开放集，从而解决了监控场景下属性分类过程中的开放集干扰问题。针对数据图片中前景、背景种类和数量不均衡对图像块分割的干扰，本发明实施了一种新的基于特征增广的惩罚公式，提高图像块分割能力。
附图说明
图1是本发明方法的流程图。
图2是本发明中行人闭合集数据。
图3是本发明中非行人开放集数据。
图4是本发明中监控场景下的属性分类的数据集示意图。
图5是本发明系统的结构示意图。
图6是本发明中行人分割比较图。
图7是本发明中非行人分割比较图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
基于多任务辅助的开放集过滤方法，本方法使用Pytorch框架进行实验，在Swin-Transformer基础上扩增图像块分割分支，构建网络模型，使用初始学习率为0.001的AdamW优化器与余弦退火调度器。训练80000次迭代，批处理大小为16，图像尺寸为448*448，前1000次迭代使用warmup（预热）操作。实验均为从零开始训练。如图1所示，包括如下步骤：
步骤S1：使用swin transformer结构构建属性多标签分类网络，在分类网络基础上，利用transformer网络输入为图像块，且能够保持多个层感受野不变的特点，构建新的分割分支，实现同时支持图像多标签属性分类和图像块分割的多任务功能。
给定
Figure 132741DEST_PATH_IMAGE054
个样本图像的训练集数据，训练集数据主要使用market1501公开数 据集，共12936张；测试挑选market1501测试集中人体相对完整的图片1k张作为闭合集，如 图2所示。market1501测试集中非常不完整的图像以及ImageNet测试集中随机挑出非人体 数据1k张作为开放集，如图3所示。Market1501数据集使用5个高清摄像头和1个低清摄像头 拍摄19732张数据，共拍摄1501个行人。训练数据中每个样本图像对应
Figure 470181DEST_PATH_IMAGE002
个属性（K=7包括性 别、年龄、发型、帽子、上衣颜色、下衣颜色、背包，如图4所示）分类标签、前景背景分割标签：
Figure 910390DEST_PATH_IMAGE001
，
Figure 527447DEST_PATH_IMAGE003
为样本图像，
Figure 53107DEST_PATH_IMAGE055
为属性分类标签，C表示属性集，
Figure 928659DEST_PATH_IMAGE007
为分割 标签，S表示行人（前景）、非行人（背景）的分割。
Figure 711457DEST_PATH_IMAGE018
和
Figure 14262DEST_PATH_IMAGE019
分别用于表示样本图像的宽和高（网 络输入前，将训练集数据的宽、高都resize到448。因此
Figure 27217DEST_PATH_IMAGE056
，
Figure 191614DEST_PATH_IMAGE057
），网络测试结果为
Figure 340835DEST_PATH_IMAGE026
，其中
Figure 80121DEST_PATH_IMAGE028
为网络参数，
Figure 65526DEST_PATH_IMAGE027
为网络映射函数，多任务的网络结构同时跑出属性分类
Figure 282881DEST_PATH_IMAGE009
和分割结果
Figure 302920DEST_PATH_IMAGE010
，
Figure 681949DEST_PATH_IMAGE009
包含第
Figure 403917DEST_PATH_IMAGE004
个样本所有属性的测试结果，
Figure 172766DEST_PATH_IMAGE010
包含第
Figure 31000DEST_PATH_IMAGE004
个样本所有像素的分割 结果。则根据以下损失函数判断
Figure 112089DEST_PATH_IMAGE003
对应的多个属性结果和分割结果。
Figure 72086DEST_PATH_IMAGE011
Figure 365664DEST_PATH_IMAGE012
其中
Figure 343984DEST_PATH_IMAGE003
为第
Figure 330395DEST_PATH_IMAGE004
个样本图像，
Figure 777688DEST_PATH_IMAGE058
表示第
Figure 140536DEST_PATH_IMAGE014
个属性，
Figure 724095DEST_PATH_IMAGE015
表示第
Figure 881407DEST_PATH_IMAGE004
个样本的第
Figure 65264DEST_PATH_IMAGE014
个属性的真值，
Figure 700644DEST_PATH_IMAGE020
为第
Figure 418938DEST_PATH_IMAGE004
个样本的第
Figure 747151DEST_PATH_IMAGE021
行、第
Figure 152724DEST_PATH_IMAGE022
列的分割真值。
Figure 608108DEST_PATH_IMAGE016
表示第
Figure 415527DEST_PATH_IMAGE004
个样本第
Figure 914641DEST_PATH_IMAGE014
个属性的测试结果，
Figure 558243DEST_PATH_IMAGE059
表示第
Figure 801006DEST_PATH_IMAGE004
个样本第
Figure 462931DEST_PATH_IMAGE021
行、第
Figure 149258DEST_PATH_IMAGE022
列像素的分割结果，
Figure 263845DEST_PATH_IMAGE024
为
Figure 310298DEST_PATH_IMAGE015
的独热编码形式，
Figure 840112DEST_PATH_IMAGE025
为
Figure 681029DEST_PATH_IMAGE020
的独热编码形式。
构建的网络模型如图5所示，实现图像分类功能的transformer的网络输入本身是 图像块，且swin transformer的每个网络阶段（stage）由固定窗口多头自注意力机制块（W- MSA）和移动窗口多头自注意力机制块（SW-MSA）组成。其中固定窗口多头自注意力机制，仅 操作每个图像小块内部特征，图像块之间特征的关联分析操作在每个阶段的第二个块，即 移动窗口多头子注意力机制块实现。将swin transformer的每个网络阶段的固定窗口多头 自注意力机制块串联一起，构建图像块分割分支，将图像划分看作
Figure 548491DEST_PATH_IMAGE052
*
Figure 883789DEST_PATH_IMAGE052
个宽为
Figure 254727DEST_PATH_IMAGE053
，本发明将图 像四等分，k=2，图像块高、宽都是224，高为
Figure 532125DEST_PATH_IMAGE053
的图像小块，对每个图像块进行全局特征分析 从而实现图像块分割功能。
步骤S2：图像块分割网络分支中，将待测试属性目标作为前景，其余作为背景。分类图像中背景图像块数量少而背景种类多，前景目标部件图像块数量多而种类少。针对前景、背景的特定特性和差异，提出一种新的基于特征增广的惩罚公式提高图像块分割能力：
Figure 372036DEST_PATH_IMAGE030
Figure 760292DEST_PATH_IMAGE031
Figure 251316DEST_PATH_IMAGE032
Figure 450348DEST_PATH_IMAGE033
其中
Figure 26822DEST_PATH_IMAGE038
为第
Figure 218769DEST_PATH_IMAGE021
行、第
Figure 317962DEST_PATH_IMAGE022
列位置的分割特征，
Figure 202742DEST_PATH_IMAGE034
为所有真值为背景（0值）的位置的 分割特征平均值，
Figure 933DEST_PATH_IMAGE039
为所有真值为前景（1值）的位置的分割特征平均值，表示真值为背景的 特征数，
Figure 481724DEST_PATH_IMAGE040
表示真值为前景的特征数，
Figure 947341DEST_PATH_IMAGE036
和
Figure 3021DEST_PATH_IMAGE037
分别为图像块分割特征的宽和高（值都为 224），
Figure 773662DEST_PATH_IMAGE020
为第
Figure 572991DEST_PATH_IMAGE021
行、第
Figure 893114DEST_PATH_IMAGE022
列位置的分割真值，
Figure 604849DEST_PATH_IMAGE042
为网络分割分支最后一层的映射，
Figure 377633DEST_PATH_IMAGE043
为网 络分割分支最后一层参数，
Figure 715074DEST_PATH_IMAGE044
为控制特征增广的超参数，训练过程中在0到0.2之间随机取 值，
Figure 637506DEST_PATH_IMAGE041
为特征增广后得到的第
Figure 34989DEST_PATH_IMAGE021
行、第
Figure 295069DEST_PATH_IMAGE022
列分割测试结果。
Figure 921354DEST_PATH_IMAGE029
为特征增广的惩罚公 式。
步骤S3：测试过程中，利用待属性分类的图像中所有图像块前景像素数的占比情况，判断图像是否有前景目标，如果有，输出属性结果；如果没有，不输出结果。
Figure 216069DEST_PATH_IMAGE060
Figure 518874DEST_PATH_IMAGE047
其中，
Figure 16983DEST_PATH_IMAGE048
、
Figure 430646DEST_PATH_IMAGE049
分别表示网络判断为前景、背景的像素数目，
Figure 579868DEST_PATH_IMAGE050
为图像中所有图像块 前景像素数的占比。
Figure 804307DEST_PATH_IMAGE051
表示网络分割分支的误差冗余。
如图6、7所示，图片都resize到448*448的大小。图6中包含行人，前景（行人）像素 数目为122113，背景（非人）像素数目为78591，图像块前景像素的占比
Figure 773400DEST_PATH_IMAGE050
为60.84%；图7中不 包含行人，但是因为网络分割误差，导致分割图中包含行人像素，行人像素数目为10443，背 景像素为190261，图像的前景像素占比
Figure 256334DEST_PATH_IMAGE050
为5.20%。为防止分割误差影响分类精度，本发明 设分割分支的误差冗余为10%，若图像的前景像素
Figure 736426DEST_PATH_IMAGE050
占比小于10%，直接设置
Figure 646613DEST_PATH_IMAGE061
。
测试准确率效果：
使用监控下行人数据作为闭合集，使用监控下非行人数据、imagenet公开集中的非行人数据作为开放集。开放集和闭合集各随机挑选1k张，比对使用openmax和本发明方法对开放集、闭合集判断的准确率情况，结果如表1所示。
表1 openmax与本发明方法结果比对表格
Openmax_d0 Openmax_d1 Openmax_d2 Openmax_d3 Openmax_d4 本发明方法
准确率 62.57% 65.76% 66.19% 66.55% 68.84% 81.23%
Openmax方法中，计算训练集所有数据与类特征中心的最小、最大特征距离。 Openmax_d0、Openmax_d1、Openmax_d2、Openmax_d3、Openmax_d4分别表示在最小特征距离、 最大特征距离中间，等间隔采样特征距离
Figure 103003DEST_PATH_IMAGE062
，作为开放集、闭合集判断依据。公式如下所示：
Figure 874781DEST_PATH_IMAGE063
；
Figure 1
其中，
Figure 814104DEST_PATH_IMAGE065
表示样本特征与类特征中心的距离。
从表1可以看出，本发明方法因为在分割分支中充分利用数据中的背景信息，使得对开放集数据判断能力有明显提升，能够有效过滤开放集数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于多任务辅助的开放集过滤方法，其特征在于包括如下步骤：
S1，构建属性多标签分类网络，基于transformer分类网络构建图像块分割网络分支，用于同时支持图像属性分类和图像块分割；
S2，图像块分割网络中，将待预测属性分类的目标作为前景，其余作为背景；
S3，预测过程中，通过待预测属性分类的图像中，图像块前景像素数，判断图像是否有前景目标，当有前景目标时，输出属性结果。
2.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于所述S1中，训练数据集
Figure DEST_PATH_IMAGE002
的每个样本图像，对应
Figure DEST_PATH_IMAGE004
个属性分类标签、前景背景分割标签，
Figure DEST_PATH_IMAGE006
表示第
Figure DEST_PATH_IMAGE008
个样本图像，
Figure DEST_PATH_IMAGE010
表示第
Figure 746563DEST_PATH_IMAGE008
个样本图像的属性分类标签，
Figure DEST_PATH_IMAGE012
表示属性集，
Figure DEST_PATH_IMAGE014
表示第
Figure 319496DEST_PATH_IMAGE008
个样本图像的分割标签，S表示前景、背景的分割，
Figure DEST_PATH_IMAGE016
表示样本图像的数量，多任务的网络结构同时得出属性分类
Figure DEST_PATH_IMAGE018
和分割结果
Figure DEST_PATH_IMAGE020
，
Figure 581456DEST_PATH_IMAGE018
包含第
Figure 242245DEST_PATH_IMAGE008
个样本图像所有属性的测试结果，
Figure 384513DEST_PATH_IMAGE020
包含第
Figure 974020DEST_PATH_IMAGE008
个样本图像所有像素的分割结果，根据以下损失函数对
Figure 568949DEST_PATH_IMAGE006
对应的多个属性结果和分割结果进行训练：
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE026
表示第
Figure DEST_PATH_IMAGE028
个属性，
Figure DEST_PATH_IMAGE030
表示第
Figure 861126DEST_PATH_IMAGE008
个样本图像的第
Figure 857901DEST_PATH_IMAGE028
个属性的真值，
Figure DEST_PATH_IMAGE032
表示第
Figure 149468DEST_PATH_IMAGE008
个样本图像第
Figure 231693DEST_PATH_IMAGE028
个属性的测试结果，
Figure DEST_PATH_IMAGE034
表示超参数，用于平衡分类损失和分割损失，
Figure DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE038
分别表示样本图像的宽和高，
Figure DEST_PATH_IMAGE040
表示第
Figure 185349DEST_PATH_IMAGE008
个样本图像的第
Figure DEST_PATH_IMAGE042
行、第
Figure DEST_PATH_IMAGE044
列的分割真值，
Figure DEST_PATH_IMAGE046
表示第
Figure 397150DEST_PATH_IMAGE008
个样本图像第
Figure 92574DEST_PATH_IMAGE042
行、第
Figure 662095DEST_PATH_IMAGE044
列像素的分割结果，
Figure DEST_PATH_IMAGE048
为
Figure 530694DEST_PATH_IMAGE030
的独热编码形式，
Figure DEST_PATH_IMAGE050
为
Figure 272035DEST_PATH_IMAGE040
的独热编码形式，
Figure DEST_PATH_IMAGE052
表示网络测试结果，
Figure DEST_PATH_IMAGE054
表示网络映射函数，
Figure DEST_PATH_IMAGE056
表示网络参数。
3.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于所述S2中，基于特征增广的惩罚，进行图像块分割，特征增广的惩罚公式
Figure DEST_PATH_IMAGE058
如下：
Figure DEST_PATH_IMAGE060
Figure DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE068
为真值为背景的位置的分割特征平均值，
Figure DEST_PATH_IMAGE070
表示真值为背景的特征数，
Figure DEST_PATH_IMAGE072
和
Figure DEST_PATH_IMAGE074
分别表示图像块分割特征的宽和高，
Figure DEST_PATH_IMAGE076
表示第
Figure 449944DEST_PATH_IMAGE042
行、第
Figure 444445DEST_PATH_IMAGE044
列位置的分割特征，
Figure 851156DEST_PATH_IMAGE040
表示第
Figure 107388DEST_PATH_IMAGE042
行、第
Figure 206931DEST_PATH_IMAGE044
列位置的分割真值，
Figure DEST_PATH_IMAGE078
表示真值为前景的位置的分割特征平均值，
Figure DEST_PATH_IMAGE080
表示真值为前景的特征数，
Figure DEST_PATH_IMAGE082
表示特征增广后得到的第
Figure 580406DEST_PATH_IMAGE042
行、第
Figure 790807DEST_PATH_IMAGE044
列分割测试结果，
Figure DEST_PATH_IMAGE084
表示网络分割分支最后一层的映射，
Figure DEST_PATH_IMAGE086
表示网络分割分支最后一层参数，
Figure DEST_PATH_IMAGE088
表示控制特征增广的超参数。
4.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于训练过程中，
Figure DEST_PATH_IMAGE090
为0到0.2之间随机取值。
5.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于所述S3中，通过待属性分类的图像中，图像块前景像素数的占比，判断图像是否有前景目标，公式如下：
Figure DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE094
其中，
Figure DEST_PATH_IMAGE096
、
Figure DEST_PATH_IMAGE098
分别表示网络判断为前景、背景的像素数目，
Figure DEST_PATH_IMAGE100
表示图像中图像块前景像素数的占比，
Figure DEST_PATH_IMAGE102
表示网络分割分支的误差冗余。
6.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于所述transformer网络是swin transformer结构。
7.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于输入属性多标签分类网络前，重塑训练集数据的尺寸。
8.根据权利要求1所述的一种基于多任务辅助的开放集过滤方法，其特征在于所述图像块分割网络，将图像划分为
Figure DEST_PATH_IMAGE104
*
Figure 297619DEST_PATH_IMAGE104
个高、宽均为
Figure DEST_PATH_IMAGE106
的图像块，对每个图像块进行全局特征分析，完成图像块分割。
9.一种基于多任务辅助的开放集过滤系统，包括transformer分类网络，其特征在于基于transformer分类网络构建图像块分割网络，用于同时支持图像多标签属性分类和图像块分割，预测过程中，图像块分割网络将待预测属性分类的目标作为前景，其余作为背景，通过待预测属性分类的图像中，图像块前景像素数，判断图像是否有前景目标，当有前景目标时，输出属性结果。
10.根据权利要求9所述的种基于多任务辅助的开放集过滤系统，所述transformer分类网络采用swin transformer结构，包括图像划分层、池化层和全连接层，其特征在于所述图像划分层与池化层之间的每个网络阶段，包括固定窗口多头自注意力机制块和移动窗口多头自注意力机制块，将每个网络阶段的固定窗口多头自注意力机制块串联，作为图像块分割网络，固定窗口多头自注意力机制块用于操作每个图像块内部特征，移动窗口多头子注意力机制块用于图像块之间特征的关联分析。
CN202111411082.5A 2021-11-25 2021-11-25 一种基于多任务辅助的开放集过滤系统及方法 Active CN113837154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111411082.5A CN113837154B (zh) 2021-11-25 2021-11-25 一种基于多任务辅助的开放集过滤系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111411082.5A CN113837154B (zh) 2021-11-25 2021-11-25 一种基于多任务辅助的开放集过滤系统及方法

Publications (2)

Publication Number Publication Date
CN113837154A true CN113837154A (zh) 2021-12-24
CN113837154B CN113837154B (zh) 2022-03-25

Family

ID=78971732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111411082.5A Active CN113837154B (zh) 2021-11-25 2021-11-25 一种基于多任务辅助的开放集过滤系统及方法

Country Status (1)

Country Link
CN (1) CN113837154B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782986A (zh) * 2022-03-28 2022-07-22 佳源科技股份有限公司 基于深度学习的安全帽佩戴检测方法、装置、设备及介质
CN116524258A (zh) * 2023-04-25 2023-08-01 云南师范大学 一种基于多标签分类的滑坡检测方法和系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019463A1 (en) * 2010-12-31 2014-01-16 China Unionpay Co., Ltd. Data filtering system and method
CN104123560A (zh) * 2014-07-03 2014-10-29 中山大学 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN105871887A (zh) * 2016-05-12 2016-08-17 北京大学 基于客户端的个性化电子邮件过滤系统和过滤方法
WO2018197835A1 (en) * 2017-04-26 2018-11-01 Blippar.Com Limited Apparatus and method for open-set object recognition
CN109614979A (zh) * 2018-10-11 2019-04-12 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
CN110210550A (zh) * 2019-05-28 2019-09-06 东南大学 基于集成学习策略的图像细粒度识别方法
CN110751044A (zh) * 2019-09-19 2020-02-04 杭州电子科技大学 基于深度网络迁移特征与增广自编码的城市噪声识别方法
CN110909760A (zh) * 2019-10-12 2020-03-24 中国人民解放军国防科技大学 一种基于卷积神经网络的图像开放集识别方法
CN111914919A (zh) * 2020-07-24 2020-11-10 天津大学 基于深度学习的开放集辐射源个体识别方法
CN112418261A (zh) * 2020-09-17 2021-02-26 电子科技大学 一种基于先验原型注意力机制的人体图像多属性分类方法
CN112559894A (zh) * 2021-01-28 2021-03-26 百科荣创(山东)科技发展有限公司 一种计算机用的人工智能信息过滤系统
CN112818893A (zh) * 2021-02-10 2021-05-18 北京工业大学 一种面向移动终端的轻量化开集地标识别方法
CN113139470A (zh) * 2021-04-25 2021-07-20 安徽工业大学 一种基于Transformer的玻璃识别方法
CN113435482A (zh) * 2021-06-10 2021-09-24 浙江大华技术股份有限公司 一种判断开放集的方法、装置及其设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019463A1 (en) * 2010-12-31 2014-01-16 China Unionpay Co., Ltd. Data filtering system and method
CN104123560A (zh) * 2014-07-03 2014-10-29 中山大学 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN105871887A (zh) * 2016-05-12 2016-08-17 北京大学 基于客户端的个性化电子邮件过滤系统和过滤方法
WO2018197835A1 (en) * 2017-04-26 2018-11-01 Blippar.Com Limited Apparatus and method for open-set object recognition
CN109614979A (zh) * 2018-10-11 2019-04-12 北京大学 一种基于选择与生成的数据增广方法及图像分类方法
CN110210550A (zh) * 2019-05-28 2019-09-06 东南大学 基于集成学习策略的图像细粒度识别方法
CN110751044A (zh) * 2019-09-19 2020-02-04 杭州电子科技大学 基于深度网络迁移特征与增广自编码的城市噪声识别方法
CN110909760A (zh) * 2019-10-12 2020-03-24 中国人民解放军国防科技大学 一种基于卷积神经网络的图像开放集识别方法
CN111914919A (zh) * 2020-07-24 2020-11-10 天津大学 基于深度学习的开放集辐射源个体识别方法
CN112418261A (zh) * 2020-09-17 2021-02-26 电子科技大学 一种基于先验原型注意力机制的人体图像多属性分类方法
CN112559894A (zh) * 2021-01-28 2021-03-26 百科荣创(山东)科技发展有限公司 一种计算机用的人工智能信息过滤系统
CN112818893A (zh) * 2021-02-10 2021-05-18 北京工业大学 一种面向移动终端的轻量化开集地标识别方法
CN113139470A (zh) * 2021-04-25 2021-07-20 安徽工业大学 一种基于Transformer的玻璃识别方法
CN113435482A (zh) * 2021-06-10 2021-09-24 浙江大华技术股份有限公司 一种判断开放集的方法、装置及其设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH SCHUHMANN 等: "LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs", 《ARXIV:2111.02114V1》 *
CHUANXING GENG 等: "Collective Decision for Open Set Recognition", 《JOURNAL OF LATEX CLASS FILES》 *
常江龙: "面向图像分析应用的海量样本过滤方案", 《百度快照》 *
王俊豪 等: "通过细粒度的语义特征与 Transformer丰富图像描述", 《华东师范大学学报（自然科学版）》 *
韩旭: "基于领域自适应的开放集图像分类与语义分割", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782986A (zh) * 2022-03-28 2022-07-22 佳源科技股份有限公司 基于深度学习的安全帽佩戴检测方法、装置、设备及介质
CN114782986B (zh) * 2022-03-28 2024-04-26 佳源科技股份有限公司 基于深度学习的安全帽佩戴检测方法、装置、设备及介质
CN116524258A (zh) * 2023-04-25 2023-08-01 云南师范大学 一种基于多标签分类的滑坡检测方法和系统

Also Published As

Publication number Publication date
CN113837154B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN105678811B (zh) 一种基于运动检测的人体异常行为检测方法
CN109284669A (zh) 基于Mask RCNN的行人检测方法
CN114549522A (zh) 基于目标检测的纺织品质量检测方法
CN109344736A (zh) 一种基于联合学习的静态图像人群计数方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN113837154B (zh) 一种基于多任务辅助的开放集过滤系统及方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108932479A (zh) 一种人体异常行为检测方法
CN109670515A (zh) 一种用于无人机影像中建筑物变化的检测方法及系统
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN112200045A (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN110298297A (zh) 火焰识别方法和装置
CN105426903A (zh) 一种遥感卫星图像的云判方法及系统
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN110689526B (zh) 基于视网膜眼底图像的视网膜血管分割方法及系统
He et al. A robust method for wheatear detection using UAV in natural scenes
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN114612472A (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant