CN114781554A - 一种基于小样本条件的开集识别方法及系统 - Google Patents

一种基于小样本条件的开集识别方法及系统 Download PDF

Info

Publication number
CN114781554A
CN114781554A CN202210701908.XA CN202210701908A CN114781554A CN 114781554 A CN114781554 A CN 114781554A CN 202210701908 A CN202210701908 A CN 202210701908A CN 114781554 A CN114781554 A CN 114781554A
Authority
CN
China
Prior art keywords
training
open
picture
model
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210701908.XA
Other languages
English (en)
Other versions
CN114781554B (zh
Inventor
徐雪松
付瑜彬
于波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202210701908.XA priority Critical patent/CN114781554B/zh
Publication of CN114781554A publication Critical patent/CN114781554A/zh
Application granted granted Critical
Publication of CN114781554B publication Critical patent/CN114781554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本发明公开一种基于小样本条件的开集识别方法及系统，方法包括：根据至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；基于第一识别模型判断至少一个未知类别图片的预测值是否大于预设开集阈值；若至少一个未知类别图片的预测值大于预设开集阈值，则将至少一个未知类别图片与至少一个已知类别图片进行混合，使得到混合训练集；根据混合训练集中的至少一个图片对第一识别模型进行开集自适应训练，使得到第二识别模型。在识别模型训练中增加不进行数据标注的开集数据集作为所有已知类数据的负样本，使得识别模型对于某个已知类别的学习不再只限制于类间差异的对比，从而提高识别模型在小样本条件下识别精度。

Description

一种基于小样本条件的开集识别方法及系统
技术领域
本发明属于图像识别技术领域，尤其涉及一种基于小样本条件的开集识别方法及系统。
背景技术
在近十年中，神经网络技术已经成为了计算机视觉领域的主流方法，在诸如图像分类、目标检测、图像分割等领域的研究有着广泛的应用。然而深度神经网络技术在实际应用时却依旧面临着诸多挑战，其中“开集识别(Open Set Learning-OSR)”与“小样本(FewShort Learning-FSL)”问题一直是实际工程应用中面临的难题。
现有技术中，模型的开集风险取决于学习到的特征的完备性，越完备的特征可以形成越收缩的决策边界，模型的开集识别风险就越小，而完备特征的学习需要涵盖某类目标所有情况下的数据，这在在小样本条件下是难以实现的，并且数据图片的标注需要耗费极大的人力物力。
发明内容
本发明提供一种基于小样本条件的开集识别方法及系统，用于至少解决开集识别模型在小样本条件下识别精度低以及需要标注样本类别造成识别过程复杂的技术问题。
第一方面，本发明提供一种基于小样本条件的开集识别方法，包括：获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
第二方面，本发明提供一种基于小样本条件的开集识别系统，包括：获取模块，配置为获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；第一训练模块，配置为根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；判断模块，配置为基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；混合模块，配置为若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；第二训练模块，配置为根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于小样本条件的开集识别方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的基于小样本条件的开集识别方法的步骤。
本申请的基于小样本条件的开集识别方法及系统，在识别模型训练中增加不进行数据标注的开集数据集作为所有已知类数据的负样本，使得识别模型对于某个已知类别的学习不再只限制于类间差异的对比，以此增加识别模型学习到的知识，从而提高识别模型在小样本条件下识别精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于小样本条件的开集识别方法的流程图；
图2为本发明一具体实施例提供的FSOR模型的总体框架图；
图3为本发明一具体实施例提供的开集适应性训练流程图；
图4为本发明一实施例提供的一种基于小样本条件的开集识别系统的结构框图；
图5是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本申请的一种基于小样本条件的开集识别方法的流程图。
如图1所示，在步骤S101中，获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
在步骤S102中，根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；
在步骤S103中，基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；
在步骤S104中，若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；
在步骤S105中，根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
综上，本申请的方法，在识别模型训练中增加不进行数据标注的开集数据集作为所有已知类数据的负样本，使得识别模型对于某个已知类别的学习不再只限制于类间差异的对比，以此增加识别模型学习到的知识，从而提高识别模型在小样本条件下识别精度。
在一些可选的实施例中，本方法还包括：基于所述混合训练集中某一未知类别图片对所述第二识别模型进行验证，使计算所述第二识别模型的开集识别精度，其中所述某一未知类别图片不为所述至少一个未知类别图片；判断所述第二识别模型的开集识别精度是否大于预设精度阈值；若所述第二识别模型的开集识别精度大于预设精度阈值，则训练结束并保存所述第二识别模型；
若所述第二识别模型的开集识别精度不大于预设精度阈值，则基于所述混合训练集中的至少一个图片对所述第二识别模型进行开集自适应训练。
在一个具体实施例中，本申请提供如图2所示的FSOR（Few-shot open-setrecognition-小样本开集识别）模型的总体框架。
本申请的FSOR模型框架中的特征提取网络结构均采用迁移学习策略。输入图片经过特征提取的对应表达式为：
Figure DEST_PATH_IMAGE001
，
式中，
Figure DEST_PATH_IMAGE002
为输入图片，
Figure DEST_PATH_IMAGE003
为特征提取网络
Figure DEST_PATH_IMAGE004
迁移的模型预训练参数，
Figure DEST_PATH_IMAGE005
为特 征提取网络输出的特征向量。
并且FSOR模型为每一个类别设计了一个独立的分类器，在输出端使用
Figure DEST_PATH_IMAGE006
激 活函数对分类器的输出进行独立归一化到0到1之间，对于第i类别的预测概率可以表达为：
Figure DEST_PATH_IMAGE007
，
式中，
Figure DEST_PATH_IMAGE008
为第i个类别，
Figure DEST_PATH_IMAGE009
为当输入为
Figure DEST_PATH_IMAGE010
时，对于
Figure 955853DEST_PATH_IMAGE008
而言的预测概率，
Figure DEST_PATH_IMAGE011
为属于类别
Figure 200889DEST_PATH_IMAGE008
的独立分类网络，
Figure DEST_PATH_IMAGE012
为第i个独立分类网络的模型参数，
Figure 246206DEST_PATH_IMAGE010
为特征提取 网络输出的特征向量。
需要说明的是，针对每一个独立分类器的输出，使用二值交叉熵函数进行单独构建误差损失，对应的损失计算为：
Figure DEST_PATH_IMAGE013
，
式中，
Figure DEST_PATH_IMAGE014
为输入
Figure DEST_PATH_IMAGE015
时某个与正确标签之间产生的误差损失，
Figure DEST_PATH_IMAGE016
为训练批次，
Figure 562786DEST_PATH_IMAGE015
为第k个输入图片，
Figure DEST_PATH_IMAGE017
为第i个类别，
Figure DEST_PATH_IMAGE018
为第k个图片的正确标签，
Figure DEST_PATH_IMAGE019
为独立分类网络的个 数，
Figure DEST_PATH_IMAGE020
为当输入为
Figure DEST_PATH_IMAGE021
时，对于
Figure 32951DEST_PATH_IMAGE008
而言的预测概率。
请参阅图3，其示出了本申请的一具体实施例提供的开集适应性训练流程图。
如图3所示，基于小样本条件的开集识别方法的具体步骤为：
Step1：构建FOSR模型，并在闭集条件下训练模型，直至模型收敛，保存模型。
Step2：使用图3中所示的未知类图片‘
Figure DEST_PATH_IMAGE023
’对Step1中保存的模型进行开集测试，并将高于开集阈值的图片保存。
Step3：将闭集训练集内的图片与Step2中保存的图片进行混合，并用于模型训练，直至模型收敛，保存模型，其中，在训练过程中Step2保存的未知类图片作为负样本数据。
Step4：将Step3保存的模型使用开集验证集进行模型验证，计算模型的开集识别精度。
Step5：重复Step2和Step4直至模型的开集识别精度达到预期要求后保存最终模型，训练结束。
在开集测试过程中，选取模型在闭集验证集中有95%以上的样本被分类正确的预测置信度a作为基准阈值，在基准阈值的基础上留取10%的开集裕度，选取b作为开集测试的开集阈值。当输入样本的预测值大于开集阈值时被判定为开集样本，反之为闭集样本。本申请在Step2中使用Step1中训练好的模型对未知类图片进行自动筛选，不仅使得获取的负样本图片对模型开集性能的改善更具有针对性，还增加了系统的智能化，大大降低了人的工作量。
在一个具体实施例中，为了使实验更贴合实际工程应用中所面临的小样本问题，本申请制作了一个小样本数据集（FewDataSet--FDS）。其中，一共包含了100类实际环境中的物品，每类物品采集20张图片，划分5张作为训练集，15张作为验证集。随机从100类中选取10类作为闭集类别用作模型训练，剩余类作为开集类别，用于验证模型的开集性能。
同时，本申请收集了一个不做类别分类的未知类数据集（UnknownDataSet--UDS）用于开集适应性训练，其中只包含图片，不包含对应的类别标签。值得指出的是，该未知类数据集与本申请制作的小样本数据集之间在类别上不存在交集。
此外，本申请还使用Imagenet1K数据集测试了FSOR模型的OSR性能，为了满足小样本的实验条件，本申请随机从Imagenet1K的1000个类别中选取了10个类别作为闭集类别，在剩余的990类中，划分400类作为开集类别，剩余590类别作为未知类，命名该数据集为Imagenet-Crop。
在闭集类别对应的训练集图片内选随机抽取100张图片，按照2:8的比例划分闭集类的训练集和测试集。此外，开集类包括20000张图片，未知类包括29500张图片。
为了说明本申请提出的FSOR模型结构和开集适应性训练的设计对原有模型改进的有效性，本申请设计了消融实验进行对比分析。
FSOR模型中每一个独立分类网络独通过Sigmoid函数激活输出，可以看做是逻辑回归的二分类任务，因此设定开集拒判阈值为0.5，即模型对应最大的类别预测概率小于0.5时判断为开集类，反之为已知类。其中，FSOR模型的特征提取网络以mobilenet模型为例。对比结果如表4-1所示：
Figure DEST_PATH_IMAGE024
表4-1的实验结果表明，使用Softmax损失函数时模型在FDS和Imagenet-Crop数据集上的均具有较高的闭集精度，但是模型的OSR精度仅为39.35%和27.71%。模型在使用Sigmoid函数时对模型的OSR性能有所提高，但依旧存在极大的开集风险。而本申请提出的FSOR模型在同样的条件下既保证了较高的闭集精度，同时对模型的OSR性能有了极大的提升，在FDS和Imagenet-Crop上的OSR精度分别提升至92.75%和89.78%。
为了测试开集适应性训练对模型OSR性能的影响，本申请在Mobile+Sigmoid和FSOR模型的闭集训练基础上进行了模型的开集适应性训练。实验的对比结果如表4-2所示：
Figure DEST_PATH_IMAGE025
表4-2中，（K+）表示模型加入开集适应性训练后的实验结果。实验结果表明，Mobilenet+Sigmoid组加入开集适应性训练后，模型在FDS和Imagenet1K数据集上的OSR精度分别提升至90.56%和96.25%，FSOR组也提升至97.63%和98.24%。因此，本申请提出的开集适应性训练对模型的OSR性能具有极大的提升。同时，本申请设计的FSOR模型相比于直接使用Sigmoid的方法对模型的开集性能的提升更具有优势。
本申请设计了与其它OSR算法在FDS和Imagenet-Crop数据集上的开集精度对比。为了公平，在实验中均使用mobilenet特征提取网络进行实验，并且迁移在Imagenet1K上的预训练模型参数，实验对比结果如表4-3所示：
Figure DEST_PATH_IMAGE026
表4-3的实验表明，在FDS数据集下，相比于传统模型使用Softmax函数的情况下，AMPFL、SLCPL、SLCPL、ARPL、GCPL等算法均将模型的OSR精度提高至70%以上，对比传统模型使用Softmax时有近一倍的精度提高，并且相比于Sigmoid方法，精度最低的AMPFL算法依旧高出10%左右。本申请提出的FSOR模型算法在不进行开集自适应训练时，OSR精度为92.75%，优于SLCPL算法的78.08%，在进行开集自适应训练后，精度达到97.63%。
随着数据集的复杂化，在Imagenet-Crop数据集上AMPFL、SLCPL、SLCPL、ARPL、GCPL等算法，在复杂小样本条件下，并无法有效的改进模型的OSR风险，而本申请提出的FSOR模型在不进行开集适应性训练的情况下OSR精度依旧达到89.78%，远高于ARPL算法的54.69%。此外，FSOR模型在进行开集自适应训练后，OSR精度提高至98.24%。从对比实验可以看出，本申请提出的FSOR模型算法和开集自适应训练方式达到了最高的OSR精度，在复杂小样本条件下依旧可以有效地降低模型的OSR风险。
请参阅图4，其示出了本申请的一种基于小样本条件的开集识别系统的结构框图。
如图4所示，开集识别系统200，包括获取模块210、第一训练模块220、判断模块230、混合模块240以及第二训练模块250。
其中，获取模块210，配置为获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；第一训练模块220，配置为根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；判断模块230，配置为基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；混合模块240，配置为若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；第二训练模块250，配置为根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
应当理解，图4中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图4中的诸模块，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行上述任意方法实施例中的基于小样本条件的开集识别方法；
作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：
获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；
基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；
若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；
根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于小样本条件的开集识别系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至基于小样本条件的开集识别系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图5是本发明实施例提供的电子设备的结构示意图，如图5所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于小样本条件的开集识别方法。输入装置330可接收输入的数字或字符信息，以及产生与基于小样本条件的开集识别系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于基于小样本条件的开集识别系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；
基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；
若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；
根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于小样本条件的开集识别方法，其特征在于，包括：
获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；
基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；
若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；
根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
2.根据权利要求1所述的一种基于小样本条件的开集识别方法，其特征在于，所述FSOR模型用于计算至少一个已知类别图片的预测概率，其中计算至少一个已知类别图片的预测概率的表达式为：
Figure 923290DEST_PATH_IMAGE001
，
式中，
Figure 512535DEST_PATH_IMAGE002
为第i个类别，
Figure 823430DEST_PATH_IMAGE003
为当输入为
Figure 953060DEST_PATH_IMAGE004
时，对于
Figure 423225DEST_PATH_IMAGE002
而言的预测概率，
Figure 42425DEST_PATH_IMAGE005
为属 于类别
Figure 715983DEST_PATH_IMAGE002
的独立分类网络，
Figure 446042DEST_PATH_IMAGE006
为第i个独立分类网络的模型参数，
Figure 849341DEST_PATH_IMAGE004
为特征提取网络输出的 特征向量。
3.根据权利要求1所述的一种基于小样本条件的开集识别方法，其特征在于，其中，所述FSOR模型中包含损失函数，所述损失函数的表达式为：
Figure 498497DEST_PATH_IMAGE007
，
式中，
Figure 783985DEST_PATH_IMAGE008
为输入
Figure 193101DEST_PATH_IMAGE010
时某个与正确标签之间产生的误差损失，
Figure 247644DEST_PATH_IMAGE011
为训练批次，
Figure 333281DEST_PATH_IMAGE010
为第k 个输入图片，
Figure 309327DEST_PATH_IMAGE013
为第i个类别，
Figure 115609DEST_PATH_IMAGE015
为第k个图片的正确标签，
Figure 165605DEST_PATH_IMAGE017
为独立分类网络的个数，
Figure 297509DEST_PATH_IMAGE018
为当输入为
Figure 682223DEST_PATH_IMAGE009
时，对于
Figure 495458DEST_PATH_IMAGE002
而言的预测概率。
4.根据权利要求1所述的一种基于小样本条件的开集识别方法，其特征在于，在根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型之后，所述方法还包括：
基于所述混合训练集中某一未知类别图片对所述第二识别模型进行验证，使计算所述第二识别模型的开集识别精度，其中所述某一未知类别图片不为所述至少一个未知类别图片；
判断所述第二识别模型的开集识别精度是否大于预设精度阈值；
若所述第二识别模型的开集识别精度大于预设精度阈值，则训练结束并保存所述第二识别模型。
5.根据权利要求4所述的一种基于小样本条件的开集识别方法，其特征在于，在判断所述第二识别模型的开集识别精度是否大于预设精度阈值之后，所述方法还包括：
若所述第二识别模型的开集识别精度不大于预设精度阈值，则基于所述混合训练集中的至少一个图片对所述第二识别模型进行开集自适应训练。
6.一种基于小样本条件的开集识别系统，其特征在于，包括：
获取模块，配置为获取开集训练集以及闭集训练集，其中，所述开集训练集中包含至少一个已知类别图片，所述闭集训练集中包含至少一个未知类别图片；
第一训练模块，配置为根据所述至少一个已知类别图片对预先构建的FSOR模型进行闭集训练，使得到第一识别模型；
判断模块，配置为基于所述第一识别模型判断所述至少一个未知类别图片的预测值是否大于预设开集阈值，其中所述预设开集阈值为基准阈值与开集裕度的差值，所述基准阈值为95%以上的已知类别图片被分类正确的预测置信度；
混合模块，配置为若所述至少一个未知类别图片的预测值大于预设开集阈值，则将所述至少一个未知类别图片与所述至少一个已知类别图片进行混合，使得到混合训练集；
第二训练模块，配置为根据所述混合训练集中的至少一个图片对所述第一识别模型进行开集自适应训练，使得到第二识别模型。
7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的方法。
CN202210701908.XA 2022-06-21 2022-06-21 一种基于小样本条件的开集识别方法及系统 Active CN114781554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701908.XA CN114781554B (zh) 2022-06-21 2022-06-21 一种基于小样本条件的开集识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701908.XA CN114781554B (zh) 2022-06-21 2022-06-21 一种基于小样本条件的开集识别方法及系统

Publications (2)

Publication Number Publication Date
CN114781554A true CN114781554A (zh) 2022-07-22
CN114781554B CN114781554B (zh) 2022-09-20

Family

ID=82420703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701908.XA Active CN114781554B (zh) 2022-06-21 2022-06-21 一种基于小样本条件的开集识别方法及系统

Country Status (1)

Country Link
CN (1) CN114781554B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076994A (zh) * 2021-03-31 2021-07-06 南京邮电大学 一种开集域自适应图像分类方法及系统
CN113673629A (zh) * 2021-09-09 2021-11-19 陕西师范大学 基于多图卷积网络的开集域适应遥感图像小样本分类方法
CN113705446A (zh) * 2021-08-27 2021-11-26 电子科技大学 一种面向辐射源个体的开集识别方法
WO2022103682A1 (en) * 2020-11-10 2022-05-19 Nec Laboratories America, Inc. Face recognition from unseen domains via learning of semantic features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022103682A1 (en) * 2020-11-10 2022-05-19 Nec Laboratories America, Inc. Face recognition from unseen domains via learning of semantic features
CN113076994A (zh) * 2021-03-31 2021-07-06 南京邮电大学 一种开集域自适应图像分类方法及系统
CN113705446A (zh) * 2021-08-27 2021-11-26 电子科技大学 一种面向辐射源个体的开集识别方法
CN113673629A (zh) * 2021-09-09 2021-11-19 陕西师范大学 基于多图卷积网络的开集域适应遥感图像小样本分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MINKI JEONG 等；: "《Few-shot Open-set Recognition by Transformation Consistency》", 《CVPR》 *

Also Published As

Publication number Publication date
CN114781554B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN108256561B (zh) 一种基于对抗学习的多源域适应迁移方法及系统
US10719780B2 (en) Efficient machine learning method
Xu et al. Classifier cascades and trees for minimizing feature evaluation cost
CN111832605B (zh) 无监督图像分类模型的训练方法、装置和电子设备
EP3767536A1 (en) Latent code for unsupervised domain adaptation
CN110717554B (zh) 图像识别方法、电子设备及存储介质
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN110874604A (zh) 模型训练方法及终端设备
Jung et al. An algorithmic framework for fairness elicitation
CN113139651A (zh) 基于自监督学习的标签比例学习模型的训练方法和设备
CN109214444B (zh) 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法
Koço et al. On multi-class classification through the minimization of the confusion matrix norm
CN111126347A (zh) 人眼状态识别方法、装置、终端及可读存储介质
CN111178196B (zh) 一种细胞分类的方法、装置及设备
Kehrenberg et al. Tuning fairness by balancing target labels
WO2020135054A1 (zh) 视频推荐方法、装置、设备及存储介质
CN110795410A (zh) 一种多领域文本分类方法
CN108345942B (zh) 一种基于嵌入编码学习的机器学习识别方法
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
Mund et al. Active online confidence boosting for efficient object classification
CN114781554B (zh) 一种基于小样本条件的开集识别方法及系统
CN108229693B (zh) 一种基于对比学习的机器学习识别装置及方法
Puzanov et al. Deep reinforcement one-shot learning for change point detection
CN109583492A (zh) 一种识别对抗性图像的方法及终端
CN114358117A (zh) 基于网络数据的模型训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant