CN108960314A - 基于难样本的训练方法、装置及电子设备 - Google Patents

基于难样本的训练方法、装置及电子设备 Download PDF

Info

Publication number
CN108960314A
CN108960314A CN201810675642.XA CN201810675642A CN108960314A CN 108960314 A CN108960314 A CN 108960314A CN 201810675642 A CN201810675642 A CN 201810675642A CN 108960314 A CN108960314 A CN 108960314A
Authority
CN
China
Prior art keywords
sample
class
data set
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810675642.XA
Other languages
English (en)
Other versions
CN108960314B (zh
Inventor
朱星宇
黄鼎
张�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou kuangyun Jinzhi Technology Co., Ltd
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810675642.XA priority Critical patent/CN108960314B/zh
Publication of CN108960314A publication Critical patent/CN108960314A/zh
Application granted granted Critical
Publication of CN108960314B publication Critical patent/CN108960314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供了一种基于难样本的训练方法、装置及电子设备，该方法首先利用预训练模型对公开数据集中的样本进行遍历识别，获得被误识别为目标类的负类样本，将该负类样本添加至包括正类样本的第一数据集中，形成第二数据集；然后基于该第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型。该方式将从公开数据集中挑选出的负类样本，加入后续用于训练的数据集中，然后利用预先设定的难样本针对性代价函数，基于该包含负类样本的数据集进行模型训练，从而加强对易识别为FP的难样本的识别学习，在不增加模型输出类别的情况下，有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。

Description

基于难样本的训练方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于难样本的训练方法、装置及电子设备。
背景技术
随着智能手机相机功能的推广，移动设备并行计算硬件效能大幅进步，人们的物质与精神生活需求的逐渐提高，人工智能与计算机视觉技术在智能手机相机中的应用的市场越来越大。其中基于场景/物体识别的自动后处理技术已经成为了各大手机厂商所需要的技术，与之对应的算法也成为了研究热点。由于上述算法需要在移动终端上部署，在保证一定准确率的同时，这种算法也需要尽量减少参数和计算量，以达到一个较低的能耗。
目前市场上存在的算法为了压缩计算量，往往使用的是减少类别数的方法。而单纯减少类别数往往会导致有很多物体或者场景并没有出现在网络训练集中，使得神经网络在真实使用时往往会将某些不属于网络训练集中已有类别的物体或场景分进某个类中，产生FP(False Positive，假阳性)，例如将远处拍摄的黄色射灯识别为日出，或者将白色水泥地识别为雪景等。
综上，目前市场上在移动终端部署的识别算法往往都存在较多的FP，识别能力下降，严重影响实际的使用体验。
发明内容
有鉴于此，本发明的目的在于提供一种基于难样本的训练方法、装置及电子设备，以在有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。
第一方面，本发明实施例提供了一种基于难样本的训练方法，包括：
遍历步骤，利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集；
训练步骤，基于所述第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型；其中所述预选代价函数包括分类交叉熵函数。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述遍历步骤之前，还包括：
初始步骤，基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述训练步骤之后，还包括：
测试步骤，测试所述输出模型是否满足预期需求；
若否，则将所述输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回所述遍历步骤；
若是，则将所述输出模型作为最终模型进行输出。
结合第一方面其第一种、第二种中任一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述预先设定的难样本针对性代价函数用于：
在训练步骤中，分别获取初始模型识别出的每个负类样本属于各个目标类的概率；
根据每个负类样本属于各个目标类的概率、所述目标类的数量及第二数据集中负类的数量，计算所述难样本针对性代价函数的值。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述难样本针对性代价函数为：
其中，f表示所述难样本针对性代价函数；m表示初始模型识别出的负类样本的数量；K表示所述目标类的数量；M表示第二数据集中负类的数量；xi1,xi2……xiK分别表示初始模型识别出的第i个负类样本属于各个目标类的概率，θ1，θ2……θK分别表示每个目标类的权重系数，所述权重系数小于等于1，且所述负类对应的目标类的权重系数大于对应的其他目标类的权重系数。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述预选代价函数还包括焦点损失函数、对比损失函数、三元损失函数中的至少一种。
第二方面，本发明实施例还提供一种基于难样本的训练装置，包括：
遍历模块，用于利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集；
训练模块，用于基于所述第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型；其中预选代价函数包括分类交叉熵函数。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：
初始模块，用于基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，还包括：
测试模块，用于测试所述输出模型是否满足预期需求；
若否，则将所述输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回所述遍历模块；
若是，则将所述输出模型作为最终模型进行输出。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其任一种可能的实施方式所述的方法。
本发明实施例带来了以下有益效果：
在本发明实施例中，首先利用预训练模型对公开数据集中的样本进行遍历识别，获得被误识别为目标类的负类样本，将该负类样本添加至包括正类样本的第一数据集中，形成第二数据集；然后基于该第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型，该预选代价函数包括分类交叉熵函数。该方式将从公开数据集中挑选出的负类样本，加入后续用于训练的数据集中，然后利用预先设定的难样本针对性代价函数，基于该包含负类样本的数据集进行模型训练，从而加强对易识别为FP的难样本的识别学习，在不增加模型输出类别的情况下，有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于难样本的训练方法的流程示意图；
图2为本发明实施例提供的另一种基于难样本的训练方法的流程示意图；
图3为本发明实施例提供的训练过程示意图；
图4为本发明实施例提供的一种基于难样本的训练装置的结构示意图；
图5为本发明实施例提供的另一种基于难样本的训练装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前当基于场景/物体识别的算法部署在移动终端时，往往需要减少需要识别的目标类别的数量，以达到压缩计算量的目的。这样训练后的网络模型参数体积较小，在使用中由于目标类别较少特征提取不够细致，而将某些不属于任何目标类的物体或场景分进某个目标类中，导致FP增多和泛化能力下降。且如果训练集中引入大量的FP样本，则训练后的网络模型偏向于识别FP样本，正类样本的识别能力下降，严重影响实际的使用体验。
基于上述问题，本发明实施例提供的一种基于难样本的训练方法、装置及电子设备，将从公开数据集中挑选出的负类样本，加入后续用于训练的数据集中，然后利用预先设定的难样本针对性代价函数，基于该包括负类样本的数据集进行模型训练，从而加强对易识别为FP的难样本的识别学习，在不增加模型输出类别的情况下，有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。
本发明提供的技术可以但不限于应用于移动终端的场景/物体识别的自动后处理过程或者其他需要进行识别算法压缩的终端设备中，通过相关的硬件或者软件实现。为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于难样本的训练方法进行详细介绍。
图1示出了本发明实施例提供的一种基于难样本的训练方法，如图1所示，该方法包括：
遍历步骤S101，利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集。
上述公开数据集可以但不限于从网络或者从数据库中获取。
如果上述公开数据集为预标注样本集合(即每个样本的分类已知)，则后续检测到误识别的情况时，如将A类的图像识别为B类(目标类)，则自动将该A类的图像标记为负B类；如果上述公开数据集为未标注样本集合(即每个样本的分类未知)，即可以是任意数据集，则后续可以通过人工标注区分出由于特征的不恰当提取导致的负类样本。
训练步骤S102，基于第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型。
其中，上述预选代价函数包括分类交叉熵函数。
本发明实施例，将从公开数据集中挑选出的负类样本，加入第一数据集中，作为后续用于训练的第二数据集，然后利用预选代价函数和预先设定的难样本针对性代价函数，基于该包含负类样本的第二数据集进行模型训练，从而加强对易识别为FP的难样本的识别学习，在不增加模型输出类别的情况下，有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。
图2示出了本发明实施例提供的另一种基于难样本的训练方法，如图2所示，该方法包括：
初始步骤S201，基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
上述初始模型为未经训练的神经网络模型。上述第一数据集作为初始训练数据集，仅包括正类样本，例如当海滩是目标类而沙漠不是目标类时，该第一数据集仅包括海滩的图像，而不包括沙漠的图像。该第一数据集可以从网络中或者数据库中选取。
在可能的实施例中，在步骤S201中，预训练模型的具体训练过程为：基于由正类样本组成的第一数据集，利用预选代价函数对初始模型进行训练，得到预训练模型。其中预选代价函数可以是常用的代价函数，至少包括分类交叉熵函数，还可以包括focal loss(焦点损失函数)、contrastive loss(对比损失函数)、triplet loss(三元损失函数)中的至少一种。在训练过程中，通过该预选代价函数进行初始模型的参数调整，得到预训练模型。
参见图3所示的本发明实施例提供的训练过程示意图，其中a表示初始的第一数据集，a中仅包括从网络中选取的正类样本，基于该第一数据集a，利用预选代价函数(图3中用X函数表示)，对初始模型进行参数调整，从而得到预训练模型A。
遍历步骤S202，利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集。
上述公开数据集可以但不限于从网络或者从数据库中获取。
如果上述公开数据集为预标注样本集合(即每个样本的分类已知)，则后续检测到误识别的情况时，如将G类的图像识别为B类(目标类)，则自动将该G类的图像增加至类别“负B”，表示“B类识别过程的易错样本”；如果上述公开数据集为未标注样本集合(即每个样本的分类未知)，即可以是任意数据集，则后续可以通过人工标注区分出由于特征的不恰当提取导致的负类样本。
仍以图3为例进行说明，利用步骤S201中获得的预训练模型A对公开数据集进行遍历识别(即使用预训练模型A对公开数据集中的所有图像进行识别分类)，挑选出其中的负类样本，将这些负类样本添加至第一数据集a中，得到第二数据集b1，从而实现对被识别为FP的样本(FP样本)的收集，并进行数据集的迭代。
训练步骤S203，基于第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型。
其中难样本即为易识别为FP的样本，难样本针对性代价函数是针对难样本的识别结果而设定的函数，该函数的引入可以使初始模型在训练过程中降低对于之前易识别为FP的难样本的误判概率，从而提升模型的识别性能。
在可能的实施例中，在步骤S203中，输出模型的具体训练过程为：将预选代价函数和预先设定的难样本针对性代价函数进行叠加，得到叠加后的函数值；基于第二数据集，利用叠加后的函数值进行初始模型的参数调整，以对该初始模型进行训练得到输出模型。
仍以图3为例进行说明，基于步骤S202得到的第二数据集b1，利用预选代价函数(图中用X函数表示)和难样本针对性代价函数(图中用F函数表示)，对初始模型进行参数调整，从而得到输出模型B1。
测试步骤S204，测试输出模型是否满足预期需求。
在可能的实施例中，预期需求可以由相关人员根据实际需要进行设定，在此并不作具体限定，可以综合考虑FP产生率、召回率、准确率中的一种或多种，对输出模型进行测试的测试结果也包括参数FP产生率、召回率、准确率的一种或多种。例如，当FP产生率、召回率、准确率均达到对应的参数范围时，则确定该输出模型满足预期需求。
如果输出模型不能满足预期需求，则执行步骤S205；如果输出模型满足预期需求，则执行步骤S206；。
步骤S205，将输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回上述遍历步骤S202。
步骤S206，将上述输出模型作为最终模型进行输出。
仍以图3为例进行说明，利用步骤S203中得到的输出模型B1对预先准备的测试数据集进行分类识别，从而对该输出模型B1进行测试。如果根据测试结果确定输出模型B1满足预期需求，则将该输出模型B1作为最终模型进行输出。
如果根据测试结果确定输出模型B1不能满足预期需求，则将该输出模型作为新的预训练模型，第二数据集b1作为新的第一数据集，重新返回步骤S202。即应用输出模型B1对公开数据集进行遍历识别，挑选出其中的负类样本，将这些负类样本添加至新的第一数据集b1中，以再次进行数据集迭代，得到新的第二数据集b2。
然后，基于该新的第二数据集b2，利用预选代价函数(图中用X函数表示)和难样本针对性代价函数(图中用F函数表示)，对初始模型进行参数调整，从而得到新的输出模型B2。按照步骤S204中的测试步骤进行测试。如此一直循环进行数据集迭代和模型训练、测试，直至输出模型满足预期需求。
需要说明的是，每次循环进行数据集迭代时，所使用的公开数据集可以相同也可以不相同，在此不作限定。
在可能的实施例中，上述预先设定的难样本针对性代价函数在训练过程中，具体用于：
(1)在训练步骤中，分别获取初始模型识别出的每个负类样本属于各个目标类的概率。
假设在场景识别J中，初始模型对应的目标类为[A,B,C,D,E,F](如猫/狗/猴子/大象/长颈鹿/鲨鱼)，训练中应用的第二数据集中存在与之对应的负类[负A,负B,负C]的图像，需要说明的是该初始模型的输出仅存在目标类的输出。
在步骤(1)中，从第二数据集中挑选一个batch(图像批)，该图像批包括n张图像，将该n张图像一次输入初始模型。对于该n张图像中的每一张，如果该图像属于负类样本，如图像L属于负A类，则获取初始模型输出的该图像属于各个目标类的概率，如：A类0.7；B类0.1；C类0.15；D类0.05；E类0；F类0。如此获取n张图像中，每个负类样本属于各个目标类的概率。
(2)根据每个负类样本属于各个目标类的概率、目标类的数量及第二数据集中负类的数量，计算难样本针对性代价函数的值。
在可能的实施例中，分别对各个目标类设置权重系数，该权重系数大于0且小于等于1。其中负类样本所属负类对应的目标类的权重系数(以下称为负类权重系数)，大于其他目标类的权重系数(以下称为其他权重系数)。例如某负类样本为负A类，则目标类A类对应的权重系数大于其他目标类(B类、C类、D类、E类、F类)。在一个实施例中，负类样本所属负类对应的目标类的权重系数设为1，其他目标类设为0.01。
难样本针对性代价函数的计算过程中，对于图像批中的每个负类样本，将负类样本属于每个目标类的概率分别与对应的概率相乘，再进行平方运算，计算得到该负类样本对应的分类代价。仍以图像L为例，则该负类样本对应的分类代价为Y1＝0.72×1+0.12×0.01+0.152×0.01+0.052×0.01+02×0.01+02×0.01。由此可知，负类对应的目标类影响较大，其他目标类影响几乎为零。
然后将所有负类样本的分类代价进行相加运算得到总代价；最后利用该总代价除以目标类的数量与负类的数量的乘积，将得到的商作为该难样本针对性代价函数的值。如每个负类样本对应的分类代价为Y1、Y2、……Ym，其中m表示初始模型识别出的负类样本的数量，则最后计算得到的难样本针对性代价函数的值f＝(Y1+Y2……+Ym)/(K×P)，其中K表示目标类的数量，P表示负类的数量。以场景识别J为例，则f＝(Y1+Y2……+Ym)/(6×3)。
在另外可能的实施例中，该难样本针对性代价函数具体可以表示为：
其中，f表示难样本针对性代价函数；m表示初始模型识别出的负类样本的数量；K表示目标类的数量；P表示第二数据集中负类的数量；xi1,xi2……xiK分别表示初始模型识别出的第i个负类样本属于各个目标类的概率，θ1，θ2……θK分别表示每个目标类的权重系数，该权重系数小于等于1，且负类对应的目标类的权重系数大于其他目标类的权重系数。
本发明提出的难样本针对性代价函数的优势在于能够在有效地抑制假阳性识别的同时，不增加神经网络模型的输出类别数量，从而也保证了模型在正类样本的分类上的识别能力。
综上所述，本发明实施例通过多次迭代数据集(该数据集可以是未标注的)的方法，收集FP样本，利用该迭代的数据集进行模型训练；在训练过程中，使用基于加权均方差的难样本针对性代价函数进行模型调整，从而得到最终模型。在实际使用中，利用该方法训练的神经网络模型在准确率上(尤其是难样本的准确率)有明显提升，显著减少FP的产生率，提升使用体验。
针对于上述提供的基于难样本的训练方法，本发明实施例提供了一种基于难样本的训练装置，参见图4，该装置包括：
遍历模块11，用于利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集；
训练模块12，用于基于上述第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型，其中预选代价函数包括分类交叉熵函数。
在可能的实施例中，图5示出了本发明实施例提供的另一种基于难样本的训练装置，在图4的基础上，该装置还包括：
初始模块10，用于基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
测试模块14，用于测试输出模型是否满足预期需求；
若否，则将该输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回遍历模块；
若是，则将该输出模型作为最终模型进行输出。
本发明实施例，将从公开数据集中挑选出的负类样本，加入后续用于训练的数据集中，然后利用预先设定的难样本针对性代价函数，基于该包括负类样本的数据集进行模型训练，从而加强对易识别为FP的难样本的识别学习，在不增加模型输出类别的情况下，有效抑制FP的同时，提升模型的识别准确率，改善用户的使用体验。
参见图6，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例提供的基于难样本的训练装置及电子设备，与上述实施例提供的基于难样本的训练方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的进行基于难样本的训练方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于难样本的训练方法，其特征在于，包括：
遍历步骤，利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集；
训练步骤，基于所述第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型；其中所述预选代价函数包括分类交叉熵函数。
2.根据权利要求1所述的方法，其特征在于，所述遍历步骤之前，还包括：
初始步骤，基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
3.根据权利要求2所述的方法，其特征在于，所述训练步骤之后，还包括：
测试步骤，测试所述输出模型是否满足预期需求；
若否，则将所述输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回所述遍历步骤；
若是，则将所述输出模型作为最终模型进行输出。
4.根据权利要求1、2或3任一项所述的方法，其特征在于，所述预先设定的难样本针对性代价函数用于：
在训练步骤中，分别获取初始模型识别出的每个负类样本属于各个目标类的概率；
根据每个负类样本属于各个目标类的概率、所述目标类的数量及第二数据集中负类的数量，计算所述难样本针对性代价函数的值。
5.根据权利要求4所述的方法，其特征在于，所述难样本针对性代价函数为：
其中，f表示所述难样本针对性代价函数；m表示初始模型识别出的负类样本的数量；K表示所述目标类的数量；M表示第二数据集中负类的数量；xi1,xi2……xiK分别表示初始模型识别出的第i个负类样本属于各个目标类的概率，θ1，θ2……θK分别表示每个目标类的权重系数，所述权重系数小于等于1，且所述负类对应的目标类的权重系数大于对应的其他目标类的权重系数。
6.根据权利要求1所述的方法，其特征在于，所述预选代价函数还包括焦点损失函数、对比损失函数、三元损失函数中的至少一种。
7.一种基于难样本的训练装置，其特征在于，包括：
遍历模块，用于利用预训练模型对公开数据集中的样本进行遍历识别，将被误识别为目标类的负类样本，添加至包括正类样本的第一数据集，形成第二数据集；
训练模块，用于基于所述第二数据集，利用预选代价函数和预先设定的难样本针对性代价函数对初始模型进行训练，得到输出模型；其中所述预选代价函数包括分类交叉熵函数。
8.根据权利要求7所述的装置，其特征在于，还包括：
初始模块，用于基于由正类样本组成的第一数据集，对初始模型进行训练，得到预训练模型。
9.根据权利要求8所述的装置，其特征在于，还包括：
测试模块，用于测试所述输出模型是否满足预期需求；
若否，则将所述输出模型作为新的预训练模型，将第二数据集作为新的第一数据集，并返回所述遍历模块；
若是，则将所述输出模型作为最终模型进行输出。
10.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法。
CN201810675642.XA 2018-06-26 2018-06-26 基于难样本的训练方法、装置及电子设备 Active CN108960314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810675642.XA CN108960314B (zh) 2018-06-26 2018-06-26 基于难样本的训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810675642.XA CN108960314B (zh) 2018-06-26 2018-06-26 基于难样本的训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108960314A true CN108960314A (zh) 2018-12-07
CN108960314B CN108960314B (zh) 2022-02-11

Family

ID=64487299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810675642.XA Active CN108960314B (zh) 2018-06-26 2018-06-26 基于难样本的训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108960314B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263174A (zh) * 2019-06-27 2019-09-20 成都冰鉴信息科技有限公司 —基于焦点关注的主题类别分析方法
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN112668544A (zh) * 2021-01-13 2021-04-16 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN112819078A (zh) * 2021-02-04 2021-05-18 上海明略人工智能(集团)有限公司 一种识别模型的迭代方法和装置
CN114202796A (zh) * 2020-08-27 2022-03-18 中国电信股份有限公司 模型自适应的目标检测的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248586A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法
CN105844627A (zh) * 2016-03-21 2016-08-10 华中科技大学 一种基于卷积神经网络的海面目标图像背景抑制方法
CN106202329A (zh) * 2016-07-01 2016-12-07 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107665351A (zh) * 2017-05-06 2018-02-06 北京航空航天大学 基于难样本挖掘的机场检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248586A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法
CN105844627A (zh) * 2016-03-21 2016-08-10 华中科技大学 一种基于卷积神经网络的海面目标图像背景抑制方法
CN106202329A (zh) * 2016-07-01 2016-12-07 北京市商汤科技开发有限公司 样本数据处理、数据识别方法和装置、计算机设备
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107665351A (zh) * 2017-05-06 2018-02-06 北京航空航天大学 基于难样本挖掘的机场检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABHINAV SHRIVASTAVA ET AL.: ""Training Region-based Object Detectors with Online Hard Example Mining"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
MAXIME BUCHER ET AL.: ""Hard Negative Mining for Metric Learning Based Zero-Shot Classification"", 《ECCV 2016 WORKSHOPS》 *
艾拓 等: ""基于难负样本挖掘的改进Faster RCNN训练方法"", 《计算机科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263174A (zh) * 2019-06-27 2019-09-20 成都冰鉴信息科技有限公司 —基于焦点关注的主题类别分析方法
CN110263174B (zh) * 2019-06-27 2020-10-23 成都冰鉴信息科技有限公司 —基于焦点关注的主题类别分析方法
CN111429405A (zh) * 2020-03-04 2020-07-17 清华大学深圳国际研究生院 基于3d cnn的锡球缺陷检测方法及装置
CN114202796A (zh) * 2020-08-27 2022-03-18 中国电信股份有限公司 模型自适应的目标检测的方法及装置
CN114202796B (zh) * 2020-08-27 2023-08-04 中国电信股份有限公司 模型自适应的目标检测的方法及装置
CN112668544A (zh) * 2021-01-13 2021-04-16 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN112668544B (zh) * 2021-01-13 2022-03-22 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN112819078A (zh) * 2021-02-04 2021-05-18 上海明略人工智能(集团)有限公司 一种识别模型的迭代方法和装置
CN112819078B (zh) * 2021-02-04 2023-12-15 上海明略人工智能(集团)有限公司 一种图片识别模型的迭代方法和装置

Also Published As

Publication number Publication date
CN108960314B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN108960314A (zh) 基于难样本的训练方法、装置及电子设备
CN103617432B (zh) 一种场景识别方法及装置
CN104700099B (zh) 识别交通标志的方法和装置
CN109086811A (zh) 多标签图像分类方法、装置及电子设备
CN110991506B (zh) 一种车辆品牌识别方法、装置、设备及存储介质
JP6149710B2 (ja) 画像処理装置及びプログラム
CN112488218A (zh) 图像分类方法、图像分类模型的训练方法和装置
CN109242826B (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN109726678B (zh) 一种车牌识别的方法及相关装置
CN111382808A (zh) 一种车辆检测处理方法及装置
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN112306829B (zh) 性能信息的确定方法及装置、存储介质、终端
CN115062186B (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN112613553A (zh) 图片样本集生成方法、装置、计算机设备和存储介质
CN112613508A (zh) 一种物体识别方法、装置及设备
CN113869098A (zh) 植物病害识别方法、装置、电子设备及存储介质
CN113838076A (zh) 目标图像中的对象轮廓的标注方法及装置、存储介质
US20220405527A1 (en) Target Detection Methods, Apparatuses, Electronic Devices and Computer-Readable Storage Media
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN115424086A (zh) 多视角的细粒度识别方法、装置、电子设备及介质
CN108898059A (zh) 花卉识别方法及其设备
WO2022263904A1 (en) Target detection methods, apparatuses, electronic devices and computer-readable storage media
CN113129252A (zh) 一种图像评分方法及电子设备
CN109684991A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220106

Address after: No. 1268, 1f, building 12, neijian Middle Road, Xisanqi building materials City, Haidian District, Beijing 100096

Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant after: Hangzhou kuangyun Jinzhi Technology Co., Ltd

Address before: 313, block a, No.2, south academy of Sciences Road, Haidian District, Beijing

Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant