CN110033026A - 一种连续小样本图像的目标检测方法、装置及设备 - Google Patents
一种连续小样本图像的目标检测方法、装置及设备 Download PDFInfo
- Publication number
- CN110033026A CN110033026A CN201910199257.7A CN201910199257A CN110033026A CN 110033026 A CN110033026 A CN 110033026A CN 201910199257 A CN201910199257 A CN 201910199257A CN 110033026 A CN110033026 A CN 110033026A
- Authority
- CN
- China
- Prior art keywords
- target
- small sample
- sample image
- detection task
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种连续小样本图像的目标检测方法包括:对目标检测器进行解耦,将目标‑背景分类器解耦成背景分类器和目标分类器;根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器从而实现所述监督参数对目标进行训练或检测。通过解耦有利于减少学习的复杂度,并且通过拓印策略初始化,可以有效的适应连续小样本图像的训练要求,通过知识蒸馏方法可以有效的利用之前检测任务的知识,可以有效的对抗旧知识的遗忘,实现旧知识的遗忘与新知识的获取之间的平衡。
Description
技术领域
本申请属于图像处理领域,尤其涉及一种连续小样本图像的目标检测方法、装置及设备。
背景技术
通过深度学习检测样本的方式,可以有效的完成对图像进行目标检测和识别。并且,随着深度检测技术的发展,对目标检测主要包括两种检测框架,即两步检测框架和单步检测框架,这些框架在主要的国际公开数据集中取得了明显的效果。
但是,深度检测一般是由具有完整的边界框标定的大规模数据集所驱动的,在实际的图像目标检测过程中,收集这样的数据需要耗费大量的人力物力。当对连续小样本进行训练或检测时,新的任务通常会持续到来,这些任务中会面临新的检测任务或者新的物体种类,每个目标检测任务仅仅有小样本的边界框标记,使用随机化的检测架构将会容易导致严重的过拟合问题,以及,在关注当前检测任务时,可能会遭受严重的遗忘现象,不能有效的维持在检测之前任务时的性能。
发明内容
有鉴于此,本申请实施例提供了一种连续小样本图像的目标检测方法、装置及设备,以解决现有技术中对于连续小样本图像检测时,容易导致过拟合问题,以及可能会遭受严重的遗忘现象的问题。
本申请实施例的第一方面提供了一种连续小样本图像的目标检测方法,所述小样本图像的目标检测方法包括:
对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
结合第一方面,在第一方面的第一种可能实现方式中,所述对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器的步骤包括:
对单阶目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器,得到背景分类器的分数向量为:
得到目标分类器的分数向量为:
其中,是背景分类器经过归一化指数函数处理之前的预测向量,pobj/pbg是目标/背景的概率,是目标分类器经过归一化指数函数处理之前的预测向量,qi是属于第i个目标的概率i=1,2,…,C。
结合第一方面,在第一方面的第二种可能实现方式中,所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括:
获取与检测任务中的目标类别;
根据所述目标类别,在源域中获取多个包含所述目标类别的先验框;
根据所获取的多个源域中的先验框分别计算所述检测任务中的目标类别的预测向量;
对多个所述预测向量求和取平均后进行归一化处理,得到目标类别对应的参数向量。
结合第一方面的第二种可能实现方式,在第一方面的第三种可能实现方式中,当所述检测任务中包括多个目标类别时,根据多个目标类别所对应的参数向量,得到目标分类器的初始化参数矩阵。
结合第一方面,在第一方面的第四种可能实现方式中,所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括:
根据当前检测任务Tk之前的检测任务Tk-1所使用的主干参数、边界框回归参数、背景分类器参数初始化当前检测任务的主干、边界框回归和背景分类器。
结合第一方面,在第一方面的第五种可能实现方式中,所述通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦单阶目标检测器结合所述监督参数对目标进行训练的步骤包括:
根据公式计算当前目标检测任务Tk的总损失函数:
根据所述总损失函数规范当前检测任务的目标检测器,其中,主要损失包括边界框回归损失,背景分类器损失,目标加背景分类器损失,将当前检测任务的图片送入当前检测任务之前的目标检测器获得监督参数λ为权重系数。
本申请实施例的第二方面提供了一种连续小样本图像的目标检测装置,所述连续小样本图像的目标检测装置包括:
解耦单元,用于对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
拓印单元,用于根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
蒸馏单元,用于通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
结合第二方面,在第二方面的第一种可能实现方式中,所述解耦单元用于:
对单阶目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器,得到背景分类器的分数向量为:
得到目标分类器的分数向量为:
其中,是背景分类器经过归一化指数函数处理之前的预测向量,pobj/pbg是目标/背景的概率,是目标分类器经过归一化指数函数处理之前的预测向量,qi是属于第i个目标的概率i=1,2,…,C。
本申请实施例的第三方面提供了一种连续小样本图像的目标检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权第一方面任一项所述连续小样本图像的目标检测方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述连续小样本图像的目标检测方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:通过将目标-背景分类器解耦成背景分类器和目标分类器,解耦后的分类器可以通过权重拓印策略或在先检测任务参数初始化,有利于减少学习的复杂度,并且通过拓印策略初始化,可以有效的适应连续小样本图像的训练要求,通过知识蒸馏方法可以有效的利用之前检测任务的知识,可以有效的对抗旧知识的遗忘,实现旧知识的遗忘与新知识的获取之间的平衡。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种连续小样本图像的目标检测方法的实现流程示意图;
图2是本申请实施例提供的单阶段检测器的原始框架示意图;
图3是本申请实施例提供的解耦后的单阶段检测器的框架示意图;
图4是本申请实施例提供的一种连续小样本图像的目标检测装置示意图;
图5是本申请实施例提供一种图像检测设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种连续小样本图像的目标检测方法的实现流程示意图,详述如下:
在步骤S101中,对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
具体的,所述解耦,是指对目标检测器中的模块解耦成一系列子模块,从而减少连续小样本检测任务结构的复杂性。所述目标检测器可以选择单阶段的目标检测器,从而可以高效、精确的对目标进行检测。如图2所示,一个曲型的单阶段目标检测器包括主干、边界框回归以及目标-背景分类器。
对于新的检测任务,由于主干和边界框回归被不同的目标类别所共享,它们可以从上一次检测任务初始化而得到。相反地,目标-背景分类器必须被随机初始化,这是由于新的目标种类可能在先前的任务中未曾见过。然而这个事实加剧了学习目标-背景分类器的任务的难度,尤其是新任务是小样本的情况下。为了减少训练负担,本申请提出了把目标-背景分类器解耦成背景分类器和目标分类器,如图3所示。假设背景分类器的分数向量为
其中是背景分类器经过归一化指数函数softmax处理之前的预测向量,并且pobj/pbg是目标/背景的概率。目标分类器的分数为
其中是目标分类器经过归一化指数函数softmax处理之前的预测向量,qi是属于第i个目标的概率i=1,2,…,C。之后,我们可以直接计算目标-背景的概率分数向量,即
v=[pobjq1,pobjq2,…,pobjqC,pbg] (3)
通过解耦,我们仅仅需要单独初始化目标和背景分类器而不是初始化一个目标-背景分类器。对于一个新的检测任务,背景分类器可以从上一个任务初始化得到,这是因为二元分类器在不同的目标中可以共享参数。目标分类器是一个多分类器,可以通过步骤S102提出拓印的方法解决因新任务的到来而导致的随机初始化问题。
通过解耦操作,可以将检测架构分解为主干,边界框回归,目标分类器和背景分类器。当新任务到来的时候,可以减少学习的困难。
在步骤S102中,根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
所述权重拓印策略,是指选用公开数据集作为源域,查找检测任务中的目标类别在源域中所对应的先验框,根据先验框计算检测任务中的目标的预测向量,对预测向量进行求和取平均后,进行归一化处理得到目标类别对应的参数向量。在获取所述参数向量后,即可根据权重拓印策略所得到的参数向量初始化目标检测器中的目标分类器。
由于每一个检测任务都是小样本,一个好的子模型初始化方案就会显得相当重要。本申请提出了一种简单但有效的解决方案。首先,本申请可以使用现已存在的大规模国际公开数据集(例如COCO)作为源域,并且预训练图3所示的解耦架构。由于主干,边界框回归和背景分类器在不同的目标种类中可以被共享。因此,第Tk-1检测任务可以被重复用来初始化第Tk个检测任务,其中T0=S是源任务。
对于目标分类器的初始化。由于新检测任务和之前检测任务的目标种类不同,当新任务到来时,这个分类器需要能够适应新任务。为了避免随机初始化,本申请可以采用权重拓印策略,重新把分类器调整成适用于目标检测设置的要求。
假设源任务有CS个种类,第Tk个检测任务有个种类。第k个连续小样本检测任务的目标分类器集中于寻找一个参数矩阵用于搭建源域预测向量(归一化指数函数处理softmax之前)到目标域的预测向量的映射。下一步,我们可以在目标域的预测向量上使用softmax,从而得到最后的分类结果。
假设在第Tk个检测任务中有目标A这一个类别。首先,可以把含有目标A的照片送入单阶段的检测器主干,然后到达源域的目标分类器。对于第n个含有目标A的先验框,可以取得预测向量(softmax之前)的结果,而CS是源域目标种类的数目。然后,所选择的所有关于目标A的先验框的置信度比较大的先验框(大于某一阈值),所述置信度由先验框和真正的边界框的交并比(intersectionofunion,IoU)决定。我们用L2归一化源域的预测向量,把这些归一化之后的预测向量求和取平均,假设总共有N个向量。我们进一步地归一化这个平均向量,把它作为关于目标A的参数向量:
可以发现,对于第Tk个检测任务上的目标A,WA总结了丰富且相关的在源域的表示信息。它可以看成是目标A的原型并且提供一个可靠的参数初始化方案。最后,我们采用类似方案对第Tk个检测任务上的其它类别进行相似的操作,从而得到初始化参数矩阵作为目标分类器。给一张查询的图片,可以把来自源域的先验框的预测向量转换成第Tk个检测任务域上的向量。
之后把它送入归一化指数函数softmax从而实现分类。
综上,拓印允许所有的已经被解耦的子模型快速部署,从而可以在小样本连续检测任务下有效减缓过拟合现象。
在步骤S103中,通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
在拓印我们的解耦架构之后,我们开始训练第Tk个目标检测任务。但是,仅仅聚焦于当前的任务将会导致灾难性的遗忘,也就是检测框架会逐渐忘记之前任务学到的知识,因此这些任务的检测性能将会大幅度退化。为了避免这种现象,在训练当前任务的时候,我们将蒸馏方法作为一个正则化项。具体地,我们记第Tk个目标检测任务的总损失函数为
主要损失包括边界框回归(平滑L1)损失,背景分类器(互熵)损失,目标加背景分类器(互熵)损失。它可以用来训练第Tk个目标检测任务的检测架构。
为了减缓遗忘,可以采用知识蒸馏的方法,即将当前检测任务送入之前的目标检测器,获取包括预测框和物品分数向量等知识参数。特别地,我们把第Tk个目标检测任务的图片送入第Tk-1个目标检测框架。然后,我们可以获得前面任务直至Tk-1的物品的知识(例如预测框和物品分数向量)。我们使用这些知识作为额外的监督(例如),它们可以有效地规范化第Tk个检测架构相应的子模型从而保留先前学得的知识。
因此,通过蒸馏方法自适应平衡了知识的遗忘以及新任务的更新关系。因此,我们的检测架构可以在获取新知识的同时维持之前学到的知识,从而实现终身学习。
通过本申请所述的连续小样本图像的目标检测方法,可以快速的为小样本新任务进行部署,并且可以有效的维持之前学习的任务的性能。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图4为本申请实施例提供的一种连续小样本图像的目标检测装置的结构示意图,所述连续小样本图像的目标检测装置包括:
解耦单元401,用于对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
拓印单元402,用于根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
蒸馏单元403,用于通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
优选的,所述解耦单元用于:
对单阶目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器,得到背景分类器的分数向量为:
得到目标分类器的分数向量为:
其中,是背景分类器经过归一化指数函数处理之前的预测向量,pobj/pbg是目标/背景的概率,是目标分类器经过归一化指数函数处理之前的预测向量,qi是属于第i个目标的概率i=1,2,…,C。
图4所述连续小样本图像的目标检测装置,与图1所述的连续小样本图像的目标检测方法对应。
图5是本申请一实施例提供的连续小样本图像的目标检测设备的示意图。如图5所示,该实施例的连续小样本图像的目标检测设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52,例如连续小样本图像的目标检测程序。所述处理器50执行所述计算机程序52时实现上述各个连续小样本图像的目标检测方法实施例中的步骤。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述连续小样本图像的目标检测设备5中的执行过程。例如,所述计算机程序52可以被分割成:
解耦单元,用于对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
拓印单元,用于根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
蒸馏单元,用于通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
所述连续小样本图像的目标检测设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述连续小样本图像的目标检测设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是连续小样本图像的目标检测设备5的示例,并不构成对连续小样本图像的目标检测设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述连续小样本图像的目标检测设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述连续小样本图像的目标检测设备5的内部存储单元,例如连续小样本图像的目标检测设备5的硬盘或内存。所述存储器51也可以是所述连续小样本图像的目标检测设备5的外部存储设备,例如所述连续小样本图像的目标检测设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述连续小样本图像的目标检测设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述连续小样本图像的目标检测设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种连续小样本图像的目标检测方法,其特征在于,所述小样本图像的目标检测方法包括:
对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
2.根据权利要求1所述的连续小样本图像的目标检测方法,其特征在于,所述对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器的步骤包括:
对单阶目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器,得到背景分类器的分数向量为:
得到目标分类器的分数向量为:
其中,是背景分类器经过归一化指数函数处理之前的预测向量,pobj/pbg是目标/背景的概率,是目标分类器经过归一化指数函数处理之前的预测向量,ql是属于第i个目标的概率i=1,2,...,C。
3.根据权利要求1所述的连续小样本图像的目标检测方法,其特征在于,所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括:
获取与检测任务中的目标类别;
根据所述目标类别,在源域中获取多个包含所述目标类别的先验框;
根据所获取的多个源域中的先验框分别计算所述检测任务中的目标类别的预测向量;
对多个所述预测向量求和取平均后进行归一化处理,得到目标类别对应的参数向量。
4.根据权利要求3所述的连续小样本图像的目标检测方法,其特征在于,当所述检测任务中包括多个目标类别时,根据多个目标类别所对应的参数向量,得到目标分类器的初始化参数矩阵。
5.根据权利要求1所述的连续小样本图像的目标检测方法,其特征在于,所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括:
根据当前检测任务Tk之前的检测任务Tk-1所使用的主干参数、边界框回归参数、背景分类器参数初始化当前检测任务的主干、边界框回归和背景分类器。
6.根据权利要求1所述的连续小样本图像的目标检测方法,其特征在于,所述通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦单阶目标检测器结合所述监督参数对目标进行训练的步骤包括:
根据公式计算当前目标检测任务Tk的总损失函数:
根据所述总损失函数规范当前检测任务的目标检测器,其中,主要损失包括边界框回归损失,背景分类器损失,目标加背景分类器损失,将当前检测任务的图片送入当前检测任务之前的目标检测器获得监督参数λ为权重系数。
7.一种连续小样本图像的目标检测装置,其特征在于,所述连续小样本图像的目标检测装置包括:
解耦单元,用于对目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器;
拓印单元,用于根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器;
蒸馏单元,用于通过知识蒸馏方法获取当前检测任务之前的监督参数,通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。
8.根据权利要求7所述的连续小样本图像的目标检测装置,其特征在于,所述解耦单元用于:
对单阶目标检测器进行解耦,将目标-背景分类器解耦成背景分类器和目标分类器,得到背景分类器的分数向量为:
得到目标分类器的分数向量为:
其中,是背景分类器经过归一化指数函数处理之前的预测向量,pobj/pbg是目标/背景的概率,是目标分类器经过归一化指数函数处理之前的预测向量,qi是属于第i个目标的概率i=1,2,...,C。
9.一种连续小样本图像的目标检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述连续小样本图像的目标检测方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述连续小样本图像的目标检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910199257.7A CN110033026B (zh) | 2019-03-15 | 2019-03-15 | 一种连续小样本图像的目标检测方法、装置及设备 |
PCT/CN2019/130818 WO2020186887A1 (zh) | 2019-03-15 | 2019-12-31 | 一种连续小样本图像的目标检测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910199257.7A CN110033026B (zh) | 2019-03-15 | 2019-03-15 | 一种连续小样本图像的目标检测方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110033026A true CN110033026A (zh) | 2019-07-19 |
CN110033026B CN110033026B (zh) | 2021-04-02 |
Family
ID=67236129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910199257.7A Active CN110033026B (zh) | 2019-03-15 | 2019-03-15 | 一种连续小样本图像的目标检测方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110033026B (zh) |
WO (1) | WO2020186887A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461191A (zh) * | 2020-03-25 | 2020-07-28 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
WO2020186887A1 (zh) * | 2019-03-15 | 2020-09-24 | 深圳先进技术研究院 | 一种连续小样本图像的目标检测方法、装置及设备 |
CN111932561A (zh) * | 2020-09-21 | 2020-11-13 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
CN112633406A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于知识蒸馏的少样本目标检测方法 |
CN113743180A (zh) * | 2021-05-06 | 2021-12-03 | 西安电子科技大学 | 一种基于cnnkd的雷达hrrp小样本目标识别方法 |
CN113822373A (zh) * | 2021-10-27 | 2021-12-21 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
CN116152258A (zh) * | 2023-04-23 | 2023-05-23 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465111A (zh) * | 2020-11-17 | 2021-03-09 | 大连理工大学 | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 |
CN112661013B (zh) * | 2020-12-17 | 2023-06-30 | 北京航天自动控制研究所 | 一种自动化码头桥吊遗留锁垫检测方法及系统 |
CN113222020B (zh) * | 2021-05-13 | 2024-05-24 | 中科(厦门)数据智能研究院 | 一种基于数据转换和知识蒸馏的域增量学习方法 |
CN113378936B (zh) * | 2021-06-11 | 2024-03-08 | 长沙军民先进技术研究有限公司 | 一种基于Faster RCNN的少样本目标检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7729531B2 (en) * | 2006-09-19 | 2010-06-01 | Microsoft Corporation | Identifying repeated-structure elements in images |
CN104732248A (zh) * | 2015-03-24 | 2015-06-24 | 电子科技大学 | 基于Omega形状特征的人体目标检测方法 |
KR20160115858A (ko) * | 2015-03-26 | 2016-10-06 | 주식회사 만도 | 이미지의 대상물을 분류하기 위한 방법 및 장치 |
CN108229658A (zh) * | 2017-12-27 | 2018-06-29 | 深圳先进技术研究院 | 基于有限样本的物体检测器的实现方法及装置 |
CN109447943A (zh) * | 2018-09-21 | 2019-03-08 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、系统及终端设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7451065B2 (en) * | 2002-03-11 | 2008-11-11 | International Business Machines Corporation | Method for constructing segmentation-based predictive models |
CN103473549B (zh) * | 2013-09-23 | 2017-04-19 | 北京智诺英特科技有限公司 | 图像目标检测方法和装置 |
CN108960266B (zh) * | 2017-05-22 | 2022-02-08 | 阿里巴巴集团控股有限公司 | 图像目标检测方法及装置 |
CN110033026B (zh) * | 2019-03-15 | 2021-04-02 | 深圳先进技术研究院 | 一种连续小样本图像的目标检测方法、装置及设备 |
-
2019
- 2019-03-15 CN CN201910199257.7A patent/CN110033026B/zh active Active
- 2019-12-31 WO PCT/CN2019/130818 patent/WO2020186887A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7729531B2 (en) * | 2006-09-19 | 2010-06-01 | Microsoft Corporation | Identifying repeated-structure elements in images |
CN104732248A (zh) * | 2015-03-24 | 2015-06-24 | 电子科技大学 | 基于Omega形状特征的人体目标检测方法 |
KR20160115858A (ko) * | 2015-03-26 | 2016-10-06 | 주식회사 만도 | 이미지의 대상물을 분류하기 위한 방법 및 장치 |
CN108229658A (zh) * | 2017-12-27 | 2018-06-29 | 深圳先进技术研究院 | 基于有限样本的物体检测器的实现方法及装置 |
CN109447943A (zh) * | 2018-09-21 | 2019-03-08 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、系统及终端设备 |
Non-Patent Citations (3)
Title |
---|
BODU ET AL.: "Unsupervised transfer learning for target detection from hyperspectral images", 《NEUROCOMPUTING》 * |
X. LIANG ET AL.: "Towards computational baby learning: A weakly-supervised approach for object detection", 《PROC. IEEE INT. CONF. COMPUT. VIS. (ICCV)》 * |
马娟娟 等: "基于深度优先随机森林分类器的目标检测", 《中国惯性技术学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020186887A1 (zh) * | 2019-03-15 | 2020-09-24 | 深圳先进技术研究院 | 一种连续小样本图像的目标检测方法、装置及设备 |
CN111461191A (zh) * | 2020-03-25 | 2020-07-28 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
CN111461191B (zh) * | 2020-03-25 | 2024-01-23 | 杭州跨视科技有限公司 | 为模型训练确定图像样本集的方法、装置和电子设备 |
CN111932561A (zh) * | 2020-09-21 | 2020-11-13 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
CN112633406A (zh) * | 2020-12-31 | 2021-04-09 | 天津大学 | 一种基于知识蒸馏的少样本目标检测方法 |
CN113743180A (zh) * | 2021-05-06 | 2021-12-03 | 西安电子科技大学 | 一种基于cnnkd的雷达hrrp小样本目标识别方法 |
CN113743180B (zh) * | 2021-05-06 | 2024-05-07 | 西安电子科技大学 | 一种基于cnnkd的雷达hrrp小样本目标识别方法 |
CN113822373A (zh) * | 2021-10-27 | 2021-12-21 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
CN113822373B (zh) * | 2021-10-27 | 2023-09-15 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
CN116152258A (zh) * | 2023-04-23 | 2023-05-23 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
CN116152258B (zh) * | 2023-04-23 | 2023-07-04 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110033026B (zh) | 2021-04-02 |
WO2020186887A1 (zh) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110033026A (zh) | 一种连续小样本图像的目标检测方法、装置及设备 | |
Suh et al. | Transfer learning for the classification of sugar beet and volunteer potato under field conditions | |
Cruz et al. | Detection of grapevine yellows symptoms in Vitis vinifera L. with artificial intelligence | |
Nie et al. | Parameter-free auto-weighted multiple graph learning: a framework for multiview clustering and semi-supervised classification. | |
EP4148622A1 (en) | Neural network training method, image classification system, and related device | |
US11003949B2 (en) | Neural network-based action detection | |
US20230153619A1 (en) | Method for training neural network and related device | |
US11494616B2 (en) | Decoupling category-wise independence and relevance with self-attention for multi-label image classification | |
Geng et al. | Ensemble manifold regularization | |
US20180089540A1 (en) | Image classification utilizing semantic relationships in a classification hierarchy | |
US20120082371A1 (en) | Label embedding trees for multi-class tasks | |
CN109117781A (zh) | 多属性识别模型的建立方法、装置及多属性识别方法 | |
CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
CN111339818B (zh) | 一种人脸多属性识别系统 | |
Zhang et al. | Accurate cotton diseases and pests detection in complex background based on an improved YOLOX model | |
CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
US20200090039A1 (en) | Learning unified embedding | |
CN113902131B (zh) | 抵抗联邦学习中歧视传播的节点模型的更新方法 | |
WO2024060684A1 (zh) | 模型训练方法、图像处理方法、设备及存储介质 | |
Hu et al. | Margin‐Based Pareto Ensemble Pruning: An Ensemble Pruning Algorithm That Learns to Search Optimized Ensembles | |
Sahu et al. | Dynamic routing using inter capsule routing protocol between capsules | |
CN110110628B (zh) | 一种频率综合器劣化的检测方法及检测设备 | |
Wang et al. | Yolox-BTFPN: An anchor-free conveyor belt damage detector with a biased feature extraction network | |
Gyires-Tóth et al. | Deep learning for plant classification and content-based image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |