CN108229658B - 基于有限样本的物体检测器的实现方法及装置 - Google Patents

基于有限样本的物体检测器的实现方法及装置 Download PDF

Info

Publication number
CN108229658B
CN108229658B CN201711443454.6A CN201711443454A CN108229658B CN 108229658 B CN108229658 B CN 108229658B CN 201711443454 A CN201711443454 A CN 201711443454A CN 108229658 B CN108229658 B CN 108229658B
Authority
CN
China
Prior art keywords
detector
target domain
object detector
source domain
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711443454.6A
Other languages
English (en)
Other versions
CN108229658A (zh
Inventor
乔宇
陈豪
王亚立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711443454.6A priority Critical patent/CN108229658B/zh
Publication of CN108229658A publication Critical patent/CN108229658A/zh
Application granted granted Critical
Publication of CN108229658B publication Critical patent/CN108229658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于物体检测技术领域，提供了基于有限样本的物体检测器的实现方法及装置，包括：建立基于神经网络的物体检测器；基于正则化的迁移学习过程，训练所述物体检测器。通过本发明可在目标域数据有限的条件下提高物体检测器的性能。

Description

基于有限样本的物体检测器的实现方法及装置
技术领域
本发明属于物体检测技术领域，尤其涉及基于有限样本的物体检测器的实现方法及装置。
背景技术
深度学习技术的蓬勃发展，推动了物体检测器的性能提高。这些基于深度学习的物体检测器通常需要大规模、且标定完全的数据支撑。然而，对于一个给定检测任务，收集和标定这些的数据集通常是有限的，这样就大大减弱了深度学习检测器的检测性能。因此，如何摆脱大规模检测数据的收集和标定工作，对于物体检测器在实际场景中的应用具有重要意义。
故，有必要提出一种新的技术方案，以解决上述技术问题。
发明内容
有鉴于此，本发明提供了基于有限样本的物体检测器的实现方法及装置，以在目标域数据有限的条件下提高物体检测器的性能。
本发明的第一方面提供了一种基于有限样本的物体检测器的实现方法，所述实现方法包括：
建立基于神经网络的物体检测器；
基于正则化的迁移学习过程，训练所述物体检测器。
本发明的第二方面提供了一种基于有限样本的物体检测器的实现装置，所述实现装置包括：
建立模块，用于建立基于神经网络的物体检测器；
训练模块，用于基于正则化的迁移学习过程，训练所述物体检测器。
本发明的第三方面提供了一种基于有限样本的物体检测器的实现装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述实现方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述实现方法的步骤。
本发明与现有技术相比存在的有益效果是：本发明方案首先建立新型的神经网络检测框架，即首先建立基于神经网络的物体检测器，然后再基于正则化的迁移学习过程，训练所述物体检测器，以在目标域数据有限的条件下提高物体检测性能，即提高物体检测器的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于有限样本的物体检测器的实现方法的实现流程示意图；
图2是本发明实施例二提供的基于有限样本的物体检测器的实现方法的实现流程示意图；
图3是本发明实施例三提供的基于有限样本的物体检测器的实现装置的示意图；
图4是本发明实施例四提供的基于有限样本的物体检测器的实现装置的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
参见图1，是本发明实施例一提供的基于有限样本的物体检测器的实现方法的实现流程示意图，如图所示该基于有限样本的物体检测器的实现方法可以包括以下步骤：
步骤S101，建立基于神经网络的物体检测器。
在本发明实施例中，可以建立一个新型的卷积神经网络检测框架，用于目标域样本有限时的物体检测。该检测框架即为物体检测器，其中，所述物体检测器用于对图片中的物体进行定位并分类，即定位图片中的物体，并判断该物体为何类物体。可以将图片中的内容划分为主体和背景，所述物体可以是指图片中的主体，例如图片中有人、马和草原，那么图片中的物体就可以是指人和马。
步骤S102，基于正则化的迁移学习过程，训练所述物体检测器。
在本发明实施例中，在建立好基于神经网络的物体检测器之后，可以先使用现有的大规模的源域的数据对所述物体检测器进行预训练，然后再使用目标域的有限数据对预训练的所述物体检测器进行微调。通过在微调的过程中加入新型的正则项设计，将所述源域的物体知识和所述目标域的物体知识集成进所述物体检测器的训练过程。其中，所述源域的数据可以是指现有技术中的大量数据，所述目标域的数据可以是指目标任务的数据，即目标样本。需要说明的是，本发明实施例中的数据和样本通常是指图片。所述源域的物体知识可以是指所述源域的物体的类别概率向量等。所述目标域的物体知识可以是指所述目标域的物体的真实包围盒等。
本发明实施例首先建立基于神经网络的物体检测器，然后再基于正则化的迁移学习过程，训练所述物体检测器，以在目标域数据有限的条件下提高物体检测性能，即提高物体检测器的性能。
参见图2，是本发明实施例二提供的基于有限样本的物体检测器的实现方法的实现流程示意图，如图所示该基于有限样本的物体检测器的实现方法可以包括以下步骤：
步骤S201，将图片输入SSD形式的检测模型，获得真实包围盒的预测框和所述预测框为物体的概率。
在本发明实施例中，将图片输入SSD形式的检测模型，获得对所述图片中物体的位置的预测框和所述预测框是否为物体的概率。其中，所述真实包围盒可以是指所述图片中的物体在所述图片中的真实位置或区域。所述预测框可以是指对所述图片中物体的位置的预测区域，即预测的该物体在所述图片中的区域，该区域可能与所述图片中物体的真实区域略有不同，例如图片中物体的为马，而该马的预测框所在区域可能不仅仅包括马，也可能包括其他内容，如骑马的人的下肢。其中，所述预测框为物体的概率可以是指所述预测框所在区域为物体的概率。可以将图片中的内容划分为主体和背景，所述物体可以是指图片中的主体，例如图片中有人、马和草原，那么图片中的物体就可以是指人和马。
步骤S202，将概率大于预设阈值的预测框作为候选框。
在本发明实施例中，将步骤S201所获得的所述预测框为物体的概率大于预设阈值的预测框作为候选框，判定该预测框在图片中的所在区域为物体，即判定该预测框为物体。其中，用户可以根据实际需要自行设置预设阈值，例如0.7，在此不做限定。
步骤S203，将所述候选框和选定的卷积层进行区域池化，生成一个固定大小的卷积特征。
在本发明实施例中，可以将所选择的候选框和选定的卷积层(例如Conv7)进行区域池化，生成一个固定大小的卷积特征。具体的可以是，在选定卷积层中找到所述候选框的对应区域，将该区域分成固定栅格大小的子区域，每个子区域的特征取最大值，最终得到一个对应于所述候选框的固定大小的卷积特征。
步骤S204，将所述卷积特征经过多个卷积层，对所述候选框的物体进行分类。
在本发明实施例中，将所述卷积特征经过一系列的卷积层(例如Conv12与Conv13)，实现对每个候选框的物体分类，即实现在图片中候选框所在区域的物体的分类，以便完成对输入图片的物体检测。
在本发明实施例中，所述真实包围盒的预测框沿用了SSD的设计结构，即预测框的回归器对于所有物体类别是共享的，因此在大规模源域上训练好的回归器，可以被用作目标域的回归器的初始化，这样就规避了回归器在目标域数据有限的调节下，微调的过拟合风险。而且所述物体分类过程沿用了Faster RCNN由粗到细的设计结构，即先判断预测框是否为物体，然后再判断该物体为何类物体，这样在很大程度上减小了物体检测器在目标域数据有限下的训练难度。
步骤S205，根据源域的数据对所述物体检测器进行预训练。
步骤S206，根据目标域的数据获取知识迁移正则项和背景抑制正则项，并根据所述知识迁移正则项和所述背景抑制正则项调节预训练的所述物体检测器。
在本发明实施例中，可以先使用现有的大规模的源域数据(例如标准的COCO数据集等)对所述物体检测器进行预训练，然后再使用目标域的有限数据(即有限样本)，对预训练的所述物体检测器进行微调。通过在微调过程中加入新型的正则项设计，即知识迁移正则项和背景抑制正则项，将源域的物体知识和目标域的物体知识集成进所述物体检测器的训练过程，进一步提高所述物体检测器的泛化能力。其中，使用源域的数据对所述物体检测器进行预训练时，可以将所述物体检测器称为源域检测器，使用目标域的数据对预训练的所述物体检测器进行微调(即调节)时，可以将所述物体检测器称为目标域检测器。本发明实施例中的数据和样本通常是指图片。所述源域的物体知识可以是指所述源域的物体的类别概率向量等。所述目标域的物体知识可以是指所述目标域的物体的真实包围盒等。
可选的，所述根据目标域的数据获取知识迁移正则项，并根据所述知识迁移正则项调节预训练的所述物体检测器包括：
在目标域检测器中引出一个源域物体类别的预测分支；
对于所述目标域检测器产生的每一个候选框，所述预测分支产生一个源域物体类别的预测概率向量
Figure BDA0001526946720000071
将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，获取所述每一个候选框对应的源域物体类别知识向量
Figure BDA0001526946720000072
根据所述源域物体类别的预测概率向量
Figure BDA00015269467200000713
和所述源域物体类别知识向量
Figure BDA0001526946720000073
计算交叉熵损失函数
Figure BDA0001526946720000074
根据所述交叉熵损失函数LTK调节所述目标域检测器。
在本发明实施例中，由于源域的数据是大规模的，所以预训练的所述物体检测器(即源域检测器)中包含了丰富的通用物体信息，为了将源域的物体知识集成进目标域的检测模型训练，在微调的过程中加入知识迁移正则项。首先，可以在目标域检测器的最后引出一个源域物体类别的预测分支，即在目标域检测器中将卷积特征经过多个卷积层后，不仅对候选框的物体进行分类，还引出一个源域物体类别的预测分支，对于目标域检测器产生的每一个候选框，该分支都会产生一个关于源域物体类别的预测概率向量
Figure BDA0001526946720000075
其次，也将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，每一个候选框会对应产生一个源域物体类别知识向量
Figure BDA0001526946720000076
利用交叉熵损失函数
Figure BDA0001526946720000077
计算所述源域物体类别的预测概率向量
Figure BDA0001526946720000078
与所述源域物体类别知识向量
Figure BDA0001526946720000079
的误差，从而将知识向量集成到目标域检测器的训练中。其中，所述通用物体信息包括但不限于物体的颜色、形状等。
在根据所述交叉熵损失函数LTK调节所述目标域检测器时，目标域检测器的源域物体类别的预测概率向量
Figure BDA00015269467200000710
与源域物体类别知识向量
Figure BDA00015269467200000711
之间的误差会逐渐减小，这样，源域的物体知识实际上就集成到所述目标域检测器的训练中。
对于目标域检测器产生的每一个候选框，都会产生一个源域物体类别知识向量
Figure BDA00015269467200000712
例如源域物体有：狗、猫、马。目标域的候选框实际上是骆驼，那么这个候选框得到的源域物体类别知识向量，就是骆驼被判定为狗、猫、马的概率向量，比如分别为10％、5％、85％。
为了产生所述的源域知识，可以将目标域检测器产生的候选框送入源域检测器，对其进行区域池化。
可选的，所述根据目标域的数据获取背景抑制正则项，并根据所述背景抑制正则项调节预训练的所述物体检测器包括：
选定一个卷积层，根据所述目标域的数据的真实包围盒，获取背景在所述卷积层的特征上对应的区域FBD；
根据所述区域FBD，计算欧式距离损失函数LBD＝||FBD||2；
根据所述欧式距离损失函数LBD调节目标域检测器。
在本发明实施例中，由于复杂的图片背景会严重干扰物体的定位，特别是在目标域数据十分有限的情况下，因此，可以利用目标域图片的真实包围盒知识，设计一个背景抑制正则项。具体的，选定一个卷积层(例如Conv5-3)，利用目标域图片中物体的真实包围盒，找到背景在该卷积层特征上对应的区域FBD(由于真实包围盒是物体的，所以在给定真实包围盒后，就可以确定图片中物体区域和背景区域)，然后，随着训练的进行，物体检测器需将欧式距离损失函数LBD＝||FBD||2最小化，以使目标域图片中的背景区域特征FBD趋于0，从而减小目标域数据中的背景扰动。
在本发明实施例中，在对目标域检测器进行微调时，最小化知识迁移正则项LTK和背景抑制正则项LBD，可以有效的利用源域的物体知识和目标域的物体知识，提高目标域数据有限条件下的物体检测器的性能。
参见图3，是本发明实施例三提供的基于有限样本的物体检测器的实现装置的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。
所述实现装置包括：
建立模块31，用于建立基于神经网络的物体检测器；
训练模块32，用于基于正则化的迁移学习过程，训练所述物体检测器。
可选的，所述建立模块31包括：
预测框获取单元，用于将图片输入SSD形式的检测模型，获得真实包围盒的预测框和所述预测框为物体的概率；
选择单元，用于将概率大于预设阈值的预测框作为候选框；
特征生成单元，用于将所述候选框和选定的卷积层进行区域池化，生成一个预设大小的卷积特征；
分类单元，用于将所述卷积特征经过多个卷积层，对所述候选框的物体进行分类。
可选的，所述训练模块32包括：
预训练单元，用于根据源域的数据对所述物体检测器进行预训练；
调节单元，用于根据目标域的数据获取知识迁移正则项和背景抑制正则项，并根据所述知识迁移正则项和所述背景抑制正则项调节预训练的所述物体检测器；
所述调节单元包括：
引出子单元，用于在目标域检测器中引出一个源域物体类别的预测分支；
第一获取子单元，用于对于所述目标域检测器产生的每一个候选框，所述预测分支产生一个源域物体类别的预测概率向量
Figure BDA0001526946720000091
第二获取子单元，用于将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，获取所述每一个候选框对应的源域物体类别知识向量
Figure BDA0001526946720000092
第一计算子单元，用于根据所述源域物体类别的预测概率向量
Figure BDA0001526946720000093
和所述源域物体类别知识向量
Figure BDA0001526946720000094
计算交叉熵损失函数
Figure BDA0001526946720000095
第一调节子单元，用于根据所述交叉熵损失函数LTK调节所述目标域检测器；
特征获取子单元，用于选定一个卷积层，根据所述目标域的数据的真实包围盒，获取背景在所述卷积层的特征上对应的区域FBD；
第二计算子单元，用于根据所述区域FBD，计算欧式距离损失函数LBD＝||FBD||2；
第二调节子单元，用于根据所述欧式距离损失函数LBD调节目标域检测器。
本发明实施例提供的装置可以应用在前述方法实施例一和实施例二中，详情参见上述方法实施例一和实施例二的描述，在此不再赘述。
图4是本发明实施例四提供的基于有限样本的物体检测器的实现装置的示意图。如图4所示，该实施例的基于有限样本的物体检测器的实现装置4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个基于有限样本的物体检测器的实现方法实施例中的步骤，例如图1所示的步骤S101至S102。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块31至32的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述基于有限样本的物体检测器的实现装置4中的执行过程。例如，所述计算机程序42可以被分割成建立模块和训练模块，各模块具体功能如下：
建立模块，用于建立基于神经网络的物体检测器；
训练模块，用于基于正则化的迁移学习过程，训练所述物体检测器。
可选的，所述建立模块包括：
预测框获取单元，用于将图片输入SSD形式的检测模型，获得真实包围盒的预测框和所述预测框为物体的概率；
选择单元，用于将概率大于预设阈值的预测框作为候选框；
特征生成单元，用于将所述候选框和选定的卷积层进行区域池化，生成一个预设大小的卷积特征；
分类单元，用于将所述卷积特征经过多个卷积层，对所述候选框的物体进行分类。
可选的，所述训练模块包括：
预训练单元，用于根据源域的数据对所述物体检测器进行预训练；
调节单元，用于根据目标域的数据获取知识迁移正则项和背景抑制正则项，并根据所述知识迁移正则项和所述背景抑制正则项调节预训练的所述物体检测器；
所述调节单元包括：
引出子单元，用于在目标域检测器中引出一个源域物体类别的预测分支；
第一获取子单元，用于对于所述目标域检测器产生的每一个候选框，所述预测分支产生一个源域物体类别的预测概率向量
Figure BDA0001526946720000115
第二获取子单元，用于将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，获取所述每一个候选框对应的源域物体类别知识向量
Figure BDA0001526946720000111
第一计算子单元，用于根据所述源域物体类别的预测概率向量
Figure BDA0001526946720000112
和所述源域物体类别知识向量
Figure BDA0001526946720000113
计算交叉熵损失函数
Figure BDA0001526946720000114
第一调节子单元，用于根据所述交叉熵损失函数LTK调节所述目标域检测器；
特征获取子单元，用于选定一个卷积层，根据所述目标域的数据的真实包围盒，获取背景在所述卷积层的特征上对应的区域FBD；
第二计算子单元，用于根据所述区域FBD，计算欧式距离损失函数LBD＝||FBD||2；
第二调节子单元，用于根据所述欧式距离损失函数LBD调节目标域检测器。
所述基于有限样本的物体检测器的实现装置4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于有限样本的物体检测器的实现装置可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是基于有限样本的物体检测器的实现装置4的示例，并不构成对基于有限样本的物体检测器的实现装置4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于有限样本的物体检测器的实现装置还可以包括输入输出设备、网络接入设备、总线等。
应当理解，在本发明实施例中，所述处理器40可以是图形处理器(GraphicsProcessing Unit，GPU)，中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述基于有限样本的物体检测器的实现装置4的内部存储单元，例如基于有限样本的物体检测器的实现装置4的硬盘或内存。所述存储器41也可以是所述基于有限样本的物体检测器的实现装置4的外部存储设备，例如所述基于有限样本的物体检测器的实现装置4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述基于有限样本的物体检测器的实现装置4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述基于有限样本的物体检测器的实现装置所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于有限样本的物体检测器的实现方法，其特征在于，所述实现方法包括：
建立基于神经网络的物体检测器；
基于正则化的迁移学习过程，训练所述物体检测器；
所述建立基于神经网络的物体检测器包括：
将图片输入SSD形式的检测模型，获得真实包围盒的预测框和所述预测框为物体的概率；
将概率大于预设阈值的预测框作为候选框；
将所述候选框和选定的卷积层进行区域池化，生成一个固定大小的卷积特征；
将所述卷积特征经过多个卷积层，对所述候选框的物体进行分类；
所述基于正则化的迁移学习过程，训练所述物体检测器包括：
根据源域的数据对所述物体检测器进行预训练；
根据目标域的数据获取知识迁移正则项和背景抑制正则项，并根据所述知识迁移正则项和所述背景抑制正则项调节预训练的所述物体检测器；
所述根据目标域的数据获取知识迁移正则项，并根据所述知识迁移正则项调节预训练的所述物体检测器包括：
在目标域检测器中引出一个源域物体类别的预测分支；
对于所述目标域检测器产生的每一个候选框，所述预测分支产生一个源域物体类别的预测概率向量
Figure FDA0002395500050000011
将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，获取所述每一个候选框对应的源域物体类别知识向量Ps T；
根据所述源域物体类别的预测概率向量
Figure FDA0002395500050000012
和所述源域物体类别知识向量Ps T，计算交叉熵损失函数
Figure FDA0002395500050000013
根据所述交叉熵损失函数LTK调节所述目标域检测器；
所述根据目标域的数据获取背景抑制正则项，并根据所述背景抑制正则项调节预训练的所述物体检测器包括：
选定一个卷积层，根据所述目标域的数据的真实包围盒，获取背景在所述卷积层的特征上对应的区域FBD；
根据所述区域FBD，计算欧式距离损失函数LBD＝||FBD||2；
根据所述欧式距离损失函数LBD调节目标域检测器。
2.一种基于有限样本的物体检测器的实现装置，其特征在于，所述实现装置包括：
建立模块，用于建立基于神经网络的物体检测器；
训练模块，用于基于正则化的迁移学习过程，训练所述物体检测器；
所述建立模块包括：
预测框获取单元，用于将图片输入SSD形式的检测模型，获得真实包围盒的预测框和所述预测框为物体的概率；
选择单元，用于将概率大于预设阈值的预测框作为候选框；
特征生成单元，用于将所述候选框和选定的卷积层进行区域池化，生成一个固定大小的卷积特征；
分类单元，用于将所述卷积特征经过多个卷积层，对所述候选框的物体进行分类；
所述训练模块包括：
预训练单元，用于根据源域的数据对所述物体检测器进行预训练；
调节单元，用于根据目标域的数据获取知识迁移正则项和背景抑制正则项，并根据所述知识迁移正则项和所述背景抑制正则项调节预训练的所述物体检测器；
所述调节单元包括：
引出子单元，用于在目标域检测器中引出一个源域物体类别的预测分支；
第一获取子单元，用于对于所述目标域检测器产生的每一个候选框，所述预测分支产生一个源域物体类别的预测概率向量
Figure FDA0002395500050000031
第二获取子单元，用于将所述目标域检测器产生的每一个候选框送入源域检测器进行区域池化，获取所述每一个候选框对应的源域物体类别知识向量Ps T；
第一计算子单元，用于根据所述源域物体类别的预测概率向量
Figure FDA0002395500050000032
和所述源域物体类别知识向量Ps T，计算交叉熵损失函数
Figure FDA0002395500050000033
第一调节子单元，用于根据所述交叉熵损失函数LTK调节所述目标域检测器；
特征获取子单元，用于选定一个卷积层，根据所述目标域的数据的真实包围盒，获取背景在所述卷积层的特征上对应的区域FBD；
第二计算子单元，用于根据所述区域FBD，计算欧式距离损失函数LBD＝||FBD||2；
第二调节子单元，用于根据所述欧式距离损失函数LBD调节目标域检测器。
3.一种基于有限样本的物体检测器的实现装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述实现方法的步骤。
4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述实现方法的步骤。
CN201711443454.6A 2017-12-27 2017-12-27 基于有限样本的物体检测器的实现方法及装置 Active CN108229658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711443454.6A CN108229658B (zh) 2017-12-27 2017-12-27 基于有限样本的物体检测器的实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711443454.6A CN108229658B (zh) 2017-12-27 2017-12-27 基于有限样本的物体检测器的实现方法及装置

Publications (2)

Publication Number Publication Date
CN108229658A CN108229658A (zh) 2018-06-29
CN108229658B true CN108229658B (zh) 2020-06-12

Family

ID=62648954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711443454.6A Active CN108229658B (zh) 2017-12-27 2017-12-27 基于有限样本的物体检测器的实现方法及装置

Country Status (1)

Country Link
CN (1) CN108229658B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189921B (zh) * 2018-08-07 2021-09-07 创新先进技术有限公司 评论评估模型的训练方法和装置
CN109740676B (zh) * 2019-01-07 2022-11-22 电子科技大学 基于相似目标的物体检测迁移方法
CN109978014A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种融合密集连接结构的柔性基板缺陷检测方法
CN110033026B (zh) * 2019-03-15 2021-04-02 深圳先进技术研究院 一种连续小样本图像的目标检测方法、装置及设备
CN111401454A (zh) * 2020-03-19 2020-07-10 创新奇智(重庆)科技有限公司 一种基于迁移学习的少样本目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN107463954A (zh) * 2017-07-21 2017-12-12 华中科技大学 一种模糊异谱图像的模板匹配识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345962B2 (en) * 2007-11-29 2013-01-01 Nec Laboratories America, Inc. Transfer learning methods and systems for feed-forward visual recognition systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN107463954A (zh) * 2017-07-21 2017-12-12 华中科技大学 一种模糊异谱图像的模板匹配识别方法
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Also Published As

Publication number Publication date
CN108229658A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229658B (zh) 基于有限样本的物体检测器的实现方法及装置
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN110458107B (zh) 用于图像识别的方法和装置
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
US10140522B2 (en) Fully convolutional pyramid networks for pedestrian detection
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN108229353B (zh) 人体图像的分类方法和装置、电子设备、存储介质、程序
WO2021190296A1 (zh) 一种动态手势识别方法及设备
JP7125562B2 (ja) 目標追跡方法、コンピュータプログラム、及び電子機器
Sun et al. Fast object detection based on binary deep convolution neural networks
CN109961107B (zh) 目标检测模型的训练方法、装置、电子设备及存储介质
EP4024270A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
US20210166058A1 (en) Image generation method and computing device
JP2017527013A (ja) サービスとしての適応特徴化
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN116468970A (zh) 模型训练方法、图像处理方法、装置、设备及介质
CN111767710A (zh) 印尼语的情感分类方法、装置、设备及介质
CN115578613B (zh) 目标再识别模型的训练方法和目标再识别方法
CN110232407B (zh) 图像处理方法和装置、电子设备和计算机存储介质
WO2020132825A1 (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant