CN116740502A - 目标检测模型处理方法、装置及电子设备 - Google Patents
目标检测模型处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116740502A CN116740502A CN202310746998.9A CN202310746998A CN116740502A CN 116740502 A CN116740502 A CN 116740502A CN 202310746998 A CN202310746998 A CN 202310746998A CN 116740502 A CN116740502 A CN 116740502A
- Authority
- CN
- China
- Prior art keywords
- sample
- classification
- samples
- detection model
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的目标检测模型处理方法、装置及电子设备，先通过第一样本集合中的大量已标注样本对目标检测模型进行第一阶段训练，使所述目标检测模型在具有一定分类能力的同时具有识别前景目标的能力，再使用少量标注的新增分类的第二样本对目标检测模型进行第二阶段训练，在第二阶段训练中，不调整特征提取网络的网络参数，仅调整分类分支的分类权重，从而在保留了第一阶段训练获得的特征提取能力的情况下，将所述目标检测模型迅速调整为可以对新增的分类进行目标识别。如此，在不需要采用复杂模型结构的情况下可以实现使用小样本训练目标检测模型。
Description
技术领域
本申请涉及机器学习领域，具体而言，涉及一种目标检测模型处理方法、装置及电子设备。
背景技术
在采用机器学习的目标检测方案中，通常需要大量带有已标注标签的样本对目标检测模型进行训练。但是，需要训练出较为准确的目标检测模型，依赖大量的已标注图像样本，但在实际使用过程中，可能存在某些待检测目标类别样本不足的问题。在一些方案中，采用了基于Attention-RPN的少样本目标检测方法，但是由于加入Attention结构，且输入包含了两部分数据，这会导致模型的推理速度相比普通的目标检测模型慢很多。
发明内容
为了克服现有技术中的上述不足，本申请的目的在于提供一种目标检测模型处理方法，所述方法包括：
获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支；
获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签；
通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数；
获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签；所述第二样本的样本标签包括第二分类标签；
通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征；
将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
在一种可能的实现方式中，至少部分所述第二样本的第二样本标签与所述第一样本集合中各所述第一样本的第一样本标签不同。
在一种可能的实现方式中，所述通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数的步骤，包括：
通过所述特征提取网络对所述第一样本的样本图像进行特征提取，获得第一图像特征；
将所述第一图像特征分别输入所述分类分支、所述目标框回归分支和所述前景判定分支进行处理，获得第一预测结果，所述第一预测结果包括第一分类预测结果、第一目标框位置预测结果及第一前景预测结果；
根据所述第一样本的样本标签和所述第一预测结果调整所述特征提取网络及预测网络的网络参数。
在一种可能的实现方式中，所述将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重的步骤，包括：
将分别每个所述第二样本对应的所述第二图像特征输入所述分类分支进行处理，获得与各所述第二样本对应的分类特征向量，所述分类特征向量为输入所述分类分支最后一层的特征向量；
根据各所述第二样本的所述分类特征向量及调整所述分类分支最后一层的分类权重，并根据所述第二样本的所述第二分类标签添加新的分类预测结果标签。
在一种可能的实现方式中，所述根据各所述第二样本的所述分类特征向量及调整所述分类分支最后一层的分类权重的步骤，包括：
针对每个分类，计算多个所述分类特征向量中与该分类对应的特征向量的均值；
根据各所述分类对应的所述均值组成的权重矩阵及替换所述分类分支最后一层的分类权重。
在一种可能的实现方式中，所述获取第二样本集合的步骤，包括：
针对每个种的所述第二分类标签对应的分类，获得该分类的目标在不同角度、不同光照和/或不同姿态下的图像作为所述第二样本图像。
在一种可能的实现方式中，所述获取第二样本集合的步骤，包括：
获取待标注图像集合；
从所述待标注图像集合中选取部分图像作为所述第二样本的样本图像，并未所述第二样本添加第二分类标签；
所述将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重的步骤之后，所述方法还包括：
使用所述目标检测模型对所述待标注图像集合中出所述第二样本以外的其他图像进行分类标注。
本申请的另一目的在于提供一种目标检测模型处理装置，所述目标检测模型处理装置包括：
模型获取模块，用于获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支；
第一样本获取模块，用于获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签；
第一训练模块，用于通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数；
第二样本获取模块，用于获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签；所述第二样本的样本标签包括第二分类标签；
第二训练模块，用于通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征；将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
本申请的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本申请提供的目标检测模型处理方法。
本申请的另一目的在于提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现本申请提供的目标检测模型处理方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请提供的目标检测模型处理方法、装置及电子设备，先通过第一样本集合中的大量已标注样本对目标检测模型进行第一阶段训练，使所述目标检测模型在具有一定分类能力的同时具有识别前景目标的能力，再使用少量标注的新增分类的第二样本对目标检测模型进行第二阶段训练，在第二阶段训练中，不调整特征提取网络的网络参数，仅调整分类分支的分类权重，从而在保留了第一阶段训练获得的特征提取能力的情况下，将所述目标检测模型迅速调整为可以对新增的分类进行目标识别。如此，在不需要采用复杂模型结构的情况下可以实现使用小样本训练目标检测模型。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本实施例提供的电子设备的示意图；
图2为本实施例提供的目标检测模型处理的方法的流程示意图；
图3为本实施例提供的目标检测模型的结构示意图；
图4为本实施例提供的目标检测模型处理装置的功能模块示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参照图1，图1为所述电子设备100的方框示意图。所述电子设备100包括目标检测模型处理装置110、机器可读存储介质120及处理器130。
所述机器可读存储介质120、处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述目标检测模型处理装置110包括至少一个可以软件或固件(firmware)的形式存储于所述机器可读存储介质120中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述机器可读存储介质120中存储的可执行模块，例如所述目标检测模型处理装置110所包括的软件功能模块及计算机程序等。
其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序/可执行本实施例提供的所述目标检测模型处理方法。
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参照图2，图2为应用于图1所示的电子设备100的一种目标检测模型处理方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。
步骤S110，获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支。
请参照图3，图3为本实施例提供的一种目标检测模型的结构示意图，该目标检测模型包括特征提取网络及预测网络。相较于通常的目标检测模型，本实施例提供的目标检测模型中，所述预测网络处理包括分类分支和目标框回归分支，还增设了前景判断分支。
其中，所述特征提取模型用于对输入的图像进行特征提取处理，获得对应的图像特征。所述分类分支用于对所述特征提取模型提取的图像特征进行处理，以获得输入的图像中的目标所述的分类。所述目标框回归分支用于对所述特征提取模型提取的图像特征进行处理，以获得图像中的目标在输入图像中所处的位置。所述前景判断分支用于对所述特征提取模型提取的图像特征进行处理，以获得所述输入图像中的目标是否为前景图像的预测判断结构。
步骤S120，获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签。
在本实施例中，可以对常规的图像样本数据集进行调整作为所述第一样本集合。在一个例子中，常规的图像样本数据集中的样本的标签通过仅包括分类标签及目标框位置标签，在本实施例中，可以在此类样本的基础上现增加一个标签“是否为前景”，例如：原本标注信息为{“classid”:3,“bbox”:[10,10,200,200]},改为{“classid”:3,“bbox”:[10,10,200,200],“foreground”:1}，其中，“classid”为所述第一分类标签，“bbox”为所述第一目标框位置标签，“foreground”为所述第一前景标签。
步骤S130，通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数。
具体地，在本实施例中，可以先通过所述特征提取网络对所述第一样本的样本图像进行特征提取，获得第一图像特征。在将所述第一图像特征分别输入所述分类分支、所述目标框回归分支和所述前景判定分支进行处理，获得第一预测结果，所述第一预测结果包括第一分类预测结果、第一目标框位置预测结果及第一前景预测结果。然后根据所述第一样本的样本标签和所述第一预测结果调整所述特征提取网络及预测网络的网络参数。
经过步骤S130的训练之后，所述目标检测模型的特征提取网络已经具有特征提取能力，且提取获得特征具有能表达图像是否为前景目标、目标为何种分类及目标在图像中什么位置的能力。
需要说明的是，经过步骤S130的训练，所述目标检测模型针对所述第一样本集合中已有的分类具有一定目标识别能力，但针对所述第一样本集合中没有的分类目标，识别能力可能尚不完备。例如，所述第一样本集合中包括分类A、分类B和分类C的图像，但是没有分类D的图像，则通过步骤S130训练后，所述目标检测模型可以较好地对分类A、分类B和分类C进行识别，但可能无法分类D进行较好的识别。
步骤S140，获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签。所述第二样本的样本标签包括第二分类标签。
在本实施例中，至少部分所述第二样本的第二样本标签与所述第一样本集合中各所述第一样本的第一样本标签不同。
例如，所述第一样本集合中包括分类A、分类B和分类C的图像，第二样本集合中包括分类D和分类E的图像。
步骤S150，通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征。将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
在本实施例中，可以将分别每个所述第二样本对应的所述第二图像特征输入所述分类分支进行处理，获得与各所述第二样本对应的分类特征向量，所述分类特征向量为输入所述分类分支最后一层的特征向量。
然后，根据各所述第二样本的所述分类特征向量及调整所述分类分支最后一层的分类权重，并根据所述第二样本的所述第二分类标签添加新的分类预测结果标签。
需要说明的是，在步骤S150中，仅调整所述分类分支的分类权重，不调整所述特征提取网络的网络参数，也不所述预测网络其他分支的权重。
具体地，针对每个分类，计算多个所述分类特征向量中与该分类对应的特征向量的均值，然后根据各所述分类对应的所述均值组成的权重矩阵及替换所述分类分支最后一层的分类权重。
例如，可以记第i个分类的第j个第二样本的分类特征向量为Fij，然后计算每个分类特征向量的均值其中E表示数学期望，然后将这些均值向量拼接为权重矩阵，/>并用该权重矩阵替换所述分类分支最后一层的权重。
基于上述设计，本申请提供的目标检测模型处理方法、装置及电子设备，先通过第一样本集合中的大量已标注样本对目标检测模型进行第一阶段训练，使所述目标检测模型在具有一定分类能力的同时具有识别前景目标的能力，再使用少量标注的新增分类的第二样本对目标检测模型进行第二阶段训练，在第二阶段训练中，不调整特征提取网络的网络参数，仅调整分类分支的分类权重，从而在保留了第一阶段训练获得的特征提取能力的情况下，将所述目标检测模型迅速调整为可以对新增的分类进行目标识别。如此，在不需要采用复杂模型结构的情况下可以实现使用小样本训练目标检测模型。
在一种可能的实现方式中，在步骤S140中，可以针对每个种的所述第二分类标签对应的分类，获得该分类的目标在不同角度、不同光照和/或不同姿态下的图像作为所述第二样本图像。进一步地，针对同一分类，也可以获得各个不同品种的图像作为所述第二样本图像。
在一种可能的实现方式中，在步骤S140中可以获取待标注图像集合，然后从所述待标注图像集合中选取部分图像作为所述第二样本的样本图像，并未所述第二样本添加第二分类标签。在步骤S150中之后可以使用所述目标检测模型对所述待标注图像集合中出所述第二样本以外的其他图像进行分类标注。
也就是说，在针对具有大量待标注图像的待标注图像集合，可以从中选取少量待标注图像标注后作为所述第二样本，在使用所述第二样本训练所述目标检测模型后，就可以使用所述目标检测模型对剩余的待标注图像进行标注。
请参照图4，本实施例还提供一种目标检测模型处理装置110，目标检测模型处理装置110包括至少一个可以软件形式存储于机器可读存储介质120中的功能模块。从功能上划分，目标检测模型处理装置110可以包括模型获取模块111、第一样本获取模块112、第一训练模块113、第二样本获取模块114及第二训练模块115。
所述模型获取模块111，用于获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支。
本实施例中，所述模型获取模块111可用于执行图2所示的步骤S110，关于所述模型获取模块111的具体描述可参对所述步骤S110的描述。
所述第一样本获取模块112，用于获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签。
本实施例中，所述第一样本获取模块112可用于执行图2所示的步骤S120，关于所述第一样本获取模块112的具体描述可参对所述步骤S120的描述。
所述第一训练模块113，用于通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数。
本实施例中，所述第一训练模块113可用于执行图2所示的步骤S130，关于所述第一训练模块113的具体描述可参对所述步骤S130的描述。
所述第二样本获取模块114，用于获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签。所述第二样本的样本标签包括第二分类标签。
本实施例中，所述第二样本获取模块114可用于执行图2所示的步骤S140，关于所述第二样本获取模块114的具体描述可参对所述步骤S140的描述。
所述第二训练模块115，用于通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征。将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
本实施例中，所述第二训练模块115可用于执行图2所示的步骤S150，关于所述第二训练模块115的具体描述可参对所述步骤S150的描述。
综上所述，本申请提供的目标检测模型处理方法、装置及电子设备，先通过第一样本集合中的大量已标注样本对目标检测模型进行第一阶段训练，使所述目标检测模型在具有一定分类能力的同时具有识别前景目标的能力，再使用少量标注的新增分类的第二样本对目标检测模型进行第二阶段训练，在第二阶段训练中，不调整特征提取网络的网络参数，仅调整分类分支的分类权重，从而在保留了第一阶段训练获得的特征提取能力的情况下，将所述目标检测模型迅速调整为可以对新增的分类进行目标识别。如此，在不需要采用复杂模型结构的情况下可以实现使用小样本训练目标检测模型。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种目标检测模型处理方法，其特征在于，所述方法包括：
获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支；
获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签；
通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数；
获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签；所述第二样本的样本标签包括第二分类标签；
通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征；
将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
2.根据权利要求1所述的方法，其特征在于，至少部分所述第二样本的第二样本标签与所述第一样本集合中各所述第一样本的第一样本标签不同。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数的步骤，包括：
通过所述特征提取网络对所述第一样本的样本图像进行特征提取，获得第一图像特征；
将所述第一图像特征分别输入所述分类分支、所述目标框回归分支和所述前景判定分支进行处理，获得第一预测结果，所述第一预测结果包括第一分类预测结果、第一目标框位置预测结果及第一前景预测结果；
根据所述第一样本的样本标签和所述第一预测结果调整所述特征提取网络及预测网络的网络参数。
4.根据权利要求2所述的方法，其特征在于，所述将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重的步骤，包括：
将分别每个所述第二样本对应的所述第二图像特征输入所述分类分支进行处理，获得与各所述第二样本对应的分类特征向量，所述分类特征向量为输入所述分类分支最后一层的特征向量；
根据各所述第二样本的所述分类特征向量及调整所述分类分支最后一层的分类权重，并根据所述第二样本的所述第二分类标签添加新的分类预测结果标签。
5.根据权利要求4所述的方法，其特征在于，所述根据各所述第二样本的所述分类特征向量及调整所述分类分支最后一层的分类权重的步骤，包括：
针对每个分类，计算多个所述分类特征向量中与该分类对应的特征向量的均值；
根据各所述分类对应的所述均值组成的权重矩阵及替换所述分类分支最后一层的分类权重。
6.根据权利要求2所述的方法，其特征在于，所述获取第二样本集合的步骤，包括：
针对每个种的所述第二分类标签对应的分类，获得该分类的目标在不同角度、不同光照和/或不同姿态下的图像作为所述第二样本图像。
7.根据权利要求2所述的方法，其特征在于，
所述获取第二样本集合的步骤，包括：
获取待标注图像集合；
从所述待标注图像集合中选取部分图像作为所述第二样本的样本图像，并未所述第二样本添加第二分类标签；
所述将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重的步骤之后，所述方法还包括：
使用所述目标检测模型对所述待标注图像集合中出所述第二样本以外的其他图像进行分类标注。
8.一种目标检测模型处理装置，其特征在于，所述目标检测模型处理装置包括：
模型获取模块，用于获取目标检测模型，所述目标检测模型包括特征提取网络及预测网络，所述预测网络包括分类分支、目标框回归分支及前景判定分支；
第一样本获取模块，用于获取第一样本集合，所述第一样本集合包括多个第一样本，所述第一样本包括样本图像及样本标签，所述第一样本的样本标签包括第一分类标签、第一目标框位置标签及第一前景标签；
第一训练模块，用于通过所述第一样本对所述目标检测模型进行训练，以调整所述特征提取网络及所述预测网络的网络参数；
第二样本获取模块，用于获取第二样本集合，所述第二样本集合包括多个第二样本，所述第二样本包括样本图像及样本标签；所述第二样本的样本标签包括第二分类标签；
第二训练模块，用于通过所述特征提取网络对所述第二样本的样本图像进行特征提取，获得第二图像特征；将所述第二图像特征输入所述分类分支进行处理，根据处理结果及各所述第二样本的所述第二分类标签调整所述分类分支的分类权重。
9.一种电子设备，其特征在于，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现权利要求1-7任意一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746998.9A CN116740502A (zh) | 2023-06-21 | 2023-06-21 | 目标检测模型处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746998.9A CN116740502A (zh) | 2023-06-21 | 2023-06-21 | 目标检测模型处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740502A true CN116740502A (zh) | 2023-09-12 |
Family
ID=87916668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310746998.9A Pending CN116740502A (zh) | 2023-06-21 | 2023-06-21 | 目标检测模型处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740502A (zh) |
-
2023
- 2023-06-21 CN CN202310746998.9A patent/CN116740502A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112700408B (zh) | 模型训练方法、图像质量评估方法及装置 | |
| US10824832B2 (en) | Barcode tag detection in side view sample tube images for laboratory automation | |
| CN111126224A (zh) | 车辆检测方法及分类识别模型训练方法 | |
| US20180144216A1 (en) | Classification method, classification module and computer program product using the same | |
| CN109739904B (zh) | 一种时间序列的标记方法、装置、设备和存储介质 | |
| CN109460787B (zh) | 入侵检测模型建立方法、装置及数据处理设备 | |
| CN110135514B (zh) | 一种工件分类方法、装置、设备及介质 | |
| CN111461101B (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
| CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
| CN110287936B (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
| CN111382635A (zh) | 一种商品类别识别方法、装置及电子设备 | |
| CN109166093B (zh) | 一种图像显著区域检测方法 | |
| PirahanSiah et al. | Adaptive image segmentation based on peak signal-to-noise ratio for a license plate recognition system | |
| CN115082092B (zh) | 基于物联网的产品溯源方法及系统 | |
| CN116740502A (zh) | 目标检测模型处理方法、装置及电子设备 | |
| Gan et al. | Automated Classification System for Tick‐Bite Defect on Leather | |
| CN112446428B (zh) | 一种图像数据处理方法及装置 | |
| CN111127485B (zh) | 一种ct图像中目标区域提取方法、装置及设备 | |
| CN111931229B (zh) | 一种数据识别方法、装置和存储介质 | |
| CN111275135B (zh) | 一种故障诊断方法、装置、设备、介质 | |
| CN113657180A (zh) | 一种车辆识别方法、服务器和计算机可读存储介质 | |
| CN116758354A (zh) | 分类模型处理方法、装置及电子设备 | |
| CN114118449B (zh) | 基于偏标记学习模型的图片标签识别方法、介质及设备 | |
| CN116958838B (zh) | 一种基于无人机航测技术的森林资源监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |