CN117351240B - 一种正样本采样方法、系统、存储介质和电子设备 - Google Patents
一种正样本采样方法、系统、存储介质和电子设备 Download PDFInfo
- Publication number
- CN117351240B CN117351240B CN202311321670.9A CN202311321670A CN117351240B CN 117351240 B CN117351240 B CN 117351240B CN 202311321670 A CN202311321670 A CN 202311321670A CN 117351240 B CN117351240 B CN 117351240B
- Authority
- CN
- China
- Prior art keywords
- positive sample
- image
- partial image
- partial
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体公开一种正样本采样方法、系统、存储介质和电子设备，所述方法包括：获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样。本发明能够平衡正样本的采样比例，消除错误标注对模型训练的影响，在节约人工成本的同时，还能提升模型的检测性能。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种正样本采样方法、系统、存储介质和电子设备。
背景技术
对于目标检测技术，在实际工程应用中为适应不同项目现场的需要，不可避免地会在现有的数据集中添加新项目场景相关的数据。在针对模型检测性能较差的类别针对性的采集数据时，会不可避免地引入其它类别的数据，但并非全部数据都适合模型学习，例如有一些极小目标、模糊目标、遮挡严重的目标等，此类目标可以笼统的概括为困难样本，新采集的数据中的困难样本的数量可能是简单样本数量的数倍甚至数十倍，会导致模型漏检和误检增多，甚至模型难以收敛。
现有的目标检测方法中对简单样本和困难样本的正样本的采样大都采用相同的策略，没有针对性的根据样本的难易程度采样，在一些正负样本采样策略如在线困难样本挖掘(OHEM)，其核心是多采样模型检测效果较差的困难样本作为训练的样本，从而改善网络检测效果，但这种通过与标签iou大小作为阈值的方式筛选正样本的方式较为粗糙，尤其在标注标签中存在较多错误标注的时候更容易引入大量的不符合检测目标的负样本，同时还削减了高质量正样本的比例，因此不适合通过在线困难样本挖掘的方式平衡正负样本采样。
因此，亟需提供一种技术方案解决上述问题。
发明内容
为解决上述技术问题，本发明提供了一种正样本采样方法、系统、存储介质和电子设备。
第一方面，本发明提供一种正样本采样方法，该方法的技术方案如下：
获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；
计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样。
本发明的一种正样本采样方法的有益效果如下：
本发明的方法能够平衡正样本的采样比例，消除错误标注对模型训练的影响，在节约人工成本的同时，还能提升模型的检测性能。
在上述方案的基础上，本发明的一种正样本采样方法还可以做如下改进。
在一种可选的方式中，计算任一第二局部图像与所有的第一局部图像之间的特征相似度平均值的步骤，包括：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和所述任一第二局部图像对应的第二特征向量；
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。
在一种可选的方式中，根据任一第二局部图像的特征相似度平均值的大小进行正样本采样的步骤，包括：
当所述任一第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值大于第二预设值且小于所述第一预设值时，利用最大iou方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值小于所述第二预设值时，舍弃所述任一第二局部图像。
在一种可选的方式中，还包括：
采用梯度下降法，并利用正样本采样所得到的图像以及所有的目标正样本图像，对所述目标类别对应的目标检测模型进行训练，得到训练好的所述目标类别对应的目标检测模型。
在一种可选的方式中，获取任一目标正样本图像中的至少一个第一局部图像的步骤包括：
采集所述任一目标正样本图像中的至少一个包含所述目标类别的第一标注框，并将所述任一目标正样本图像的每个第一标注框所框选的区域均确定为第一局部图像；
获取任一待比对图像中的至少一个第二局部图像的步骤包括：
采集所述任一待比对图像中的至少一个包含所述目标类别的第二标注框，并将所述任一待比对图像的每个第二标注框所框选的区域均确定为第二局部图像。
第二方面，本发明提供一种正样本采样系统，该系统的技术方案如下：
包括：获取模块和采样模块；
所述获取模块用于：获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；
所述采样模块用于：计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样。
本发明的一种正样本采样系统的有益效果如下：
本发明的系统能够平衡正样本的采样比例，消除错误标注对模型训练的影响，在节约人工成本的同时，还能提升模型的检测性能。
在上述方案的基础上，本发明的一种正样本采样系统还可以做如下改进。
在一种可选的方式中，所述采样模块具体用于：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和所述任一第二局部图像对应的第二特征向量；
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。
在一种可选的方式中，所述采样模块具体还用于：
当所述任一第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值大于第二预设值且小于所述第一预设值时，利用最大iou方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值小于所述第二预设值时，舍弃所述任一第二局部图像。
第三方面，本发明提供的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种正样本采样方法的步骤。
第四方面，本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的一种正样本采样方法的步骤。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明的一种正样本采样方法的实施例的流程示意图；
图2为特征匹配及正样本采样的流程示意图；
图3为本发明的一种正样本采样系统的实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明提供的一种正样本采样方法的实施例的流程示意图。如图1所示，包括如下步骤：
S1、获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像。其中：
①所有的第一局部图像和所有的第二局部图像均为目标类别的图像。目标类别可以是人、动物(猫、狗等)、植物(花、草、树木等)、建筑、车辆等，在此不设限制。
②目标正样本图像为：经过筛选出的高质量标注图像，该图像中包含至少一个目标类别。目标正样本图像可通过常规的目标检测模型进行筛选，筛选方式可按照分辨率、是否模糊、是否遮挡等标准进行筛选，在此不设限制。
③待比对图像为：需要进行特征相似度比对并进行样本采样的图像。
④第一局部图像为：目标正样本图像中包含目标类别的局部图像。
⑤第二局部图像为：待比对图像中包含目标类别的局部图像。
例如，样本图像共100个(目标正样本图像为20个，待比对图像为80个)，假设每个目标正样本图像包含10个第一局部图像，每个待比对图像包含10个第二局部图像，则第一局部图像共200个，第二局部图像共800个。
S2、计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样。其中：
①特征相似度为两个图像对应的特征向量之间的相似度。
②根据任一第二局部图像对应的特征相似度平均值的大小进行正样本采样的过程包括：
1)当该第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对该第二局部图像对应的待比对图像进行正样本采样。
需要说明的是，第一预设值为high_threshould。利用相邻grid采样方式，从该第二局部图像对应的待比对图像中，采集3-27个正样本图像。
具体地，目标检测模型以原始的yolov5s模型为例，输入图像分辨率为640*640，第一检测头的高宽为80*80，第二检测头的高宽为40*40，第三检测头的高宽为20*20，每个检测头的每个grid都对应三个anchor，特征相似度值较高的标注框(第二局部图像)的中心点落在哪个grid内，就将此grid的anchor，只要标注框(第二局部图像)的长或者高与anchor的长或者高符合四倍关系之内(标注框的宽(长)小于4*anchor的宽(长)或者标注框的宽(长)大于(1/4)*anchor的宽(长))就将此anchor选择为正样本，同时在相邻的两个grid内选择正样本，因此每个检测头最少有三个正样本(只匹配一个anchor)最多有9个正样本(三个anchor全部匹配)又因有三个检测头，故采样的正样本数量为3-27。
2)当该第二局部图像对应的特征相似度平均值大于第二预设值且小于第一预设值时，利用最大iou方式，对该第二局部图像对应的待比对图像进行正样本采样。
需要说明的是，第二预设值为low_threshould。利用最大iou方式，从该第二局部图像对应的待比对图像中，采集1个正样本图像。
3)当该第二局部图像对应的特征相似度平均值小于第二预设值时，舍弃该第二局部图像。
需要说明的是，当第二局部图像对应的特征相似度平均值小于第二预设值时，将该第二局部图像的像素值填充为114并舍弃该第二局部图像。
本实施例的技术方案能够平衡正样本的采样比例，消除错误标注对模型训练的影响，在节约人工成本的同时，还能提升模型的检测性能。
较优地，计算任一第二局部图像与所有的第一局部图像之间的特征相似度平均值的步骤，包括：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和所述任一第二局部图像对应的第二特征向量。其中：
①目标特征提取网络为：基于imagenet预训练的Alexnet网络。Alexnet网络具有轻量化、特征表示能力强、可解释性强的优势，适合在数据准备阶段生成特征向量。
②在进行特征向量提取之前，需要将第一局部图像与第二局部图像缩放至I∈RH ×W×3，其中H为图像的高度，W为图像的宽度，R为图像的通道数。
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。其中：
余弦相似度计算方式为：M为第一特征向量，M∈R4096；F为第二特征向量，F∈R4096。
例如，第二特征向量为1个，第一特征向量为3个，此时第二特征向量分别与这三个第一特征向量计算特征相似度值，再计算这三个特征相似度值的平均值，并作为该第二局部图像对应的第二局部图像的特征相似度平均值。
图2示出了两个局部图像之间的特征匹配及正样本采样的流程示意图。如图2所示，将第一局部图像和第二局部图像分别输入目标特征提取网络Alexnet，得到第一特征向量和第二特征向量并计算两者之间的特征相似度，根据特征相似度的大小进行正样本采样或进行舍弃。
较优地，还包括：
采用梯度下降法，并利用正样本采样所得到的图像以及所有的目标正样本图像，对所述目标类别对应的目标检测模型进行训练，得到训练好的所述目标类别对应的目标检测模型。其中：
①正样本采样所得到的图像包括：利用相邻grid采样方式和利用最大iou方式进行正样本采样所得到的图像。
②目标检测模型为常规的目标检测模型，在此不设限制。
较优地，获取任一目标正样本图像中的至少一个第一局部图像的步骤包括：
采集所述任一目标正样本图像中的至少一个包含所述目标类别的第一标注框，并将所述任一目标正样本图像的每个第一标注框所框选的区域均确定为第一局部图像。其中：
第一标注框为：目标正样本图像中的目标类别的标注框。
获取任一待比对图像中的至少一个第二局部图像的步骤包括：
采集所述任一待比对图像中的至少一个包含所述目标类别的第二标注框，并将所述任一待比对图像的每个第二标注框所框选的区域均确定为第二局部图像。其中：
第二标注框为：待比对图像中的目标类别的标注框。
本实施例提出了一个基于特征相似度计算的正样本采样策略，与现有的困难样本挖掘方法相比能够有选择性的控制正样本采样质量，在训练阶段没有增加额外的计算开销。与其他正样本采样方法相比，本实施例的技术方案能够精确处理不同标注质量的标注数据；基于特征相似度计算的正样本采样策略能够降低模型训练对标注数据质量的要求，能够节约数据标注与审核阶段的人工成本。
图3示出了本发明提供的一种正样本采样系统200的实施例的结构示意图。如图3所示，该系统200包括：获取模块210和采样模块220；
所述获取模块210用于：获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；
所述采样模块220用于：计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样。
较优地，所述采样模块220具体用于：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和所述任一第二局部图像对应的第二特征向量；
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。
较优地，所述采样模块220具体还用于：
当所述任一第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值大于第二预设值且小于所述第一预设值时，利用最大iou方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；或，当所述任一第二局部图像对应的特征相似度平均值小于所述第二预设值时，舍弃所述任一第二局部图像。
较优地，还包括：模型训练模块；
所述模型训练模块用于：采用梯度下降法，并利用正样本采样所得到的图像以及所有的目标正样本图像，对所述目标类别对应的目标检测模型进行训练，得到训练好的所述目标类别对应的目标检测模型。
较优地，所述获取模块210中获取任一目标正样本图像中的至少一个第一局部图像的过程包括：
采集所述任一目标正样本图像中的至少一个包含所述目标类别的第一标注框，并将所述任一目标正样本图像的每个第一标注框所框选的区域均确定为第一局部图像；
所述获取模块210中获取任一待比对图像中的至少一个第二局部图像的过程包括：
采集所述任一待比对图像中的至少一个包含所述目标类别的第二标注框，并将所述任一待比对图像的每个第二标注框所框选的区域均确定为第二局部图像。
本实施例的技术方案能够平衡正样本的采样比例，消除错误标注对模型训练的影响，在节约人工成本的同时，还能提升模型的检测性能。
上述关于本实施例的正样本采样系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于正样本采样方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如正样本采样方法的步骤，具体可参考上文中的正样本采样方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使所述计算机执行如正样本采样方法的步骤，具体可参考上文中的正样本采样方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种正样本采样方法，其特征在于，包括：
获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；
计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样；
根据任一第二局部图像的特征相似度平均值的大小进行正样本采样的步骤，包括：
当所述任一第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；其中，目标检测模型的每个检测头的每个grid均对应三个anchor；当所述任一第二局部图像的长或者高与该第二局部图像的中心点所在的grid对应的anchor的长或者高符合四倍关系之内，则将该anchor确定为正样本，并同时在该第二局部图像的中心点所在的grid相邻的两个grid内选择正样本；
当所述任一第二局部图像对应的特征相似度平均值大于第二预设值且小于所述第一预设值时，利用最大iou方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；
当所述任一第二局部图像对应的特征相似度平均值小于所述第二预设值时，舍弃所述任一第二局部图像。
2.根据权利要求1所述的正样本采样方法，其特征在于，计算任一第二局部图像与所有的第一局部图像之间的特征相似度平均值的步骤，包括：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和所述任一第二局部图像对应的第二特征向量；
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。
3.根据权利要求1所述的正样本采样方法，其特征在于，还包括：
采用梯度下降法，并利用正样本采样所得到的图像以及所有的目标正样本图像，对所述目标类别对应的目标检测模型进行训练，得到训练好的所述目标类别对应的目标检测模型。
4.根据权利要求1至3任一项所述的正样本采样方法，其特征在于，获取任一目标正样本图像中的至少一个第一局部图像的步骤包括：
采集所述任一目标正样本图像中的至少一个包含所述目标类别的第一标注框，并将所述任一目标正样本图像的每个第一标注框所框选的区域均确定为第一局部图像；
获取任一待比对图像中的至少一个第二局部图像的步骤包括：
采集所述任一待比对图像中的至少一个包含所述目标类别的第二标注框，并将所述任一待比对图像的每个第二标注框所框选的区域均确定为第二局部图像。
5.一种正样本采样系统，其特征在于，包括：获取模块和采样模块；
所述获取模块用于：获取每个目标正样本图像中的至少一个第一局部图像以及每个待比对图像中的至少一个第二局部图像；其中，所有的第一局部图像和所有的第二局部图像均为目标类别的图像；
所述采样模块用于：计算每个第二局部图像分别与所有的第一局部图像之间的特征相似度平均值，并根据每个第二局部图像对应的特征相似度平均值的大小进行正样本采样；
所述采样模块具体还用于：
当任一第二局部图像对应的特征相似度平均值大于第一预设值时，利用相邻grid采样方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；其中，目标检测模型的每个检测头的每个grid均对应三个anchor；当所述任一第二局部图像的长或者高与该第二局部图像的中心点所在的grid对应的anchor的长或者高符合四倍关系之内，则将该anchor确定为正样本，并同时在该第二局部图像的中心点所在的grid相邻的两个grid内选择正样本；
当所述任一第二局部图像对应的特征相似度平均值大于第二预设值且小于所述第一预设值时，利用最大iou方式，对所述任一第二局部图像对应的待比对图像进行正样本采样；
当所述任一第二局部图像对应的特征相似度平均值小于所述第二预设值时，舍弃所述任一第二局部图像。
6.根据权利要求5所述的正样本采样系统，其特征在于，所述采样模块具体用于：
利用目标特征提取网络，获取每个第一局部图像对应的第一特征向量和任一第二局部图像对应的第二特征向量；
利用余弦相似度计算方式，计算所述任一第二局部图像对应的第二特征向量分别与每个第一特征向量之间的特征相似度值并取平均值，得到所述任一第二局部图像对应的特征相似度平均值。
7.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至4中任一项所述的正样本采样方法。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的正样本采样方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321670.9A CN117351240B (zh) | 2023-10-12 | 2023-10-12 | 一种正样本采样方法、系统、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311321670.9A CN117351240B (zh) | 2023-10-12 | 2023-10-12 | 一种正样本采样方法、系统、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351240A CN117351240A (zh) | 2024-01-05 |
| CN117351240B true CN117351240B (zh) | 2024-04-09 |
Family
ID=89364502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311321670.9A Active CN117351240B (zh) | 2023-10-12 | 2023-10-12 | 一种正样本采样方法、系统、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351240B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180054406A (ko) * | 2016-11-15 | 2018-05-24 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| CN112926595A (zh) * | 2021-02-04 | 2021-06-08 | 深圳市豪恩汽车电子装备股份有限公司 | 深度学习神经网络模型的训练装置、目标检测系统及方法 |
| CN113159216A (zh) * | 2021-05-10 | 2021-07-23 | 上海电力大学 | 一种用于表面缺陷检测的正样本扩充方法 |
| CN114241425A (zh) * | 2022-02-21 | 2022-03-25 | 南京甄视智能科技有限公司 | 垃圾检测模型的训练方法、装置、存储介质及设备 |
| CN115272798A (zh) * | 2022-08-01 | 2022-11-01 | 中国地质大学（武汉） | 一种利用信息量扩充成矿预测训练正样本的方法及系统 |
| CN115512207A (zh) * | 2022-11-01 | 2022-12-23 | 安徽南瑞继远电网技术有限公司 | 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法 |
| CN115759240A (zh) * | 2022-11-22 | 2023-03-07 | 东南大学 | 一种目标检测模型的优化方法 |
| CN116127121A (zh) * | 2022-12-06 | 2023-05-16 | 中国科学院计算技术研究所 | 一种图像检索模型的训练方法及基于此的图像检索算法 |
| CN116129292A (zh) * | 2023-01-13 | 2023-05-16 | 华中科技大学 | 一种基于少样本增广的红外车辆目标检测方法及系统 |
| CN116664867A (zh) * | 2023-05-22 | 2023-08-29 | 北京科技大学 | 一种基于多证据融合选取训练样本的特征提取方法及装置 |
| CN116758409A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种基于单锚框采样的遥感图像目标检测方法 |
-
2023
- 2023-10-12 CN CN202311321670.9A patent/CN117351240B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180054406A (ko) * | 2016-11-15 | 2018-05-24 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| CN112926595A (zh) * | 2021-02-04 | 2021-06-08 | 深圳市豪恩汽车电子装备股份有限公司 | 深度学习神经网络模型的训练装置、目标检测系统及方法 |
| CN113159216A (zh) * | 2021-05-10 | 2021-07-23 | 上海电力大学 | 一种用于表面缺陷检测的正样本扩充方法 |
| CN114241425A (zh) * | 2022-02-21 | 2022-03-25 | 南京甄视智能科技有限公司 | 垃圾检测模型的训练方法、装置、存储介质及设备 |
| CN116758409A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种基于单锚框采样的遥感图像目标检测方法 |
| CN115272798A (zh) * | 2022-08-01 | 2022-11-01 | 中国地质大学（武汉） | 一种利用信息量扩充成矿预测训练正样本的方法及系统 |
| CN115512207A (zh) * | 2022-11-01 | 2022-12-23 | 安徽南瑞继远电网技术有限公司 | 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法 |
| CN115759240A (zh) * | 2022-11-22 | 2023-03-07 | 东南大学 | 一种目标检测模型的优化方法 |
| CN116127121A (zh) * | 2022-12-06 | 2023-05-16 | 中国科学院计算技术研究所 | 一种图像检索模型的训练方法及基于此的图像检索算法 |
| CN116129292A (zh) * | 2023-01-13 | 2023-05-16 | 华中科技大学 | 一种基于少样本增广的红外车辆目标检测方法及系统 |
| CN116664867A (zh) * | 2023-05-22 | 2023-08-29 | 北京科技大学 | 一种基于多证据融合选取训练样本的特征提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351240A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN110705405B (zh) | 目标标注的方法及装置 | |
| CN111160469B (zh) | 一种目标检测系统的主动学习方法 | |
| CN112308854B (zh) | 一种芯片表面瑕疵的自动检测方法、系统及电子设备 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN112037146A (zh) | 医学图像伪影自动校正方法、装置和计算机设备 | |
| CN116958889A (zh) | 一种基于伪标签的半监督小样本目标检测方法 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN117351240B (zh) | 一种正样本采样方法、系统、存储介质和电子设备 | |
| CN116052207A (zh) | 基于改进YOLOv7的鸟类识别方法、系统及介质 | |
| CN115953371A (zh) | 一种绝缘子缺陷检测方法、装置、设备和存储介质 | |
| CN111723719B (zh) | 基于类别外部记忆的视频目标检测方法、系统、装置 | |
| CN115631379A (zh) | 结合主动学习和噪声筛除的视频分析方法、装置及介质 | |
| CN115588150A (zh) | 基于改进YOLOv5-L的宠物犬视频目标检测方法及系统 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN114120097A (zh) | 一种基于机器视觉的配网工程现场变压器检测方法和系统 | |
| CN113486788A (zh) | 视频相似度确定方法、装置、电子设备及存储介质 | |
| CN110288565A (zh) | 碳纤维复合芯导线的缺陷识别方法、装置及存储介质 | |
| CN116403074B (zh) | 基于主动标注的半自动图像标注方法及标注装置 | |
| CN112949730B (zh) | 少样本的目标检测方法、装置、存储介质及设备 | |
| CN116596923B (zh) | 基于边缘检测的园林植物识别方法及系统 | |
| CN116563170B (zh) | 一种图像数据处理方法、系统以及电子设备 | |
| CN114240946B (zh) | 一种定位器异常检测方法、系统、存储介质及计算设备 | |
| CN111383155B (zh) | 水印的识别方法、装置、设备及存储介质 | |
| CN117496263A (zh) | 一种困难样本预标注方法、系统、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |