CN112418362B - 一种目标检测训练样本筛选方法 - Google Patents

一种目标检测训练样本筛选方法 Download PDF

Info

Publication number
CN112418362B
CN112418362B CN202110093092.2A CN202110093092A CN112418362B CN 112418362 B CN112418362 B CN 112418362B CN 202110093092 A CN202110093092 A CN 202110093092A CN 112418362 B CN112418362 B CN 112418362B
Authority
CN
China
Prior art keywords
sample
labeled
training
screening
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110093092.2A
Other languages
English (en)
Other versions
CN112418362A (zh
Inventor
宋志龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhuoyun Intelligent Technology Co ltd
Original Assignee
Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhuoyun Intelligent Technology Co ltd filed Critical Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority to CN202110093092.2A priority Critical patent/CN112418362B/zh
Publication of CN112418362A publication Critical patent/CN112418362A/zh
Application granted granted Critical
Publication of CN112418362B publication Critical patent/CN112418362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测训练样本筛选方法，利用训练过程中得到的不同阶段的模型检测训练集数据中的目标，得到每个图像样本在不同阶段的模型M上的检测结果。对每个图像样本在不同阶段模型的检测结果进行筛选，获取完全遗忘样本和部分遗忘样本。通过模型代替人工去分析数量庞大的目标检测数据集中的噪音样本，节省了人力且消除了人为筛选数据的主观影响，提高了利用深度学习方法执行目标检测任务的效率以及准确率。

Description

一种目标检测训练样本筛选方法
技术领域
本发明属于目标检测技术领域，具体涉及一种目标检测训练样本筛选方法。
背景技术
近年来，随着人工智能技术的不断发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、分割、跟踪等任务中都取得了突破性的进展。相较于传统的机器视觉方法，深度卷积神经网络在大数据的训练下，从大量数据中学习出有用的特征，具有速度快、精度高、成本低等优势。但是，深度学习能达到这种优于传统方法的很大一部分原因是因为深度学习是建立在大量数据的基础上的，特别是在目标检测领域，深度学习更是需要大量的、有效的数据。为了提供足够量的有效数据，当前主流的做法就是数据增强，也出现了很多其他样本生成方法，但是在获取到足够量的样本之后，不可避免的会有一些在训练初期能够被模型识别，在训练后期模型却识别不出了的噪音，称之为“遗忘样本”，遗忘样本对模型训练过程起着负面影响。
现阶段，对于数据集中的遗忘样本（比如错误标注等），一般需要人为去筛选，工作量巨大且不具有代表性，即存在部分样本，人主观认为是噪音，但是在模型看来并不是噪音或者不影响训练，进而影响了目标检测效果。
发明内容
本发明所要解决的技术问题是针对背景技术中所涉及到的技术缺陷，提供一种目标检测训练样本筛选方法，减少样本中的噪音提高样本有效率，进而提高利用深度学习方法执行目标检测过程中的检测效率以及准确率。
根据本发明的一个方面，提供一种目标检测训练样本筛选方法，包括：
利用训练过程中得到的不同阶段的模型检测训练集数据中的目标，得到每个图像样本在不同阶段的模型M上的检测结果。对每个图像样本进行如下处理：
设定在模型M的检测结果中所有预标注目标均存在与预标注类别一致且IOU≥A的识别框时，召回率recall＝1；
所有预标注目标均不存在与预标注类别一致且IOU≥A的识别框时，召回率recall＝0；
仅存在部分预标注目标的识别框与预标注类别一致且IOU≥A时，0＜召回率recall＜1；
其中，IOU为检测结果中的识别框区域与预标注的识别框区域的交并比；A为根据经验值设定的0-1的常数。
筛选在M1-Mm上recall＞0，且在Mm＋1-Mn上recall＝0的图像样本作为完全遗忘样本；
筛选在M1-Mm上recall＝1，且在Mm＋1-Mn上0＜recall＜1的图像样本作为部分遗忘样本。
其中，m∈n，n为模型的阶段数，n＞1的自然数。
优选的，n＝m＋1，A＝0.5。
所述训练集由预标注的图像样本组成，预标注的信息可选的包括所属样本名称、目标类别、预标注的识别框坐标等信息。
所述不同阶段的模型选自加载了对训练集学习后的权重文件的模型，n与学习次数相对应。
所述检测结果可选的包含所属样本名称、识别出的目标类别、识别框坐标等信息。
与现有技术相比，本发明至少具有以下有益效果：本发明通过模型代替人工去分析数量庞大的目标检测数据集中的噪音样本，节省了人力且消除了人为筛选数据的主观影响，提高了利用深度学习方法执行目标检测任务的效率以及准确率。
附图说明
图1为本发明实施例提供的一种目标检测训练样本筛选方法筛选出的完全遗忘样本示意图。
图2为本发明实施例提供的一种目标检测训练样本筛选方法筛选出的完全遗忘样本示意图。
图3为本发明实施例提供的一种目标检测训练样本筛选方法筛选出的部分遗忘样本示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一个或多个一部分实施例，而不是全部的实施例。基于本说明书一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书一个或多个保护的范围。
实施例1：为了解决上述技术问题，本实施例以违禁品检测场景的模型为例，对样本筛选方法进行说明，包括以下步骤：
1. 利用训练过程中得到的不同阶段的模型检测训练集数据中的目标，得到每个图像样本在不同阶段的模型M上的检测结果。
其中，训练集由人工标注的图像样本组成，图像样本数量巨大，一般在几千甚至几十万张，图像样本的获取不限于图像采集，还可以包括通过对图像进行数据增广所得的样本和/或通过现有技术中公开的图像融合方法所得的新样本。并且，对图像的种类也不作限定，可以由相机、X射线安检设备、太赫兹成像设备获取的均可，但是通常情况下，图形由上述同种设备获取，不会有多种设备获取的图像混合作为同一个训练集的样本。人工标注是对检测目标的标注，预标注信息可选的主要包括所属样本名称、目标类别、预标注的识别框坐标等信息。将获取的图像样本进行预标注得到的带标签的图像样本组成训练集，用于对构建的违禁品检测模型进行训练。
本实施例中对模型的类型也不作额外限制，基于深度学习方法的目标检测模型均可，例如以Faster RCNN为代表的two stage的目标检测框架模型或以SSD、YOLO为代表的one stage的目标检测框架模型等。
模型的训练过程是需要模型对训练集多次学习，每次学习（称作一个epoch）都会对模型的参数进行调整，也就是说每次学习的过程都会产生权重文件。作为本发明的一个实施例，训练14个epoch，会保存模型训练过程中共14个epoch得到的权重文件。模型分别加载不同epoch的权重文件即可得到不同阶段的模型M1-M14，用不同阶段的模型去检测训练集中的目标，得到每个图像样本在不同阶段的模型M上的检测结果。
检测结果可选的包含所属样本名称、识别出的目标类别、识别框坐标等信息。
对于一张图像上的某个目标，满足模型对这个目标的识别类别与其预标注类别一致时，如果模型对这个目标的识别框与其标注框之间的交并比IOU(Intersection overUnion)大于阈值，则认为这个目标被模型正确检测到。该预设阈值具体可以根据经验设定，优选为0.5。
2.对不同阶段模型的检测结果进行筛选，获取完全遗忘样本和部分遗忘样本。
目标检测领域训练集数据中心噪音样本筛选方法的筛选过程是基于目标检测模型的遗忘机制，因此基于本发明所述方法筛选出的噪音样本在本发明中称为遗忘样本。本实施例中引入IOU和recall的概念来筛选目标检测数据集中的遗忘样本，并根据是否完全遗忘或是否部分遗忘，将其细分为完全遗忘样本和部分遗忘样本。
具体的，针对一张图像样本而言，可能含有多个目标，同时针对一个目标模型检测结果中可能会有多个识别框。对每个图像样本进行如下处理：设定完全遗忘样本为模型M1-M13的检测结果中预标注的目标存在与预标注类别一致且IOU≥0.5的识别框（此时召回率recall＞0），而在模型M14的检测结果中预标注的目标的识别框不存在与标注类别一致且IOU≥0.5的识别框（召回率recall＝0）的图像样本。
设定部分遗忘样本为在模型M1-M13上检测结果中所有预标注目标均存在与预标注类别一致且IOU≥0.5的识别框（此时召回率recall＝1），但在模型M14的检测结果中只有部分预标注目标存在与预标注类别一致且IOU≥0.5的识别框（此时0＜recall＜1）的图像样本。
通过引入IOU和recall的概念，来分析目标检测数据集中的遗忘样本，并根据是否完全遗忘或是否部分遗忘将其细分为完全遗忘样本和部分遗忘样本，通过本发明实施例这种模型自检的方式解决了人为筛选样本工作量巨大且人的主观判断会删除对模型鲁棒性有利的少量错标样本的问题，会对数据的筛选带来巨大误差的问题。由于本发明方法是通过模型自检的方式筛选出对模型不利的噪音数据，比人为筛选更具针对性且不会将对模型训练有利的少量错标样本视为噪音数据，从而在删除筛选出噪音数据的同时保证了模型的鲁棒性。
通过实施例1的方法，对25000张图像样本组成的训练集进行试验发现筛选出完全遗忘样本10张和部分遗忘样本167张。图1和图2示出了筛选出的完全遗忘样本原始图像示例，可以看到图像样本中目标被错误标注了。图3为筛选出的部分遗忘样本示例，可以看到图像样本中有被正确标注的鞭炮，也存在被错误标注为手枪的目标。
将上述筛选出的完全遗忘样本和部分遗忘样本剔除，并将剩余的数据作为新的训练集和原始训练集再分别训练相同模型后测试发现，新训练集训练出的模型具有更高的识别准确度。
实施例2：在实施例1对M1-M13和M14的识别框进行判断筛选遗忘样本组成集合C1之后，再继续对M1-M5和M6-M14得到的识别框进行判断筛选遗忘样本组成集合C2，C1和C2取并集进行剔除得到新的训练集。在不同的阶段多次筛选可获得不同遗忘程度的遗忘样本，具体次数可以根据实际效果进行选择。
本发明的技术方案还可以应用于除实施例中违禁品检测以外的目标识别检测场景，例如人脸识别、车牌识别、道路识别、无人驾驶、在医学影像CT检查场景下的病灶检测分析等多种目标检测场景。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种目标检测训练样本筛选方法，其特征在于，包括：
S1:利用训练过程中得到的不同阶段的模型检测训练集数据中的目标，得到每个图像样本在不同阶段的模型M上的检测结果；
S2:对每个图像样本进行如下处理：
设定在模型M的检测结果中所有预标注目标均存在与预标注类别一致且IOU≥A的识别框时，召回率recall＝1；
所有预标注目标均不存在与预标注类别一致且IOU≥A的识别框时，召回率recall＝0；
仅部分预标注目标存在与预标注类别一致且IOU≥A时的识别框时，0＜召回率recall＜1；
其中，IOU为检测结果中的识别框区域与预标注的识别框区域的交并比；A为根据经验值设定的0-1的常数；
S3:将在M1-Mm上recall＞0，且在Mm＋1-Mn上recall＝0的图像样本作为完全遗忘样本；
将在M1-Mm上recall＝1，且在Mm＋1-Mn上0＜recall＜1的图像样本作为部分遗忘样本；
其中，m∈n，n为模型的阶段数，n为大于1的自然数；
S4：筛选出完全遗忘样本和/或部分遗忘样本；
所述不同阶段的模型选自加载了对训练集学习后的权重文件的模型，n与学习次数相对应。
2.根据权利要求1所述的一种目标检测训练样本筛选方法，其特征在于，n＝m＋1。
3.根据权利要求1或2任一所述的一种目标检测训练样本筛选方法，其特征在于，A＝0.5。
4.根据权利要求1所述的一种目标检测训练样本筛选方法，其特征在于，所述训练集由预标注的图像样本组成，预标注的信息可选的包括目标类别、预标注的识别框坐标信息。
5.根据权利要求1所述的一种目标检测训练样本筛选方法，其特征在于，所述检测结果可选的包含识别出的目标类别、识别框坐标信息。
6.根据权利要求1所述的一种目标检测训练样本筛选方法，其特征在于，所述步骤S3可取不同m执行多次。
7.根据权利要求1-2、4-6任一所述的一种目标检测训练样本筛选方法，其特征在于，对筛选出的样本进行删除，剩余样本组成训练集。
CN202110093092.2A 2021-01-25 2021-01-25 一种目标检测训练样本筛选方法 Active CN112418362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110093092.2A CN112418362B (zh) 2021-01-25 2021-01-25 一种目标检测训练样本筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110093092.2A CN112418362B (zh) 2021-01-25 2021-01-25 一种目标检测训练样本筛选方法

Publications (2)

Publication Number Publication Date
CN112418362A CN112418362A (zh) 2021-02-26
CN112418362B true CN112418362B (zh) 2021-04-30

Family

ID=74782558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110093092.2A Active CN112418362B (zh) 2021-01-25 2021-01-25 一种目标检测训练样本筛选方法

Country Status (1)

Country Link
CN (1) CN112418362B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738264A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 异常样本筛选、清洗、训练方法、装置、设备和存储介质
CN111310826A (zh) * 2020-02-13 2020-06-19 南京旷云科技有限公司 样本集的标注异常检测方法、装置及电子设备
CN111353555A (zh) * 2020-05-25 2020-06-30 腾讯科技（深圳）有限公司 一种标注检测方法、装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738264A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 异常样本筛选、清洗、训练方法、装置、设备和存储介质
CN111310826A (zh) * 2020-02-13 2020-06-19 南京旷云科技有限公司 样本集的标注异常检测方法、装置及电子设备
CN111353555A (zh) * 2020-05-25 2020-06-30 腾讯科技（深圳）有限公司 一种标注检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AN EMPIRICAL STUDY OF EXAMPLE FORGETTING;Mariya Toneva等;《arxiv.org》;20191115;全文 *

Also Published As

Publication number Publication date
CN112418362A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
Rijal et al. Ensemble of deep neural networks for estimating particulate matter from images
CN112232450B (zh) 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN108830332A (zh) 一种视觉车辆检测方法及系统
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109902662B (zh) 一种行人重识别方法、系统、装置和存储介质
CN110161233B (zh) 一种免疫层析试纸卡的快速定量检测方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN109146873A (zh) 一种基于学习的显示屏缺陷智能检测方法及装置
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统
US20220092359A1 (en) Image data classification method, device and system
CN113158969A (zh) 一种苹果外观缺陷识别系统及方法
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN113205163B (zh) 数据标注方法及装置
CN115272252A (zh) 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
US20210264130A1 (en) Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample
CN114092935A (zh) 一种基于卷积神经网络的纺织品纤维识别方法
CN112418362B (zh) 一种目标检测训练样本筛选方法
CN116521917A (zh) 一种图片筛选方法及装置
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
CN113627255B (zh) 一种小鼠行为量化分析方法、装置、设备及可读存储介质
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant