CN109508741B - 基于深度学习筛选训练集的方法 - Google Patents
基于深度学习筛选训练集的方法 Download PDFInfo
- Publication number
- CN109508741B CN109508741B CN201811333884.7A CN201811333884A CN109508741B CN 109508741 B CN109508741 B CN 109508741B CN 201811333884 A CN201811333884 A CN 201811333884A CN 109508741 B CN109508741 B CN 109508741B
- Authority
- CN
- China
- Prior art keywords
- images
- training set
- neural network
- training
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
基于深度学习筛选训练集的方法,本发明涉及训练集筛选的方法。本发明的目的是为了解决现有训练集的大小直接影响深度学习的性能,训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用,训练集太大,人工打标签耗费大量时间,影响训练效率的问题。过程为:一、采集初始数据集,将初始数据集分为训练集和测试集;二、搭建神经网络架构;三、将训练集输入神经网络进行训练,直至神经网络收敛,得到初始神经网络模型;四、将测试集输入目前得到的神经网络模型进行测试,得到满足要求的训练集和最终的神经网络模型;否则,对待识别区域重新采集图像,直至得到满足要求的训练集和最终的神经网络模型。本发明用于训练集筛选领域。
Description
技术领域
本发明涉及训练集筛选的方法。
背景技术
深度学习近年来快速发展,在图像识别、目标检测等领域表现出惊人的准确性,在视觉伺服领域使用越来越广泛。深度学习需要大量的训练集进行训练,虽然现在有很多开源的深度学习数据集可以用来训练网络模型,但是对于一个特定的视觉伺服系统,需要检测的图像并不是一些常见的物体,比如本专利发明的方法用于的视觉伺服系统,其需要检测的物体是某特殊设备上的一个电源插口,这时候需要我们自己采集图像作为训练集。训练集的大小直接影响深度学习的性能,训练集太小将导致深度学习过拟合,这意味着这个深度学习模型仅适用于其训练使用的训练集,对于实际运行时采集到的新的图像将不起作用。每张训练使用的训练集图片都需要打上标签,我们模拟系统实际运行时的情景采集图像,之后人工给图像打上标签,对于庞大的训练集,人工打标签耗费大量时间,另外训练集过大又影响着训练的效率。自己采集的训练集一定会存在大量重复的或者极容易检测的图片,当神经网络训练到一定程度时,对于这种图像检测准确率已经非常高了,再用这种图像训练对检测准确率的提升作用不大,另外还有一些无效的极端情况的图像,给这些图片打标签和训练,耗费大量时间,训练模型的效率低。
发明内容
本发明的目的是为了解决现有训练集的大小直接影响深度学习的性能,训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用,训练集太大,人工打标签耗费大量时间,影响训练效率;大量重复的或者极容易检测的图片对神经网络训练的提升作用不大,以及一些无效的极端情况的图像,给这些图片打标签和训练既耗时又没有太大意义的问题,而提出基于深度学习筛选训练集的方法。
基于深度学习筛选训练集的方法具体过程为:
步骤一、人工对待识别区域的图像进行采集并打上标签作为初始数据集,将初始数据集分为训练集和测试集;
步骤二、搭建神经网络架构;
步骤三、将训练集输入神经网络进行训练,直至神经网络收敛,得到初始神经网络模型;
步骤四、将测试集输入目前得到的神经网络模型进行测试,当测试集准确率达到第一阈值时,得到满足要求的训练集和最终的神经网络模型;
当测试集准确率没有达到第一阈值时,执行步骤五;
步骤五、对待识别区域重新采集图像,使用目前得到的神经网络模型对重新采集的图像进行检测,将能准确检测的图像丢弃,将无法检测的图像数量与第三阈值进行比较,当无法检测的图像数量大于第三阈值时,从无法检测的图像中随机选取与第三阈值数量相等的图像,执行步骤六;
当无法检测的图像数量小于等于第三阈值时,选取所有无法检测的图像,执行步骤六;
步骤六、对步骤五选取的图像人工打上标签,并添加到训练集图像中组成添加后的训练集,添加后的训练集输入目前得到的神经网络模型,进行训练,得到新的神经网络模型,重复执行步骤四至步骤六,直至测试集准确率达到第二阈值时,得到满足要求的训练集和最终的神经网络模型。
本发明的有益效果为:
为了给采用深度学习检测图像但又没有训练集的特定的视觉伺服系统提供一种筛选训练集的方法,本发明提出基于深度学习筛选训练集的方法;
由于训练集数量要求较大,至少需要上万张,原始采集的图像更是多达几十万张,本发明整个筛选过程由计算机完成,无需人为干预,速度快,效率高;
本发明神经网络筛选出的都是现阶段其无法检测的图像,将这些图像作为训练集进行训练有助于模型训练效率的提高和准确率的提高;解决了现有大量重复的或者极容易检测的图片对神经网络训练的提升作用不大,以及一些无效的极端情况的图像,给这些图片打标签和训练既耗时又没有太大意义的问题。
本发明使用深度神经网络模型自动筛选出训练集的图片,具有的方便、快速的特点,能在减少训练集图像数量的同时提高训练集图像的质量和类型分布,从而减少给训练集打标签的时间,提高训练效率和检测准确率。避免了现有训练集的大小直接影响深度学习的性能,训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用,人工打标签耗费大量时间,影响训练效率;
本发明将训练集图像数量从200000张图像减少到20000张图像,同时保证了训练出的深度学习模型检测准确率达到要求的95%。
附图说明
图1为本发明流程图;
图2为本发明插口实物图;
图3为本发明SSD检测插口效果图;
图4为本发明SSD网络结构图;
其中:Conv是卷积层,VGG-16through Conv5_3layer为用vgg16的哪些层截取到conv5-3,classifier为分类器,classes为类别个数,image为图像,Extra Feature Layers为额外的特征提取层,Non-Maximum Suppression为非极大值抑制,Detections为检测,Perclass为每类,FPS为画面每秒传输帧数,MAP为准确率,FC为全连接层。
具体实施方式
具体实施方式一:本实施方式的基于深度学习筛选训练集的方法具体过程为:
步骤一、人工对待识别区域的少量图像(4000)进行采集并打上标签作为初始数据集,将初始数据集分为训练集和测试集;
步骤二、搭建神经网络架构;
步骤三、将训练集输入神经网络进行训练,直至神经网络收敛,得到一个可以进行目标检测,但是识别精度并不高的初始神经网络模型;
步骤四、将测试集输入目前得到的神经网络模型进行测试,当测试集准确率达到第一阈值时,得到满足要求的训练集和最终的神经网络模型;
当测试集准确率(mAP,mean Average Precision)没有达到第一阈值时,执行步骤五;
步骤五、对待识别区域重新采集一定数量(20000张)的图像,使用目前得到的神经网络模型对重新采集的一定数量的图像进行检测(待检测目标的bounding box(预选框)),将能准确检测的图像丢弃,将无法准确检测的图像数量与第三阈值进行比较,当无法准确检测的图像数量大于第三阈值时,从无法准确检测的图像中随机选取与第三阈值数量相等的图像,执行步骤六;
当无法准确检测的图像数量小于等于第三阈值时,选取所有无法准确检测的图像,执行步骤六;
步骤六、对步骤五选取的图像人工打上标签,并添加到训练集图像中组成添加后的训练集,添加后的训练集输入目前得到的神经网络模型,进行训练,得到新的神经网络模型,重复执行步骤四至步骤六,直至测试集准确率达到第二阈值时,得到满足要求的训练集和最终的神经网络模型。
具体实施方式二:本实施方式与具体实施方式一不同的是,所述步骤一中人工对待识别区域的少量图像(4000)进行采集并打上标签作为初始数据集,将初始数据集分为训练集和测试集;具体为:
首先将相机安装在机械臂末端,对待识别区域的图像进行采集,构成数据集,并通过人工手段对数据集的图像进行标注;
将初始数据集分为训练集和测试集,训练集和测试集的比例分别为1:1。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,所述步骤二中搭建神经网络架构;具体为:
搭建的SSD网络模型结构如图4所示,SSD网络的输入图像大小是300x300,特征提取部分使用了VGG16的卷积层,并将VGG16的两个全连接层转换成两个卷积层(图中conv6和conv7),之后又接8个卷积层(conv8_1,conv8_2,conv9_1,conv9_2,conv10_1,conv10_2,conv11_1,conv11_2)得到大小不同的feature maps(特征图),最后在这些feature maps上同时进行分类器(softmax)分类和位置回归(SSD:Single Shot MultiBox Detector,https://arxiv.org/abs/1512.02325)。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是,所述步骤四中第一阈值为90%。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是,所述步骤五中第三阈值取所述对待识别区域每次重新采集的图像数量的10%。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是,所述步骤六中第二阈值为95%。
其它步骤及参数与具体实施方式一至五之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例具体是按照以下步骤制备的:
本发明的筛选数据集的方法适用于需要使用深度学习检测图像但没有现成训练集的视觉伺服系统。通过进行大量的实验,获得一定数量的插口的图像,将图像打上标签作为训练集,然后训练目标检测深度学习网络模型,得到一个能够检测出目标但是准确率不高的模型。再采集一定数量的图像使用该网络模型进行检测,将无法检测或检测不准的图像打上标签加入训练集中作为新的训练集训练网络。不断重复检测和训练最终得到检测准确率满足要求的网络。
本实施例中机械臂需要将插头插入设备插口中,使用摄像头检测设备上的插口,如图2所示。我们需要检测出物体的位置坐标和姿态角度以便计算机进行机械臂的轨迹规划。本实例中使用的目标检测网络模型是SSD,检测结果如图3所示。
该方法流程图如图1所示。
步骤一、首先手动随机调节摄像头位置,采集待检测区域的不同角度、不同高度的插口图像4000张,并打上标签作为初始数据集,将初始数据集分为训练集和测试集,训练集和测试集的比例分别为1:1;
步骤二、搭建SSD网络架构;
搭建的SSD网络模型结构如图4所示,SSD网络的输入图像大小是300x300,特征提取部分使用了VGG16的卷积层,并将VGG16的两个全连接层转换成了普通的卷积层(图中conv6和conv7),之后又接了多个卷积层(conv8_1,conv8_2,conv9_1,conv9_2,conv10_1,conv10_2,conv11_1,conv11_2)得到大小不同的feature maps,最后在这些feature maps上同时进行softmax分类和位置回归。
步骤三、将训练集输入SSD网络进行训练,直至SSD网络收敛,得到一个可以进行目标检测,但是识别精度并不高的初始SSD网络模型;
步骤四、将测试集输入目前得到的SSD网络模型进行测试,当测试集达到95%准确率时,得到满足要求的训练集和最终的SSD网络模型;
当没有得到满足要求的训练集和最终的SSD网络模型时,执行步骤五;
步骤五、对待检测区域重新采集20000张图像,使用目前得到的SSD网络模型对重新采集的20000张图像进行检测(待检测目标的bounding box(预选框)),将能准确检测的图像丢弃,从无法准确检测的图像中随机选取2000张图像,若无法准确检测的图像不够2000张则取全部,执行步骤六;
步骤六、对步骤五选取的2000张(删掉)图像人工打上标签,并添加到训练集图像中组成添加后的训练集,添加后的训练集输入目前得到的SSD网络模型,进行训练,得到新的SSD网络模型,重复执行步骤四至步骤六,直至测试集准确率达到90%mAP(mean AveragePrecision)时,得到满足要求的数据集和最终的神经网络模型。
本实例第一次采集2000张图像训练出SSD模型,经过每次从20000张图像中筛出2000张,共10次筛选训练后识别率达到要求,随着训练次数增加,筛选出来的无法识别的图像数量越来越少,最终一共采集200000张图像筛选出20000张图像作为训练集。训练集图像数量从200000减少到20000,大大减少了人工打标签的时间和网络训练时间,图像数量虽然减少了,但是图像质量更高,针对性更强,大大提高了网络训练的效率,加快了模型识别准确率的提高。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (2)
1.基于深度学习筛选训练集的方法,其特征在于:所述方法具体过程为:
步骤一、人工对待识别区域的图像进行采集并打上标签作为初始数据集,将初始数据集分为训练集和测试集;
步骤二、搭建神经网络架构;
步骤三、将训练集输入神经网络进行训练,直至神经网络收敛,得到初始神经网络模型;
步骤四、将测试集输入目前得到的神经网络模型进行测试,当测试集准确率达到第一阈值时,得到满足要求的训练集和最终的神经网络模型;
当测试集准确率没有达到第一阈值时,执行步骤五;
步骤五、对待识别区域重新采集图像,使用目前得到的神经网络模型对重新采集的图像进行检测,将能准确检测的图像丢弃,将无法检测的图像数量与第三阈值进行比较,当无法检测的图像数量大于第三阈值时,从无法检测的图像中随机选取与第三阈值数量相等的图像,执行步骤六;
当无法检测的图像数量小于等于第三阈值时,选取所有无法检测的图像,执行步骤六;
步骤六、对步骤五选取的图像人工打上标签,并添加到训练集图像中组成添加后的训练集,添加后的训练集输入目前得到的神经网络模型,进行训练,得到新的神经网络模型,重复执行步骤四至步骤六,直至测试集准确率达到第二阈值时,得到满足要求的训练集和最终的神经网络模型;
所述步骤二中搭建神经网络架构;具体为:
SSD网络的输入图像大小是300x300,特征提取部分使用了VGG16的卷积层,并将VGG16的两个全连接层转换成两个卷积层,之后接8个卷积层,得到大小不同的feature maps,在feature maps上同时进行分类器分类和位置回归;
所述步骤四中第一阈值为90%;
所述步骤五中第三阈值取所述对待识别区域每次重新采集的图像数量的10%;
所述步骤六中第二阈值为95%。
2.根据权利要求1所述基于深度学习筛选训练集的方法,其特征在于:所述步骤一中人工对待识别区域的图像进行采集并打上标签作为初始数据集,将初始数据集分为训练集和测试集;具体为:
首先将相机安装在机械臂末端,对待识别区域的图像进行采集,构成数据集,并通过人工手段对数据集的图像进行标注;
将初始数据集分为训练集和测试集,训练集和测试集的比例分别为1:1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333884.7A CN109508741B (zh) | 2018-11-09 | 2018-11-09 | 基于深度学习筛选训练集的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333884.7A CN109508741B (zh) | 2018-11-09 | 2018-11-09 | 基于深度学习筛选训练集的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109508741A CN109508741A (zh) | 2019-03-22 |
CN109508741B true CN109508741B (zh) | 2022-05-10 |
Family
ID=65747905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811333884.7A Active CN109508741B (zh) | 2018-11-09 | 2018-11-09 | 基于深度学习筛选训练集的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109508741B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070113B (zh) * | 2019-03-29 | 2021-03-30 | 广州思德医疗科技有限公司 | 一种训练集的训练方法及装置 |
CN110443758B (zh) * | 2019-07-05 | 2023-08-25 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
CN112199974A (zh) * | 2019-07-08 | 2021-01-08 | Tcl集团股份有限公司 | 一种学习评价方法、装置及设备 |
CN110503154A (zh) * | 2019-08-27 | 2019-11-26 | 携程计算机技术(上海)有限公司 | 图像分类的方法、系统、电子设备及存储介质 |
CN110491394B (zh) * | 2019-09-12 | 2022-06-17 | 北京百度网讯科技有限公司 | 唤醒语料的获取方法和装置 |
CN111618848B (zh) * | 2020-04-28 | 2022-08-12 | 平安科技(深圳)有限公司 | 多机器人的协作控制方法、装置及计算机设备 |
CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
CN113160206B (zh) * | 2021-04-30 | 2023-09-12 | 上海海事大学 | 一种钢轨轨道上异物检测的方法 |
CN113189595A (zh) * | 2021-05-07 | 2021-07-30 | 山东大学 | 一种基于神经网络的双路回声目标定位方法、设备及存储介质 |
CN114677563A (zh) * | 2022-04-08 | 2022-06-28 | 李燕秋 | 基于区块链的神经网络在线学习方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063642A (zh) * | 2010-12-30 | 2011-05-18 | 上海电机学院 | 基于主动学习的模糊神经网络样本选择方法 |
CN102496061A (zh) * | 2011-11-25 | 2012-06-13 | 河海大学 | 基于主动学习的神经网络样本选择方法及其装置 |
CN103679269A (zh) * | 2013-12-05 | 2014-03-26 | 河海大学 | 基于主动学习的分类器样本选择方法及其装置 |
US11379688B2 (en) * | 2017-03-16 | 2022-07-05 | Packsize Llc | Systems and methods for keypoint detection with convolutional neural networks |
CN108257114A (zh) * | 2017-12-29 | 2018-07-06 | 天津市万贸科技有限公司 | 一种基于深度学习的输电设备缺陷自动识别方法 |
-
2018
- 2018-11-09 CN CN201811333884.7A patent/CN109508741B/zh active Active
Non-Patent Citations (1)
Title |
---|
基于样条滤波和全元匹配的三维底火弹痕识别技术的研究;佟明斯;《中国优秀博士学位论文全文数据库》;20171231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109508741A (zh) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508741B (zh) | 基于深度学习筛选训练集的方法 | |
CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
CN106910185B (zh) | 一种基于cnn深度学习的dbcc分类模型构建方法 | |
CN110796011B (zh) | 一种基于深度学习的稻穗识别方法、系统、装置及介质 | |
CN110992317A (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
US11222431B2 (en) | Feature processing method and device for motion trajectory, and computer storage medium | |
CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
CN105787522A (zh) | 基于手写笔迹的书写态度评价方法及系统 | |
CN112270681B (zh) | 一种黄板害虫深度检测与计数方法与系统 | |
CN117523307B (zh) | 基于opc和瓷砖表面瑕疵识别模型的瓷砖分拣方法及系统 | |
EP3971766A1 (en) | Dairy cattle nipple detection convolutional neural network model and construction method therefor | |
CN111932639B (zh) | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 | |
CN112257711B (zh) | 一种铁路货车地板破损故障检测方法 | |
CN107392251A (zh) | 一种使用分类图片提升目标检测网络性能的方法 | |
CN113487555A (zh) | 一种基于点云网格化的输电线路隐患点快速检测方法 | |
CN110619297B (zh) | 一种豆类植物子实图像批量采集识别方法及装置 | |
CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
CN103268494B (zh) | 基于稀疏表示的寄生虫虫卵识别方法 | |
CN111062437A (zh) | 一种基于深度学习的桥梁结构病害自动目标检测模型 | |
CN109508714B (zh) | 一种低成本多通道实时数字仪表盘视觉识别方法及系统 | |
CN109829887B (zh) | 一种基于深度神经网络的图像质量评估方法 | |
CN106960188A (zh) | 天气图像分类方法及装置 | |
CN114913438B (zh) | 一种基于锚框最优聚类的YOLOv5园林异常目标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |