CN109508741B - 基于深度学习筛选训练集的方法 - Google Patents

Abstract

基于深度学习筛选训练集的方法，本发明涉及训练集筛选的方法。本发明的目的是为了解决现有训练集的大小直接影响深度学习的性能，训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用，训练集太大，人工打标签耗费大量时间，影响训练效率的问题。过程为：一、采集初始数据集，将初始数据集分为训练集和测试集；二、搭建神经网络架构；三、将训练集输入神经网络进行训练，直至神经网络收敛，得到初始神经网络模型；四、将测试集输入目前得到的神经网络模型进行测试，得到满足要求的训练集和最终的神经网络模型；否则，对待识别区域重新采集图像，直至得到满足要求的训练集和最终的神经网络模型。本发明用于训练集筛选领域。

Description

基于深度学习筛选训练集的方法

技术领域

本发明涉及训练集筛选的方法。

背景技术

深度学习近年来快速发展，在图像识别、目标检测等领域表现出惊人的准确性，在视觉伺服领域使用越来越广泛。深度学习需要大量的训练集进行训练，虽然现在有很多开源的深度学习数据集可以用来训练网络模型，但是对于一个特定的视觉伺服系统，需要检测的图像并不是一些常见的物体，比如本专利发明的方法用于的视觉伺服系统，其需要检测的物体是某特殊设备上的一个电源插口，这时候需要我们自己采集图像作为训练集。训练集的大小直接影响深度学习的性能，训练集太小将导致深度学习过拟合，这意味着这个深度学习模型仅适用于其训练使用的训练集，对于实际运行时采集到的新的图像将不起作用。每张训练使用的训练集图片都需要打上标签，我们模拟系统实际运行时的情景采集图像，之后人工给图像打上标签，对于庞大的训练集，人工打标签耗费大量时间，另外训练集过大又影响着训练的效率。自己采集的训练集一定会存在大量重复的或者极容易检测的图片，当神经网络训练到一定程度时，对于这种图像检测准确率已经非常高了，再用这种图像训练对检测准确率的提升作用不大，另外还有一些无效的极端情况的图像，给这些图片打标签和训练，耗费大量时间，训练模型的效率低。

发明内容

本发明的目的是为了解决现有训练集的大小直接影响深度学习的性能，训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用，训练集太大，人工打标签耗费大量时间，影响训练效率；大量重复的或者极容易检测的图片对神经网络训练的提升作用不大，以及一些无效的极端情况的图像，给这些图片打标签和训练既耗时又没有太大意义的问题，而提出基于深度学习筛选训练集的方法。

基于深度学习筛选训练集的方法具体过程为：

步骤一、人工对待识别区域的图像进行采集并打上标签作为初始数据集，将初始数据集分为训练集和测试集；

步骤二、搭建神经网络架构；

步骤三、将训练集输入神经网络进行训练，直至神经网络收敛，得到初始神经网络模型；

步骤四、将测试集输入目前得到的神经网络模型进行测试，当测试集准确率达到第一阈值时，得到满足要求的训练集和最终的神经网络模型；

当测试集准确率没有达到第一阈值时，执行步骤五；

步骤五、对待识别区域重新采集图像，使用目前得到的神经网络模型对重新采集的图像进行检测，将能准确检测的图像丢弃，将无法检测的图像数量与第三阈值进行比较，当无法检测的图像数量大于第三阈值时，从无法检测的图像中随机选取与第三阈值数量相等的图像，执行步骤六；

当无法检测的图像数量小于等于第三阈值时，选取所有无法检测的图像，执行步骤六；

步骤六、对步骤五选取的图像人工打上标签，并添加到训练集图像中组成添加后的训练集，添加后的训练集输入目前得到的神经网络模型，进行训练，得到新的神经网络模型，重复执行步骤四至步骤六，直至测试集准确率达到第二阈值时，得到满足要求的训练集和最终的神经网络模型。

本发明的有益效果为：

为了给采用深度学习检测图像但又没有训练集的特定的视觉伺服系统提供一种筛选训练集的方法，本发明提出基于深度学习筛选训练集的方法；

由于训练集数量要求较大，至少需要上万张，原始采集的图像更是多达几十万张，本发明整个筛选过程由计算机完成，无需人为干预，速度快，效率高；

本发明神经网络筛选出的都是现阶段其无法检测的图像，将这些图像作为训练集进行训练有助于模型训练效率的提高和准确率的提高；解决了现有大量重复的或者极容易检测的图片对神经网络训练的提升作用不大，以及一些无效的极端情况的图像，给这些图片打标签和训练既耗时又没有太大意义的问题。

本发明使用深度神经网络模型自动筛选出训练集的图片，具有的方便、快速的特点，能在减少训练集图像数量的同时提高训练集图像的质量和类型分布，从而减少给训练集打标签的时间，提高训练效率和检测准确率。避免了现有训练集的大小直接影响深度学习的性能，训练集太小深度学习模型对于实际运行时采集到的新的图像不起作用，人工打标签耗费大量时间，影响训练效率；

本发明将训练集图像数量从200000张图像减少到20000张图像，同时保证了训练出的深度学习模型检测准确率达到要求的95％。

附图说明

图1为本发明流程图；

图2为本发明插口实物图；

图3为本发明SSD检测插口效果图；

图4为本发明SSD网络结构图；

其中：Conv是卷积层，VGG-16through Conv5_3layer为用vgg16的哪些层截取到conv5-3，classifier为分类器,classes为类别个数，image为图像，Extra Feature Layers为额外的特征提取层，Non-Maximum Suppression为非极大值抑制，Detections为检测，Perclass为每类，FPS为画面每秒传输帧数，MAP为准确率，FC为全连接层。

具体实施方式

具体实施方式一：本实施方式的基于深度学习筛选训练集的方法具体过程为：

步骤一、人工对待识别区域的少量图像(4000)进行采集并打上标签作为初始数据集，将初始数据集分为训练集和测试集；

步骤二、搭建神经网络架构；

步骤三、将训练集输入神经网络进行训练，直至神经网络收敛，得到一个可以进行目标检测，但是识别精度并不高的初始神经网络模型；

步骤四、将测试集输入目前得到的神经网络模型进行测试，当测试集准确率达到第一阈值时，得到满足要求的训练集和最终的神经网络模型；

当测试集准确率(mAP，mean Average Precision)没有达到第一阈值时，执行步骤五；

步骤五、对待识别区域重新采集一定数量(20000张)的图像，使用目前得到的神经网络模型对重新采集的一定数量的图像进行检测(待检测目标的bounding box(预选框))，将能准确检测的图像丢弃，将无法准确检测的图像数量与第三阈值进行比较，当无法准确检测的图像数量大于第三阈值时，从无法准确检测的图像中随机选取与第三阈值数量相等的图像，执行步骤六；

当无法准确检测的图像数量小于等于第三阈值时，选取所有无法准确检测的图像，执行步骤六；

步骤六、对步骤五选取的图像人工打上标签，并添加到训练集图像中组成添加后的训练集，添加后的训练集输入目前得到的神经网络模型，进行训练，得到新的神经网络模型，重复执行步骤四至步骤六，直至测试集准确率达到第二阈值时，得到满足要求的训练集和最终的神经网络模型。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中人工对待识别区域的少量图像(4000)进行采集并打上标签作为初始数据集，将初始数据集分为训练集和测试集；具体为：

首先将相机安装在机械臂末端，对待识别区域的图像进行采集，构成数据集，并通过人工手段对数据集的图像进行标注；

将初始数据集分为训练集和测试集，训练集和测试集的比例分别为1:1。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中搭建神经网络架构；具体为：

搭建的SSD网络模型结构如图4所示，SSD网络的输入图像大小是300x300，特征提取部分使用了VGG16的卷积层，并将VGG16的两个全连接层转换成两个卷积层(图中conv6和conv7)，之后又接8个卷积层(conv8_1，conv8_2，conv9_1，conv9_2，conv10_1，conv10_2，conv11_1,conv11_2)得到大小不同的feature maps(特征图)，最后在这些feature maps上同时进行分类器(softmax)分类和位置回归(SSD:Single Shot MultiBox Detector，https://arxiv.org/abs/1512.02325)。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤四中第一阈值为90％。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤五中第三阈值取所述对待识别区域每次重新采集的图像数量的10％。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤六中第二阈值为95％。

其它步骤及参数与具体实施方式一至五之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

本实施例具体是按照以下步骤制备的：

本发明的筛选数据集的方法适用于需要使用深度学习检测图像但没有现成训练集的视觉伺服系统。通过进行大量的实验，获得一定数量的插口的图像，将图像打上标签作为训练集，然后训练目标检测深度学习网络模型，得到一个能够检测出目标但是准确率不高的模型。再采集一定数量的图像使用该网络模型进行检测，将无法检测或检测不准的图像打上标签加入训练集中作为新的训练集训练网络。不断重复检测和训练最终得到检测准确率满足要求的网络。

本实施例中机械臂需要将插头插入设备插口中，使用摄像头检测设备上的插口，如图2所示。我们需要检测出物体的位置坐标和姿态角度以便计算机进行机械臂的轨迹规划。本实例中使用的目标检测网络模型是SSD，检测结果如图3所示。

该方法流程图如图1所示。

步骤一、首先手动随机调节摄像头位置，采集待检测区域的不同角度、不同高度的插口图像4000张，并打上标签作为初始数据集，将初始数据集分为训练集和测试集，训练集和测试集的比例分别为1:1；

步骤二、搭建SSD网络架构；

搭建的SSD网络模型结构如图4所示，SSD网络的输入图像大小是300x300，特征提取部分使用了VGG16的卷积层，并将VGG16的两个全连接层转换成了普通的卷积层(图中conv6和conv7)，之后又接了多个卷积层(conv8_1，conv8_2，conv9_1，conv9_2，conv10_1，conv10_2，conv11_1,conv11_2)得到大小不同的feature maps，最后在这些feature maps上同时进行softmax分类和位置回归。

步骤三、将训练集输入SSD网络进行训练，直至SSD网络收敛，得到一个可以进行目标检测，但是识别精度并不高的初始SSD网络模型；

步骤四、将测试集输入目前得到的SSD网络模型进行测试，当测试集达到95％准确率时，得到满足要求的训练集和最终的SSD网络模型；

当没有得到满足要求的训练集和最终的SSD网络模型时，执行步骤五；

步骤五、对待检测区域重新采集20000张图像，使用目前得到的SSD网络模型对重新采集的20000张图像进行检测(待检测目标的bounding box(预选框))，将能准确检测的图像丢弃，从无法准确检测的图像中随机选取2000张图像，若无法准确检测的图像不够2000张则取全部，执行步骤六；

步骤六、对步骤五选取的2000张(删掉)图像人工打上标签，并添加到训练集图像中组成添加后的训练集，添加后的训练集输入目前得到的SSD网络模型，进行训练，得到新的SSD网络模型，重复执行步骤四至步骤六，直至测试集准确率达到90％mAP(mean AveragePrecision)时，得到满足要求的数据集和最终的神经网络模型。

本实例第一次采集2000张图像训练出SSD模型，经过每次从20000张图像中筛出2000张，共10次筛选训练后识别率达到要求，随着训练次数增加，筛选出来的无法识别的图像数量越来越少，最终一共采集200000张图像筛选出20000张图像作为训练集。训练集图像数量从200000减少到20000，大大减少了人工打标签的时间和网络训练时间，图像数量虽然减少了，但是图像质量更高，针对性更强，大大提高了网络训练的效率，加快了模型识别准确率的提高。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.基于深度学习筛选训练集的方法，其特征在于：所述方法具体过程为：

步骤一、人工对待识别区域的图像进行采集并打上标签作为初始数据集，将初始数据集分为训练集和测试集；

步骤二、搭建神经网络架构；

步骤三、将训练集输入神经网络进行训练，直至神经网络收敛，得到初始神经网络模型；

步骤四、将测试集输入目前得到的神经网络模型进行测试，当测试集准确率达到第一阈值时，得到满足要求的训练集和最终的神经网络模型；

当测试集准确率没有达到第一阈值时，执行步骤五；

步骤五、对待识别区域重新采集图像，使用目前得到的神经网络模型对重新采集的图像进行检测，将能准确检测的图像丢弃，将无法检测的图像数量与第三阈值进行比较，当无法检测的图像数量大于第三阈值时，从无法检测的图像中随机选取与第三阈值数量相等的图像，执行步骤六；

当无法检测的图像数量小于等于第三阈值时，选取所有无法检测的图像，执行步骤六；

步骤六、对步骤五选取的图像人工打上标签，并添加到训练集图像中组成添加后的训练集，添加后的训练集输入目前得到的神经网络模型，进行训练，得到新的神经网络模型，重复执行步骤四至步骤六，直至测试集准确率达到第二阈值时，得到满足要求的训练集和最终的神经网络模型；

所述步骤二中搭建神经网络架构；具体为：

SSD网络的输入图像大小是300x300，特征提取部分使用了VGG16的卷积层，并将VGG16的两个全连接层转换成两个卷积层，之后接8个卷积层，得到大小不同的feature maps，在feature maps上同时进行分类器分类和位置回归；

所述步骤四中第一阈值为90％；

所述步骤五中第三阈值取所述对待识别区域每次重新采集的图像数量的10％；

所述步骤六中第二阈值为95％。

2.根据权利要求1所述基于深度学习筛选训练集的方法，其特征在于：所述步骤一中人工对待识别区域的图像进行采集并打上标签作为初始数据集，将初始数据集分为训练集和测试集；具体为：

首先将相机安装在机械臂末端，对待识别区域的图像进行采集，构成数据集，并通过人工手段对数据集的图像进行标注；

将初始数据集分为训练集和测试集，训练集和测试集的比例分别为1:1。

Images