CN111539957B - 一种用于目标检测的图像样本生成方法、系统及检测方法 - Google Patents

Abstract

本发明属于目标检测技术领域，公开了一种用于目标检测的图像样本生成方法、系统及其检测方法。本发明包括以下步骤：获得包含目标的物品和不包含目标的物品的图像并进行预处理；选取上述预处理后的图像进行拼接，再得到拼接图像的最小外接矩形并处理得到的新图像的集合作为训练数据集的组成。本发明解决了深度学习训练样本数据采集、标注难且数据量大的问题，通过解决在背景单一情况下负样本采样效果较差的问题，提高利用深度学习方法执行目标检测过程中的检测效率以及准确率。

Description

一种用于目标检测的图像样本生成方法、系统及检测方法

技术领域

本发明属于目标检测技术领域，具体涉及一种用于目标检测的图像样本生成方法、系统及检测方法。

背景技术

近年来，随着人工智能技术的不断发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、分割、跟踪等任务都取得了突破性的进展。相较于传统的机器视觉方法，深度卷积神经网络在大数据的训练下，从大量数据中学习出有用的特征，具有速度快、精度高、成本低等优势。但是虽然深度学习能达到这种优于传统方法的很大一部分原因是因为深度学习是建立在大量数据的基础上的，特别是在目标检测领域，深度学习更是需要大量的、有效的数据。如何克服深度学习依赖数据集的特点，当前主流的做法就是数据增强，但是并不是一味的增加数据量就能够提升模型的检测性能，还需要受到检测目标的放置角度、背景环境等外界因素影响的样本来还原真实场景下的用于检测的图像数据，训练检测网络才能提高目标检出准确率和召回率，这就更加加重了采集数据和标注数据所需的成本。

在一些特定场景中，采集的图像除去目标外的背景常常非常单一，造成此图在算法训练中采样的负样本的也几乎是单一的空白图片，使得算法的对于负样本的学习效果较差，算法在实际运用中较难分辨复杂背景，容易把背景误检为目标影响了目标检测效果。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的技术缺陷，提供一种用于目标检测的图像样本生成方法、系统及其检测方法，解决深度学习训练样本数据采集、标注难且数据量大的问题，使用简单算法为目标的检测快速提供有效的训练样本，解决在背景单一情况下负样本采样较差的问题，以提高利用深度学习方法执行目标检测过程中的检测效率以及准确率。

根据本发明的一个方面，提供一种用于目标检测的图像样本生成方法，包括：

S1:获得包含目标的物品的图像并进行第一预处理，得到目标数据集；

S2：获得不包含目标的物品的图像并进行第二预处理，得到背景数据集；

S3：从目标数据集中任选一张或多张图像，与背景数据集中任选的一张或多张图像进行拼接，并以拼接后的最小外接矩形得到中间图像；其中，拼接后所得图像与中间图像间的新增区域以背景色填充；

S4：对中间图像尺寸进行处理，长、宽均增至原图的1-1.5倍，增加的部分以背景色填充，得到新图像；

S5:重复步骤S3-S4，得到的新图像的集合作为训练数据集的组成。

所述第一预处理包括对图像中目标进行标注及对包含目标的物品的图像进行数据增广后裁剪，获得物品的最小外接正置矩形图像。优选的，数据增广方式中，若进行旋转，旋转角度为m*90°（m任选自0，1，2,3）。

所述第二预处理包括对不包含目标的物品的图像进行数据增广后裁剪。

作为举例，所述物品包括行李、快递、包裹、大件货物、车辆、工厂生产的产品等。作为举例，与上述物品相对应，目标包括行李中的违禁品、快递包裹中的违禁品、大件货物中的违禁品、车辆上的车牌、工厂生产的产品中的瑕疵等。

优选的，所述拼接为S3所得图像进行共边拼接，以减少所述新增区域的面积。

进一步优选的，所述共边拼接使所选图像的长边进行共边拼接。

进一步优选的，对任选的一张或多张目标数据集中图像和/或任选的一张或多张背景数据集中图像进行n*90°翻转，所述n任选自0，1，2，3。

所述背景色可以与采集图像的设备相关，也可以与单一的均质背景相关，可预采集无物品部分的图像数据获取。

根据本发明的又一方面，提供一种用于目标检测的图像样本生成系统，包括：目标数据生成模块、背景数据生成模块、图像拼接融合模块，新样本生成模块。

根据本发明的再一方面，提供一种目标检测方法，包括：

步骤1：获取物品的图像，并对图像预处理；

步骤2：通过预设的卷积神经网络提取所述预处理后图像的图像特征；

步骤3：通过预设的目标检测模型得到图像的目标区域；所述预设的目标检测模型通过包括了上述用于目标检测的图像样本生成方法所得的图像样本训练得到；

步骤4：输出图像的检测结果，包括目标的种类、位置等信息。

与现有技术相比，本发明至少具有以下有益效果：本发明针对深度学习算法在一些背景单一情况下负样本采样较差的问题，提出拼接训练图片和背景图片的一种数据增强方法。在训练图片上拼接复杂的背景图片，增加算法训练时能够采样到复杂负样本的比例，使算法能够较好分辨背景，减少误检，进而提高了智能检测方法中的目标检测任务的效率以及准确率。同时，本技术可以快速低成本实现降低具体某个物品的误检，一旦某物品发生误检，只要把误检的物品图片放入用于拼接的背景图片数据中，重新训练算法，就可使得算法不再会误检此物品，极大的降低了算法迭代人力成本。

附图说明

图1为本发明实施例提供的一种用于目标检测的图像样本生成方法的流程框图。

图2为本发明实施例提供的一种用于目标检测的图像样本生成方法中的图像示例。

图3为本发明实施例提供的一种用于目标检测的图像样本生成方法中拼接后图像示例。

图4为本发明实施例提供的一种用于目标检测的图像样本生成方法所得新图像示例。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一个或多个一部分实施例，而不是全部的实施例。基于本说明书一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书一个或多个保护的范围。

实施例1：为了解决上述技术问题，如图1所示，本发明提出的一种用于目标检测的图像样本生成方法，包括：

S1:获得包含目标的物品的图像并进行第一预处理，得到目标数据集。

S2：获得不包含目标的物品的图像并进行第二预处理，得到背景数据集。

所述第一预处理包括对图像中目标进行标注及包含目标的物品的图像进行数据增广后裁剪，获得物品的最小外接正置矩形图像，其中，数据增广方式中，若进行旋转，旋转角度为m*90°（m任选自0，1，2,3）。

第二预处理包括对不包含目标的物品的图像数据增广后裁剪。

所述正置矩形即为不发生偏转的矩形。

作为举例，所述物品包括行李、快递、包裹、大件货物、车辆、工厂生产的产品等。作为举例，与上述物品相对应，目标包括行李中的违禁品、快递包裹中的违禁品、大件货物中的违禁品、车辆上的车牌、工厂生产的产品中的瑕疵等。

所述数据增广方法包括几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。所述旋转操作：将图像顺/逆时针旋转一定角度，减少图像有个倾角就识别失败的概率。所述缩放操作：在通过抠图产生的图像样本时，输入缩放比例，然后在原图抠取缩放后尺寸的图像再压缩成原图大小。所述裁剪操作：通过将抠图图像样本进行裁剪处理减少图像有个缺失或者遮挡就识别失败的概率。进一步的，所述加噪操作的方法采用：根据均值和高斯协方差生成噪声矩阵，在原图像矩阵加上噪声，再判断各点像素值的合法性。所述模糊变换的方法采用OpenCV的blur函数实现，即在原图像中增加一个模糊块。所述透视操作：将原图的四个角点按照输入透视比例变换到新的四个点，再由变换前后的这四个点的对应映射关系，将原图整个点进行透视。所述亮度和对比度操作的方法采用调整每个像素的RGB值的方法来实现对图像的亮度和对比度操作。

仅作为示例，以快递包裹的安检场景为例示出了目标数据集和背景数据集中图像的获得过程，如图2所示，物品为快递包裹，目标为违禁品（在图中为刀具），图2中a为包含目标的物品安检图像，b为不包含目标的物品安检图像，c为预处理后的包含目标的物品安检图像，d为预处理后的不包含目标的物品安检图像。对该实施例涉及的名词术语进行解释：违禁品：法律规定的不准私自制造、购买、使用、持有、储存、运输进出口的物品，例如武器、弹药、爆炸物品(如炸药、雷管、导火索等)等；安检图像：利用安检设备获取的图像，其中，安检设备并不仅限于X光安检设备。

S3：从目标数据集中任选一张或多张图像，与背景数据集中任选的一张或多张图像进行拼接，并以拼接后的最小外接矩形得到中间图像；其中，拼接后所得图像与中间图像间的新增区域以背景色填充。

优选的，所述拼接为S3所得图像进行共边拼接，以减少所述新增区域的面积。

进一步优选的，所述共边拼接使所选图像的长边进行共边拼接。

进一步优选的，对任选的一张或多张目标数据集中图像和/或任选的一张或多张背景数据集中图像进行n*90°翻转，所述n任选自0，1，2，3。

具体的，作为示例，以图2示出图像中的一张目标数据集中图像c和一张背景数据集中图像d为例进行拼接，得到如图3所示中间图像。

S4：对中间图像尺寸进行处理，长、宽均增至原图的1-1.5倍，增加部分以背景色填充得到新图像。以长、宽均增至1.2倍为例，将图3中的中间图像进行尺寸处理，得到如图4所示的新图像。

S5:重复步骤S3-S4，得到的新图像的集合作为训练数据集的组成。

所述背景色可以与采集图像的设备相关，也可以与单一的均质背景相关，可预采集无物品部分的图像数据获取。

实施例2：本说明书实施例提供了一种用于目标检测的图像样本生成系统，包括：目标数据生成模块、背景数据生成模块、图像拼接模块，新样本生成模块。

具体的，目标数据生成模块用于生成包含目标的物品的图像并进行预处理得到的图像。背景数据生成模块用于生成不包含目标的物品的图像并进行预处理得到的图像。其中，目标数据生成模块中预处理包括对所述图像中的目标进行标注以及数据增广后裁剪，获得物品的最小外接正置矩形图像且数据增广方式中若进行旋转，旋转角度为m*90°（m任选自0，1，2,3）。背景数据生成模块中预处理包括对所述图像数据增广后裁剪，获得物品的最小外接正置矩形图像。其中，正置矩形即为不发生偏转的矩形。

所述物品包括行李、快递、包裹、大件货物等。

对目标数据生成模块和背景数据生成模块中图像进行数据增广，数据增广方法包括但不限于像素灰度值处理、去噪、背景差分、去伪影中的一种或多种。

图像拼接模块用于将目标数据集中图像与背景数据集中图像拼接成中间图像。具体的，从目标数据集中任选一张或多张图像，与背景数据集中任选的一张或多张图像进行拼接，并以拼接后的最小外接矩形得到中间图像。拼接后所得图像与中间图像间的新增区域以背景色填充。优选的，所述拼接为共边拼接，以减少所述新增区域的面积。进一步优选的，所述共边拼接使所选图像的长边进行共边拼接。

进一步优选的，对任选的一张或多张目标数据生成模块中图像和/或任选的一张或多张背景数据生成模块中图像进行n*90°翻转，所述n任选自0，1，2，3。新样本生成模块中的样本图像数量由图像拼接模块和新样本生成模块执行次数决定。

实施例3：对应于上述用于目标检测的图像样本生成方法，根据本发明实施例，还提供了一种目标检测方法，包括：

步骤1：获取物品的图像，并对图像预处理；其中，预处理方式包括但不限于图像归一化、去噪、背景差分、去伪影中的一种或多种。

以预设尺寸对图像进行归一化操作，此实施例中以500*500为例。

利用高斯平滑算法对图像进行去噪，高斯平滑后的图像每一个点的值，都由其自身和领域内的其他像素值经过加权平均后得到；具体的操作是使用一个模板扫描图像中的每一个像素，用模板确定的领域内像素的加权平均灰度值代替模板中心像素点的值。高斯平滑后，图像上细小的噪声被去除，虽然对图像中的边缘信息有一定的削弱，但是相对噪声来说，边缘还是被保留了；背景差分算法通过提取整幅图像(500*500)的灰度值中值作为背景的灰度值，再计算图像中每个像素点灰度值与背景的差值绝对值：I_sub＝|I_fg-bg|，式中bg为整幅图像的中值，I_fg为图像中每个像素点灰度值，已知相比于背景点与背景灰度值的差异，异物点具有更大的差一点，因此将差值的绝对值I_sub看做像素点属于异物点的可能性，该值越大对应的像素点越有可能是异物点。

步骤2：通过预设的卷积神经网络提取所述预处理后图像的图像特征；

步骤3：通过预设的目标检测模型得到图像的目标区域；所述预设的目标检测模型通过包含了本发明实施例1方法所得图像样本训练得到。

所述预设的目标检测模型的训练过程，主要包括以下步骤：

1.收集包含了本发明实施例1方法所得的图像样本，构建训练数据集；

2.预设深度学习网络模型包含特征提取模块、目标检测网络、损失计算模块；

所述预设的特征提取模块和目标检测网络均为卷积神经网络模型；

3.通过训练数据集训练所述特征提取模块和目标检测网络，获得训练好的深度学习目标检测模型。

所述训练过程包括：将所述本发明实施例1方法所得图像样本输入到特征提取模块中进行特征提取，获得图像特征，再将图像特征输入到目标检测网络模型，得到所述图像的候选预测，将候选预测输入损失计算模块计算损失函数，并通过梯度反传算法训练所述预设深度学习目标检测模型。

步骤4：输出图像的检测结果，包括目标的种类、位置等信息。

将通过本发明实施例1的方法得到的3万张图像样本和使用未处理的包含有目标的3万张图像样本分别对目标检测模型进行训练。目标检测模型的训练方法根据实施例3实施，分别得到对应的训练好的目标检测模型；再使用各自训练好的模型对5566张含有目标的图像测试集进行测试，得到如下表1所示结果，其中，漏检是指未检测到目标的图像数量占含有目标的图像总数量的比例；误检是指在没有目标的区域检测出目标的图像数量占图像总数量的比例。

	漏检(%)	误检（%）
			使用原始图片训练的模型	1	13.57
使用拼接图片训练的模型	1	0.9

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种用于目标检测的图像样本生成方法，其特征在于，包括：

S1：获得包含目标的物品的图像并进行第一预处理，得到目标数据集；

S2：获得不包含目标的物品的图像并进行第二预处理，得到背景数据集；

S3：从目标数据集中任选一张或多张图像，与背景数据集中任选的一张或多张图像进行拼接，并以拼接后的最小外接矩形得到中间图像；其中，拼接后所得图像与中间图像间的新增区域以背景色填充；对任选的一张或多张目标数据集中图像和/或任选的一张或多张背景数据集中图像进行n*90°翻转，所述n任选自0，1，2，3；

S4：对中间图像尺寸进行处理，长、宽均增至原图的1-1.5倍，增加的部分以背景色填充，得到新图像；

S5：重复步骤S3-S4，得到的新图像的集合作为训练数据集的组成；

所述第一预处理包括对图像中目标进行标注及对包含目标的物品的图像进行数据增广后裁剪，获得物品的最小外接正置矩形图像，其中，数据增广方式中，若进行旋转，旋转角度为m*90°，m任选自0,1,2,3；

所述第二预处理包括对不包含目标的物品的图像进行数据增广后裁剪；

所述拼接是指共边拼接；所述共边拼接为所选图像的长边进行共边拼接。

2.一种用于目标检测的图像样本生成系统，其特征在于，该系统用于实现权利要求1的方法，包括：目标数据生成模块、背景数据生成模块、图像拼接融合模块，新样本生成模块。

3.一种目标检测方法，其特征在于，包括：

步骤1：获取物品的安检图像，并对图像预处理；

步骤2：通过预设的卷积神经网络提取所述预处理后图像的图像特征；

步骤3：通过预设的目标检测模型得到安检图像的目标区域；所述预设的目标检测模型通过权利要求1所述用于目标检测的图像样本生成方法所得的图像样本训练得到；

步骤4：输出安检图像的检测结果，包括目标的种类、位置信息。

Images