CN109035369A - 一种融合虚拟样本的样本扩充方法 - Google Patents

Abstract

本发明公开了一种融合虚拟样本的样本扩充方法，其特征在于包括如下步骤：第一步，对采集到的车标真实样本进行车标消除处理，制作成无车标的车辆模型库；第二步，然后对收集到的车标样本增加噪声、扰动等处理以扩大样本集，之后通过图割方法对车标进行分离；第三步，将分离的车标与车辆图像进行组合与融合，最终生成虚拟样本。本发明的有益效果为：在样本量较少的情况下，提出一种新的样本扩充方案，该方法也能在更大程度上获得车标的多样性，从而提高识别的准确率和适应性，尤其是针对某些不常见且现有样本库较少的样本。

Description

一种融合虚拟样本的样本扩充方法

技术领域

本发明涉及一种利用计算机视觉技术来融合虚拟样本的样本扩充方法，尤其是针对增加车标样本数量的方法。

背景技术

随着经济的发展，汽车数量急剧增加，而这种现象带来了诸多社会问题，特别是在一线发达城市的交通问题。这些问题集中体现在道路拥堵，交通事故频发，车辆违章行为屡禁不止等。在处理交通问题的过程中，对于违章车辆的智能识别成尤为关键，车标作为车辆的重要标志，对车辆识别起到了重要的辅助作用。现阶段国内外大都采用深度学习技术对车标进行识别，而在此技术中，车标样本的搜集与扩充成为重要问题。

为了扩充样本，国内有一些论文已提到了不同的方法，其中有较多的传统方法如：文献(基于样本扩充的小样本人脸识别研究。哈尔滨工业大学，2014)中提出了两种样本扩充的方法：基于“对称脸”的样本扩容方法、基于“镜面”的样本扩容方法。第一种方法是人脸样本进行轴对称变换，保持一半人脸不变，另一半人脸通过做轴对称变换得到。同时对左、右人脸做轴对称变换，得到的虚拟人脸图像。第二种基于“镜面来扩充训练样本的样本扩充方法的核心思想是将原始训练样本做几何变换来扩充训练样本。两种方法皆可以相同的方式用于对称的车标中以增加车标样本量，这也是扩充样本的传统方法。文献(卷积神经网络在车标识别技术中的研究及其小样本下的处理策略。安徽大学，2016)中提出了两种方法：基于加噪和几何变换的扰动方法、基于特征子空间的扰动方法。第一种方法是将车标图进行旋转平移和加噪，这种方法可以满足样本多样化的特性，也属于样本扩充的传统方法。第二种是对特征子空间进行扰动于是对原始图片的主成分进行小的扰动，生成的图片与原始图片非常接近，造成训练样本过于单一，实验的准确率无法得到大的提高。文献(人脸图像虚拟样本生成方法。电子科技大学，2015)提出对源姿态人脸图像训练样本和目标姿态人脸图像训练样本进行控制点标定，然后将源姿态控制点训练样本集合作为RBF神经网络的输入和输出，训练得到的RBF神经网络拟合模型使生成的人脸图像虚拟样本更加接近真是样本，进而提高人脸识别率，但该方法工作成本和时间成本过高，虚拟样本生成的效率较低。

综上所述，现有方法中，大都以传统方法为主，而其余方法成本较高。本发明基于传统方法，针对车标样本不足的情况，提出了一种融合虚拟样本的样本扩充方法。

发明内容

由于使用先验知识扩充样本的方法和扰动方法都有一定的局限性，并不能产生大量的虚拟样本，因此，针对车标数据集较小的问题，本发明提出一种融合虚拟样本的样本扩充方法。

一种融合虚拟样本的样本扩充方法，其特征在于包括如下步骤：

第一步，对采集到的车标真实样本进行车标消除处理，制作成无车标的车辆模型库；

第二步，然后对收集到的车标样本增加噪声、扰动处理以扩大样本集，之后通过图割方法对车标进行分离；

第三步，将分离的车标与车辆图像进行组合与融合，最终生成虚拟样本。

所述的一种融合虚拟样本的样本扩充方法，其特征在于第一步中车标消除处理的步骤为：

步骤1.1：对采集到的真实车辆图像I进行标注，记车标位置为R(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为矩形区域R左上角的坐标，h与w分别为R的高和宽，单位为像素；

步骤1.2：计算矩形包围框集合RE＝{RE_i|i＝1,2,3,4}，使其满足如下公式，

其中ρ为事先给定的系数；

步骤1.3：使用区间在3×3至5×5之间的结构元对集合RE进行中值滤波，并使用式(2)分别计算RE_k的像素均值与方差σ_k，k＝1,2,3,4：

其中N_k为区域RE_k的像素个数，为RE_k中第i行第j列像素的强度；步骤1.4：若则使用对区域R进行填充；否则，若且σ₁+σ₃＞σ₂+σ₄，则根据式(4)和(5)消除车标；否则，若且σ₁+σ₃≤σ₂+σ₄，则根据式(6)和(7)消除车标：

R_ij＝EX_j (5)

其中，EX_j为RE₁与RE₃中第j列的像素均值，R_ij为车标图像第i行第j列的像素强度，j＝1,2,...,w；

R_ij＝EX_i (7)

其中，EX_i为RE₂与RE₄中第i列的像素均值，i＝1,2,...,h。

本发明的有益效果为：在样本量较少的情况下，提出一种新的样本扩充方案，该方法也能在更大程度上获得车标的多样性，从而提高识别的准确率和适应性，尤其是针对某些不常见且现有样本库较少的样本。

附图说明

图1为滤波区域示意图；

图2为进气栅划分示意图；

图3为前车标消除结果；

图4为后车标消除结果；

图5为前车标消除后换新车标效果图；

图6为后车标消除后换新车标效果图。

具体实施方式

下面结合实施例来详细阐述内部集卡定位方法的具体实施方法。此处所描述的具体实例仅用于解释本发明，并不用于限定本发明。

消除车标的方法具体为：

步骤1：对采集到的真实车辆图像I进行标注，记车标位置为R(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为矩形区域R左上角的坐标，h与w分别为R的高和宽，单位为像素；

步骤2：计算矩形包围框集合RE＝{RE_i|i＝1,2,3,4}，使其满足如下公式，

由于车标周围区域的像素宽度参数ρ过小而易受噪声影响，过大则会降低车标位置判断精确度(位于引擎盖或进气栅上)，故实验中取3。

步骤3：使用3×3的结构元对集合RE进行中值滤波，并使用下式分别计算RE_k的像素均值与方差σ_k，k＝1,2,3,4，

其中N_k为区域RE_k的像素个数，为RE_k中第i行第j列像素的强度；

步骤4：通常车标位于汽车的进气栅内或者进气栅上方的引擎盖上，实验过程中，方差阈值thres取0.8，以提高车标位置判断精确度。在RE区域分为两种情况讨论：

1.若车标不在进气栅中，即则使用对区域R进行填充以消除车标；

2.若车标在进气栅中，则的值较大，将进气栅分为横向与纵向两种情况：

1).若σ₁+σ₃＞σ₂+σ₄，即RE₁与RE₃中像素间的差异较大，判断为纵向进气栅，则根据下式消除车标，

R_ij＝EX_j 5)

其中EX_j为RE₁与RE₃中第j列的像素均值，R_ij为车标图像第i行第j列的像素强度，j＝1,2,...,w；

2).若σ₁+σ₃≤σ₂+σ₄，即RE₂与RE₄中像素间的差异较大，判断为横向进气栅，则根据下式消除车标，

R_ij＝EX_i 7)其中EX_i为RE₂与RE₄中第i列的像素均值，i＝1,2,...,h；

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种融合虚拟样本的样本扩充方法，其特征在于，包括如下步骤：

第一步，对采集到的车标真实样本进行车标消除处理，制作成无车标的车辆模型库；

第二步，然后对收集到的车标样本增加噪声、扰动处理以扩大样本集，之后通过图割方法对车标进行分离；

第三步，将分离的车标与车辆图像进行组合与融合，最终生成虚拟样本。

2.根据权利要求1所述的一种融合虚拟样本的样本扩充方法，其特征在于，所述第一步中车标消除处理的步骤为：

步骤1.1：对采集到的真实车辆图像I进行标注，记车标位置为R(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为矩形区域R左上角的坐标，h与w分别为R的高和宽，单位为像素；

步骤1.2：计算矩形包围框集合RE＝{RE_i|i＝1,2,3,4}，使其满足如下公式，

其中ρ为事先给定的系数；

步骤1.3：使用区间在3×3至5×5之间的结构元对集合RE进行中值滤波，并使用式(2)分别计算RE_k的像素均值与方差σ_k，k＝1,2,3,4：

其中N_k为区域RE_k的像素个数，为RE_k中第i行第j列像素的强度；

步骤1.4：若则使用对区域R进行填充；否则，若且σ₁+σ₃＞σ₂+σ₄，则根据式(4)和(5)消除车标；否则，若且σ₁+σ₃≤σ₂+σ₄，则根据式(6)和(7)消除车标：

R_ij＝EX_j (5)

其中，EX_j为RE₁与RE₃中第j列的像素均值，R_ij为车标图像第i行第j列的像素强度，j＝1,2,...,w；

R_ij＝EX_i (7)

其中，EX_i为RE₂与RE₄中第i列的像素均值，i＝1,2,...,h。