CN107451661A - 一种基于虚拟图像数据集的神经网络迁移学习方法 - Google Patents

Abstract

本发明属于机器学习技术领域，公开了一种基于虚拟图像数据集的神经网络迁移学习方法，包括：通过图形化模拟软件获取虚拟图像数据，对虚拟数据集进行分类标记，得到图像数据集；通过对虚拟数据集的预处理，利用神经网络训练目标识别模型，保存经过虚拟数据集训练好的参数模型；迁移学习，利用新的目标数据集对已经保存的预训练模型再次进行训练。本发明基于虚拟图像数据集，通过虚幻引擎采集所需要的场景或目标构建数据集，通过对虚拟数据集的训练得到预训练模型，并利用迁移学习的方法针对少量数据集便可以达到实际应用效果。

Description

一种基于虚拟图像数据集的神经网络迁移学习方法

技术领域

本发明属于机器深度学习技术领域，尤其涉及一种基于虚拟图像数据集的神经网络迁移学习方法。

背景技术

随着机器学习的发展，各种复杂场景下的识别技术变得越来越重要，但是一些极端环境下的目标数据以及特殊视角下(例如无人机俯视角度)的数据集很难采集，现有的公开数据集无法满足特定场景下模式识别训练数据集的需求。然而训练复杂的神经网络需要大量标注的数据，这不仅耗费大量的人力物力，而且即便有海量的训练数据，要训练一个复杂的卷积神经网络也需要几天甚至几周的时间，为了解决极端环境以及特殊视角下数据集采集难的问题，以及训练时间过长的问题。现有技术一，基于迁移学习的动物行为识别方法和装置，提出了一种基于迁移学习的目标动物行为识别方法和装置，即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合，测试数据集为目标动物的行为样本。步骤包括：步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；步骤103，利用所述新的特征训练SVM分类器，得到行为识别模型，同时对所述目标动物行为识别模型进行测试；步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。

综上所述，现有技术存在的问题是：现有的迁移学习技术无法解决极端环境以及特殊视角下的训练数据集难以采集并进行训练，导致的训练数据库小，人工标注数据集繁琐，多模型下训练时间过长。

发明内容

针对现有技术存在的问题，本发明提供了一种基于虚拟图像数据集的神经网络迁移学习方法。

本发明是这样实现的，一种基于虚拟图像数据集的神经网络迁移学习方法，所述基于虚拟图像数据集的神经网络迁移学习方法包括：

第一步，通过图形化模拟软件获取虚拟图像数据，

通过3D建模软件建立目标模型/从网络影视游戏中获取目标模型；将该模型导入图形化模拟软件，设置材料属性；通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；分类对图像信息进行储存；生成随机数据改变目标模型的所述环境信息；判断是否达到预期效果，达到结束，未达到返回通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；然后对虚拟数据集进行分类标记，得到图像数据集；

第二步，通过对虚拟数据集的预处理，将JPEG编码图像转化成二进制文件保存，搭建神经网络模型，模型包括卷积层、下采样层、全连接层并采用Relu作为激活函数，通过梯度下降的方法优化交叉熵，直到损失函数达到阈值，保存经过虚拟数据集训练好的参数模型；梯度下降：其中代表梯度负方向，ρ_k表示梯度方向的搜索步长；交叉熵：

第三步，迁移学习，利用新的目标数据集对第二步已经保存的预训练模型的全连接用同样的方法再次进行训练，直到新的损失函数达到阈值。

进一步，所述第一步包括：通过图形化模拟软件提取图像，将图像按照类别储存，图像和对应的标签制作成数据集。

进一步，所述第二步包括：

步骤一，数据集的预处理，对图像的大小调整，图像翻转，图像色彩调整，图像的剪裁以及平移；

步骤二，构建神经网络模型，用于逐层提取图像的高维特征，进行分类；

步骤三，模型训练，通过优化损失函数的方法拟合图像数据集和标签之间的映射；

步骤四，参数保存，神经网络模型参数在一次次优化迭代中更新并保存。

进一步，所述第三步包括：

(1)迁移学习，构建神经网络，加载预训练模型，通过预训练模型提取输入数据的高维特征；

(2)新的目标数据即为真实场景中要识别的目标，图像预处理做成数据集；

(3)新目标数据作为神经网络的输入进一步训练模型。

本发明的优点及积极效果为：基于虚拟图像数据集来匹配实际场景，通过对虚拟数据集训练得到一个神经网络的预训练模型，通过迁移学习(transfer learning，简称TL)将预训练模型通过少量的实际场景数据再次训练调整使其适用于实际要解决的问题。

本发明基于虚拟图像数据集，通过虚幻引擎采集所需要的场景或目标构建数据集，通过对虚拟数据集的训练得到预训练模型，并利用迁移学习的方法针对少量数据集便可以达到实际应用效果。

附图说明

图1是本发明实施例提供的基于虚拟图像数据集的神经网络迁移学习方法流程图。

图2是本发明实施例提供的图形化模拟软件中提取的图像数据集示意图。

图3是本发明实施例提供的神经网络结构示意图。

图4是本发明实施例提供的迁移学习的流程图。

图5是本发明经过虚拟数据集训练神经网络模型经过30000次迭代的损失函数衰减状况

图6是本发明经过虚拟数据集训练的模型对测试测试集的正确率

图7是经过经过VOC2007数据集训练的神经网络的识别效果

图8是本发明应用虚拟数据集训练的神经网络经过迁移学习后的识别效果

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于虚拟图像数据集的神经网络迁移学习方法包括以下步骤：

S101：通过对虚拟图像进行预处理，包括图像大小调整，图像翻转，图像色彩调整，图像的剪裁以及平移等；通过对图像进行预处理，可以尽量避免模型受到无关因素的影响；(例如光照因素，遮挡，旋转等)

S102：将图像和标签封装成二进制数据格式，以加快训练过程中训练集的读取速度；

S103：构建神经网络模型，通过深度神经网络对图像数据进行特征提取并进行分类找到对应的标签；

S104：通过优化神经网络参数来拟合图像数据集与标签之间的映射；

S105：将与训练参数模型保存；

S106：加载已保存的模型并利用现有的少量现实数据集进行训练，可达到预期效果。

通过图形化模拟软件获取虚拟图像数据，对虚拟数据集进行分类标记，得到图像数据集；通过3D建模软件建立目标模型/从网络影视游戏中获取目标模型；件该模型导入图形化模拟软件，设置材料属性；通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；分类对图像信息进行储存；生成随机数据改变目标模型的所述环境信息；判断是否达到预期效果，达到结束，未达到返回通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；然后对虚拟数据集进行分类标记，得到图像数据集；

通过对虚拟数据集的预处理，将JPEG编码图像转化成二进制文件保存，搭建神经网络模型，模型包括卷积层、下采样层、全连接层并采用Relu作为激活函数，通过梯度下降的方法优化交叉熵，直到损失函数达到阈值，保存经过虚拟数据集训练好的参数模型；梯度下降：其中代表梯度负方向，ρ_k表示梯度方向的搜索步长；交叉熵：

本发明实施例提供的基于虚拟图像数据集的神经网络迁移学习方法具体包括以下步骤：

步骤一：制作数据集；

1.从虚幻4引擎中提取相应的数据集，并对图像进行分类储存。

2.将图像数据集按照按照类别自动打标签。(可以利用Python中的字典进行分类，并利用键值作为数值类别)

3.将数值标签进行Ohe-hot编码，以便训练过程中进行损失函数的计算。

4.将图像和对应的Ohe-hot标签进行封装，储存成二进制格式。

步骤二：采用神经网络模型来进行图像识别，采用卷积神经网络提取特征，并在最后加全连接神经网络来进行分类。根据测试图像的大小(RGB格式图像，大小128x128x3)，神经网络采用四层卷积层四层全连接层，训练过程包括：

1.卷积层对图像进行卷积操作，通过卷积操作提取图像的高维特征。

2.每一层卷积之后进行降采样操作，加速计算也可以有效防止过拟合。

3.提取的特征进入全连接层进行分类。

4.通过前向传播结果得到的预测值。

5.通过计算预测结果和标签的损失并通过梯度下降算法对损失进行优化

6.保存模型参数。

步骤三：对于要训练的真实模型，通过同样的方法进行图像的预处理及数据集制作；在训练过程中加载已经保存的虚拟图像数据集训练的模型，仅仅经过少量的数据就能使模型达到收敛。

用公开数据集(VOC2007)模型训练基于无人机视角的车辆模型检测结果。传统数据集没有车辆的高空视角，识别过程中很容易出现错误，误将car识别成bus；经过全角度虚拟图像与训练再经过少量俯视车辆数据集进行迁移学习得到的训练结果，大大提高了识别的准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于虚拟图像数据集的神经网络迁移学习方法，其特征在于，所述基于虚拟图像数据集的神经网络迁移学习方法包括：

第一步，通过图形化模拟软件获取虚拟图像数据，对虚拟数据集进行分类标记，得到图像数据集；通过3D建模软件建立目标模型/从网络影视游戏中获取目标模型；将该模型导入图形化模拟软件，设置材料属性；通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；分类对图像信息进行储存；生成随机数据改变目标模型的所述环境信息；判断是否达到预期效果，达到结束，未达到返回通过图形化模拟软件中设置的摄像机轨道，从不同角度对目标模型进行图像信息采集；然后对虚拟数据集进行分类标记，得到图像数据集；

第二步，通过对虚拟数据集的预处理，将JPEG编码图像转化成二进制文件保存，搭建神经网络模型，模型包括卷积层、下采样层、全连接层并采用Relu作为激活函数，通过梯度下降的方法优化交叉熵，直到损失函数达到阈值，保存经过虚拟数据集训练好的参数模型；梯度下降：其中代表梯度负方向，ρ_k表示梯度方向的搜索步长；交叉熵：

<mrow> <mi>C</mi> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>x</mi> </munder> <mo>&amp;lsqb;</mo> <mi>y</mi> <mi>ln</mi> <mi>a</mi> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>

第三步，迁移学习，利用新的目标数据集对已经保存的预训练模型再次进行训练。

2.如权利要求1所述的基于虚拟图像数据集的神经网络迁移学习方法，其特征在于，所述第一步包括：通过图形化模拟软件提取图像，将图像按照类别储存，图像和对应的标签制作成数据集。

3.如权利要求1所述的基于虚拟图像数据集的神经网络迁移学习方法，其特征在于，所述第二步包括：

步骤一，数据集的预处理，对图像的大小调整，图像翻转，图像色彩调整，图像的剪裁以及平移；

步骤二，构建神经网络模型，用于逐层提取图像的高维特征，进行分类；

步骤三，模型训练，通过优化损失函数的方法拟合图像数据集和标签之间的映射；

步骤四，参数保存，神经网络模型参数在一次次优化迭代中更新并保存。

4.如权利要求1所述的基于虚拟图像数据集的神经网络迁移学习方法，其特征在于，所述第三步包括：

(1)迁移学习，构建神经网络，加载预训练模型，通过预训练模型提取输入数据的高维特征；

(2)新的目标数据即为真实场景中要识别的目标，图像预处理做成数据集；

(3)新目标数据作为神经网络的输入进一步训练模型。