CN110807109A - 数据增强策略的生成方法、数据增强方法和装置 - Google Patents

Abstract

本发明提供了一种数据增强策略的生成方法、数据增强方法和装置，方法包括：获取到训练数据和验证数据后，通过策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

Description

数据增强策略的生成方法、数据增强方法和装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种数据增强策略的生成方法、数据增强方法和装置。

背景技术

深度学习任务通常需要大量的数据。为了获得这些大量的数据，可以利用一些计算机视觉的方法，在现有的图片数据上进行一些变换，来获得与原始数据高度相关的等价新数据，这种方法被称为数据增强。相关技术中，在选择图片数据的增强策略时，大多采用强化学习的方式搜索最优策略，但通常需要上万次迭代才能收敛，得到最优结果，导致该方式实施难度较大，计算成本较高。

发明内容

本发明的目的在于提供一种数据增强策略的生成方法、数据增强方法和装置，以降低搜索最优策略的实施难度，节约计算成本。

第一方面，本发明提供的一种数据增强策略的生成方法，所述方法包括：基于预设的数据集合确定训练数据和验证数据；通过预设的策略生成器输出数据增强策略；通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；通过所述验证数据对所述训练后的网络进行验证，得到验证结果；根据所述验证结果调整所述策略生成器中的参数；继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

进一步的，基于预设的数据集合确定训练数据和验证数据的步骤，包括：从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。

进一步的，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；所述数据增强方式包括空间几何变换方式和/或颜色变换方式。

进一步的，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；所述通过预设的策略生成器输出数据增强策略的步骤，包括：获取预设的目标验证结果；将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。

进一步的，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。

进一步的，根据所述验证结果调整所述策略生成器中的参数的步骤，包括：将当前验证结果更新至所述历史验证结果中；根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。

第二方面，本发明提供的一种数据增强方法，所述方法包括：获取待处理数据；将所述待处理数据作为数据集合，按照上述第一方面所述的数据增强策略的生成方法生成数据增强策略；根据所述数据增强策略对所述待处理数据进行数据增强。

第三方面，本发明提供的一种数据增强策略的生成装置，所述装置包括：

确定模块，用于基于预设的数据集合确定训练数据和验证数据；

输出模块，用于通过预设的策略生成器输出数据增强策略；

处理模块，用于通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；

训练模块，用于采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；

验证模块，用于通过所述验证数据对所述训练后的网络进行验证，得到验证结果；

调整模块，用于根据所述验证结果调整所述策略生成器中的参数；

执行模块，用于继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

进一步的，所述确定模块还用于：从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。

进一步的，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；所述数据增强方式包括空间几何变换方式和/或颜色变换方式。

进一步的，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；所述输出模块还用于：获取预设的目标验证结果；将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。

进一步的，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。

进一步的，所述调整模块还用于：将当前验证结果更新至所述历史验证结果中；根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。

第四方面，本发明提供的一种数据增强装置，所述装置包括：获取模块，用于获取待处理数据；生成模块，用于将所述待处理数据作为数据集合，按照上述第一方面所述的数据增强策略的生成方法生成数据增强策略；数据增强模块，用于根据所述数据增强策略对所述待处理数据进行数据增强。

第五方面，本发明提供的一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面所述的数据增强策略的生成方法或第二方面所述的数据增强方法。

第六方面，本发明提供的一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述第一方面所述的数据增强策略的生成方法或第一方面所述的数据增强方法的步骤。

本发明提供的数据增强策略的生成方法、数据增强方法和装置，获取到训练数据和验证数据后，通过预设的策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对预设的待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据增强策略的生成方法的流程图；

图2为本发明实施例提供的一种网络结构示意图；

图3为本发明实施例提供的一种信号流向示意图；

图4为本发明实施例提供的另一种数据增强策略的生成方法的流程图；

图5为本发明实施例提供的另一种数据增强策略的生成方法的流程图；

图6为本发明实施例提供的一种数据增强方法的流程图；

图7为本发明实施例提供的一种数据增强策略的生成装置的结构示意图；

图8为本发明实施例提供的一种数据增强装置的结构示意图；

图9为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度学习任务通常需要大量的数据，获得大量数据的方法主要有三种：

1.收集更多的数据；该方式耗时耗力，有些场景下可能无法收集更多的数据。

2.使用人工生成的数据；人工生成数据相对来说难度较小，但是，如果任意生成数据引入了太多原始数据不相关的属性，很可能对模型的学习造成负面效果，使模型学习到不相关的属性。

3.利用一些计算机视觉的方法，在现有的图片数据上进行一些变换，来获得与原始数据高度相关的等价新数据，这种方法被称为数据增强。数据增强与前两种方法相比，资源耗费较少，与原始数据相关较高，因此，是深度学习训练数据生成的主要手段。

此外，如果原始的训练数据都是标准的数据，例如，都是垂直90度的正面数据，使用这类数据训练的模型通也只会适用于特定角度的图片是识别，为了增强模型的泛化能力，在深度学习训练过程中也会进行一定的数据增强。

任意一个计算机视觉算法的具体实现方式都可以作为一种数据增强策略，例如翻转10度和翻转15度对应两个具体数据增强策略，多个方法的组合也可以构成数据增强策略，例如翻转10度并且锐化0.4也构成了一个策略，因此实际可以搜索的数据增强空间是非常巨大的。

基于不同的计算机视觉方法的组合，可以形成多种数据增强策略。针对不同的原始图片选择合适的数据增强策略，对深度学习的模型训练任务的效果影响巨大。

目前对图片数据的增强策略搜索及选择方法主要有以下几种：

1.人工设计数据增强策略：由经验丰富的算法工程师来针对性人工设计数据增强策略。该方法由于引入了人类的先验知识，对算力要求最小，但是对算法工程师的经验要求较高，通常受限于算法工程师的经验，无法获得较好的效果。

2.网格搜索：给定一些策略组合的条件，该策略组合条件包括具体的计算机视觉技术，以及每个技术可以搜索的空间，在这些条件下进行网格搜索，其中，穷举搜索为最佳搜索策略。例如，有A、B两个参数，A有3个参数取值；B有2个参数取值，那么，需要进行2*3＝6次搜索。在限定范围内的穷举，通常可以获得这个范围内的最佳策略，技术实现难度也较小，但是，穷举搜索对于算力要求很高，在最悲观的情况下，需要将所有空间都搜索到才能获得最优的策略，即使这样获得的也可能只是局部最优解，不一定是全局最优解。

3.随机搜索：给定一个搜索范围，如：策略组合的条件，每次随机选择一个参数组合，选择相对较好的数据增强策略。该方法通常会设置一些中止条件(例如，达到一定的迭代次数即停止)，与网格搜索相比，算力要求通常要小一些，技术实现难度也较小，但由于随机搜索有随机性，未必会获得最优效果，同时也可能只能获得局部最优解。

4.强化学习：包含代理程序(agent)和奖惩机制，通过鼓励代理程序的正向行为，如：以模型在校验集上的准确率的提升作为奖励，惩罚负向行为，来不断逼近最优策略。该方法可以基于所有问题空间进行搜索，理论上可以获得全局最优解，但是，实施难度较大，同时对算力要求也很高，通常需要上万次迭代才能收敛。基于此，本发明实施例提供了一种数据增强策略的生成方法、数据增强方法和装置，该技术可以应用于数据增强策略的生成模型中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据增强策略的生成方法进行详细介绍，如图1所示，该方法包括：

步骤S102，基于预设的数据集合确定训练数据和验证数据。

上述数据集合可以理解为图片数据的集合，该图片数据可以是针对同一物体，并且该物体在不同角度、不同像素颜色等状态下的图片，图片数据量通常比较大，可达到百万张级别。上述训练数据用于训练模型，以完成模型构建；上述验证数据用于对所构建的模型进行验证，以评估该模型的效果。从上述预设的数据集合中选取预设数量的图片，其中一部分作为训练数据，另一部分作为验证数据。

需要说明的是，基于本实施例生成的数据增强策略，适用于对上述预设的数据集合进行数据增强。即，如果需要对哪个数据集合进行数据增强，则需要基于该数据集合确定训练数据和验证数据，然后进行本实施例中的后续步骤，得到的数据增强策略即可对该数据集合进行数据增强。也可以理解为，通过本实施例生成的数据增强策略，仅对上述数据集合来说是最优的数据增强策略，对其他数据集合不一定适用。

步骤S104，通过预设的策略生成器输出数据增强策略。

上述策略生成器可以基于历史迭代信息生成并输出潜在最优的数据增强策略，并将输出的数据增强策略作为输入条件，继续执行后续的步骤。该策略生成器可以基于贝叶斯模型建立。该数据增强策略可以是单个策略，一个计算机视觉的方法及其参数构成一个策略，如翻转10度，也可以是策略组合，如翻转10度并且锐化0.4。

步骤S106，通过上述数据增强策略对训练数据进行数据增强处理，得到增强处理后的训练数据。

根据上述数据增强策略，对训练数据进行增强处理，如果数据增强策略为翻转10度，则对训练数据中的图片翻转10度，得到翻转10度后的图片；如果数据增强策略为翻转10度并且锐化0.4，则对训练数据中的图片翻转10度并且锐化0.4，得到翻转10度并且锐化0.4后的图片；上述处理后的图片即为增强处理后的训练数据。

步骤S108，采用上述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络。

上述待训练网络可以是训练装置中内置的已有网络，该已有网络通常包括一个网络结构，也可以是用户指定的其他网络，如各种神经网络、SVM(Support Vector Machine，支持向量机)等。该待训练网络中通常包括卷积层、全连接层和损失函数，该损失函数具体可以为交叉熵函数；按照预设的迭代规则，将上述增强处理后的训练数据输入至待训练模型中进行训练，得到训练后的网络。

步骤S110，通过验证数据对训练后的网络进行验证，得到验证结果。

上述验证结果可以通过分类的准确率、识别的准确率等作为评判指标，对于图片分类任务的网络，通常选择分类的准确率作为主要的评判指标。将验证数据输入到上述训练后的网络进行验证测试，确定验证结果。

步骤S112，根据验证结果调整策略生成器中的参数。

上述参数可以包括策略生成器中可以生成数据增强策略的函数结构、函数参数等，该函数具体可以为拟合函数；将上述验证结果反馈至策略生成器，策略生成器根据该验证结果更新该具体函数。

步骤S114，继续执行基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

数据增强策略的生成是个循环迭代的过程，需要设定跳出循环迭代过程的预设条件，如：将预设条件设定为一个总迭代次数，当循环迭代的次数达到所设定的总迭代次数时，结束该循环迭代过程。将最后一次循环迭代过程中，策略生成器所输出的数据增强策略作为最终的数据增强策略。对于当前的数据集合，经过多次迭代后，策略生成器会得到一个最优的数据增强策略，基于这个最优的数据增强策略，对当前的数据集合进行数据增强。如果数据集合发生变化，则需要重新进行迭代过程，以得到新的最优的数据增强策略。

本发明实施例提供的数据增强策略的生成方法，获取到训练数据和验证数据后，通过预设的策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对预设的待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

基于上述实施例，为了进一步理解上述数据增强策略的生成方法，下面提供一种网络结构示意图，如图2所示，以说明数据增强策略的生成过程。

如图2所示，该网络结构包括数据采集器、策略生成器、处理模块、训练器和验证器，其中，数据采集器用于从预设的数据集合(也可以称为原始数据)中采集抽样数据，该抽样数据即为训练数据和验证数据的集合；策略生成器用于基于历史迭代信息的贝叶斯优化来生成潜在最优的数据增强策略；处理模块用于根据策略生成器输出的数据增强策略，对训练数据进行数据增强处理；训练器用于采用增强处理后的训练数据对预设的待训练网络进行训练；验证器用于通过验证数据对训练后的网络进行验证。

基于上述网络结构示意图，提供与该网络结构示意图相对应的一种信号流向示意图，如图3所示，通过数据采集器对原始数据抽样，确定训练数据和验证数据；通过策略生成器输出数据增强策略，该数据增强策略为潜在最优的数据增强策略；在处理模块中通过该数据增强策略对训练数据进行数据增强处理，得到增强处理后的训练数据；采用上述增强处理后的训练数据对训练器中预设的待训练网络进行训练，得到训练后的网络；在验证器中通过验证数据对上述训练后的网络中进行验证，得到验证结果；将该验证结果反馈至策略生成器，以调整策略生成器中的参数，进而生成下一个数据增强策略。

本发明实施例还提供另一种数据增强策略的生成方法，该方法在上述实施例方法的基础上实现；该方法重点描述基于预设的数据集合确定训练数据和验证数据的具体实现过程，如图4所示，该方法包括如下步骤：

步骤S402，从预设的数据集合中随机选取预设数量的样本数据。

为了提高搜索效率，针对每一次迭代，从数据集合中随机选取预设数量的图片作为样本数据，当次迭代过程结束后，将所选取的样本数据再放回至数据集合中，这样既可以保证多次迭代的结果代表整个预设的数据集合，又可以保证每次迭代训练的网络相对独立。样本数据的数量可以根据需求进行设定，通常样本数据越多，需要的计算量越大，采用每次随机抽取少量样本的方式而不是在整体样本上进行策略搜索，可以有效减少计算的复杂度。

步骤S404，按照预设的划分比例，将样本数据划分为训练数据和验证数据。

上述划分比例为所选取的样本数据中训练数据和验证数据的比例，该划分比例可以根据需求进行设定；如划分比例为4:1，则将80％的样本数据作为训练数据，剩余20％的样本数据作为验证数据。

步骤S406，通过预设的策略生成器输出数据增强策略。

数据增强策略包括至少一种数据增强方式、以及数据增强方式对应的参数；该数据增强方式包括空间几何变换方式、颜色变换方式或空间几何变换方式与颜色变换方式相结合的方式，其中，空间几何变换方式包括翻转、裁剪、缩放等；颜色变换方式包括噪声增加、图片模糊、对比对变换、RGB颜色通道变换等。通常会有预先建立的一个数据增强策略数据库，该数据库中包含有预置的图片计算机视觉策略，比如翻转，裁剪、锐化等，以及与之对应的多种参数。

步骤S408，通过上述数据增强策略对训练数据进行数据增强处理，得到增强处理后的训练数据。

步骤S410，采用上述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络。

步骤S412，通过验证数据对训练后的网络进行验证，得到验证结果。

步骤S414，根据验证结果调整策略生成器中的参数。

步骤S416，继续执行从预设的数据集合中随机选取预设数量的样本数据的步骤，直至满足预设条件，将满足预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

上述预设条件通常有两种设定方式：一种是循环迭代至指定次数后，验证效果不变；如：设定指定次数为10次，在连续10次的循环迭代过程中，损失函数所输出的损失值保持在一个稳定区间，如均为0.1，则终止迭代。另一种是设定总迭代次数，当循环迭代的次数达到所设定的总迭代次数时，则终止迭代，使用该方式时，即使达到所设定的总迭代次数时的损失值没有保持在一个稳定区间，也会终止迭代。通常需要迭代100次以上。

本发明实施例提供的另一种数据增强策略的生成方法，详细描述了基于预设的数据集合确定训练数据和验证数据的具体过程，从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将样本数据划分为训练数据和验证数据，然后基于上述训练数据和验证数据，执行后续数据增强策略的生成步骤，该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

本发明实施例还提供另一种数据增强策略的生成方法，该方法在上述实施例方法的基础上实现；该方法重点描述通过预设的策略生成器输出数据增强策略，以及根据验证结果调整策略生成器中的参数的具体实现过程。

本实施例中，策略生成器中包括基于贝叶斯建立的拟合函数；该拟合函数用于表征数据增强策略与历史验证结果的关系，该拟合函数包括第一子函数和第二子函数；其中，第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。如图5所示，该方法包括如下步骤：

步骤S502，基于预设的数据集合确定训练数据和验证数据。

步骤S504，获取预设的目标验证结果。

该目标验证结果是策略生成器中的拟合函数根据所收集的大量的历史策略及历史验证结果，所设定的目标验证结果。以翻转角度单一策略为例，拟合函数根据所收集的不同翻转角度及其准确率数据，预测翻转角度影响准确率的变化规律，然后设定目标验证结果，如设定目标验证结果为准确率80％、100％等。对于策略组合，拟合函数则要评估不同策略组合对准确率的影响。

步骤S506，将上述目标验证结果输入至拟合函数中，输出目标验证结果对应的数据增强策略。

上述输出的数据增强策略通常为策略组合，每个策略组合可以最多包含3个策略，如：翻转15度+亮度减少10％+裁剪20％。拟合函数中的第一子函数用于评估单个策略的不同参数的效果，例如，不同翻转角度对准确率的影响；拟合函数中的第二子函数用于评估策略组合对准确率的影响，例如，翻转15度+亮度减少10％+裁剪20％，对准确率的影响。

将上述目标验证结果输入至拟合函数中，输出对应的数据增强策略，以翻转角度单一策略为例，第一次数据增强策略为图片翻转10度，得到的验证结果准确率为75％，第二次数据增强策略为图片翻转15度，得到的验证结果准确率为80％，在生成第三次数据增强策略前，拟合函数会基于前两次的数据增强策略及其验证结果，预测出准确率的提升和翻转角度呈某一对应关系，如线性关系，进而根据预设的目标验证结果，推算出基于这一单一策略时的潜在最优的数据增强策略，如：设定目标验证结果为准确率100％时，所对应的潜在最优的数据增强策略为图片翻转30度。

前两次的冷启动迭代过程使用随机策略，并对该随机策略设定随机参数的方式来启动迭代过程。具体地，由于第一次迭代时，不存在历史验证结果，第二次迭代时，仅有一个历史验证结果，难以预测数据增强策略与验证结果的关系，因而，在前两次的迭代过程中，策略生成器采用随机的方式输出数据增强策略。

步骤S508，通过上述数据增强策略对训练数据进行数据增强处理，得到增强处理后的训练数据。

步骤S510，采用上述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络。

步骤S512，通过验证数据对训练后的网络进行验证，得到验证结果。

步骤S514，将当前验证结果更新至历史验证结果中。

上述历史验证结果为验证数据对训练后的网络进行验证，所得到的验证结果的集合。每次循环迭代过程所得到的验证结果都保存至该历史验证结果中，即历史验证结果随迭代过程不断更新。

步骤S516，根据更新后的历史验证结果调整拟合函数，以使拟合函数表征数据增强策略与更新后的历史验证结果的关系。

根据更新后的历史验证结果调整拟合函数，可以使拟合函数基于更新后的历史验证结果，在相同计算量的情况下，生成更优的数据增强策略，在验证结果相近的数据增强策略的情况下，所需要的计算量更小，因而更易获得全局最优解，并且只需要迭代过程中的历史验证结果，不需要引入人类的先验知识。

步骤S518，继续执行基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

以下给出采用上述本发明实施例中的数据增强策略的生成方法时的测试实例，实际测试，在业内公开的数据集上，使用本发明的数据增强策略训练的模型与未使用本数据增强策略训练的模型相比，可以减少50％的错误率，增加5％左右的准确率，对深度学习图片分类任务的提升效果明显。

本发明实施例提供的另一种数据增强策略的生成方法，详细描述了通过预设的策略生成器输出数据增强策略，以及根据验证结果调整策略生成器中的参数的具体过程。将获取到的预设的目标验证结果输入至拟合函数中，输出目标验证结果对应的数据增强策略，并基于该数据增强策略进行后续的训练和验证步骤，并将得到的验证结果更新至历史验证结果中，并根据更新后的历史验证结果调整拟合函数，以使拟合函数表征数据增强策略与更新后的历史验证结果的关系。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

本发明实施例提供了一种数据增强方法的流程图，如图6所示，该方法包括：

步骤S602，获取待处理数据。

该待处理数据具体可以理解为待处理的图片数据，该图片数据可以是针对同一物体，并且该物体在不同角度、不同像素颜色等状态下的图片。该待处理数据通常是数据集合，即包含多张图片数据。

步骤S604，将上述待处理数据作为数据集合，按照上述实施例的数据增强策略的生成方法生成数据增强策略。

步骤S606，根据该数据增强策略对待处理数据进行数据增强。

根据上述数据增强策略对待处理数据进行数据增强，以获取与该待处理数据高度相关的新数据，为深度学习任务提供足够的数据资源。

本发明实施例提供的一种数据增强方法，将获取的待处理数据作为数据集合，按照上述实施例的数据增强策略的生成方法生成数据增强策略，并根据数据增强策略对待处理数据进行数据增强。该方法引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

参照图7所示的一种数据增强策略的生成装置的结构示意图，该装置包括：确定模块70，用于基于预设的数据集合确定训练数据和验证数据；输出模块71，用于通过预设的策略生成器输出数据增强策略；处理模块72，用于通过数据增强策略对训练数据进行数据增强处理，得到增强处理后的训练数据；训练模块73，用于采用增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；验证模块74，用于通过验证数据对训练后的网络进行验证，得到验证结果；调整模块75，用于根据验证结果调整策略生成器中的参数；执行模块76，用于继续执行基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

本发明提供的一种数据增强策略的生成装置，获取到训练数据和验证数据后，通过预设的策略生成器输出数据增强策略，通过该数据增强策略对训练数据进行数据增强处理，并采用增强处理后的训练数据对预设的待训练网络进行训练，再通过验证数据对训练后的网络进行验证，并根据得到的验证结果调整策略生成器中的参数；循环执行上述步骤直至满足预设条件，进而得到最终的数据增强策略。该装置引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

进一步的，确定模块70还用于：从预设的数据集合中随机选取预设数量的样本数据；按照预设的划分比例，将样本数据划分为训练数据和验证数据。

进一步的，数据增强策略包括至少一种数据增强方式、以及数据增强方式对应的参数；数据增强方式包括空间几何变换方式和/或颜色变换方式。

进一步的，策略生成器中包括基于贝叶斯建立的拟合函数；拟合函数用于表征数据增强策略与历史验证结果的关系；输出模块71还用于：获取预设的目标验证结果；将目标验证结果输入至拟合函数中，输出目标验证结果对应的数据增强策略。

进一步的，拟合函数包括第一子函数和第二子函数；第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。

进一步的，调整模块75还用于：将当前验证结果更新至历史验证结果中；根据更新后的历史验证结果调整拟合函数，以使拟合函数表征数据增强策略与更新后的历史验证结果的关系。

本发明实施例所提供的数据增强策略的生成装置，其实现原理及产生的技术效果和前述数据增强策略的生成方法实施例相同，为简要描述，数据增强策略的生成装置实施例部分未提及之处，可参考前述数据增强策略的生成方法实施例中相应内容。

参照图8所示的一种数据增强装置的结构示意图，该装置包括：获取模块80，用于获取待处理数据；生成模块81，用于将待处理数据作为数据集合，按照上述实施例所述的数据增强策略的生成方法生成数据增强策略；数据增强模块82，用于根据数据增强策略对待处理数据进行数据增强。

本发明实施例提供的一种数据增强装置，将获取的待处理数据作为数据集合，按照上述实施例的数据增强策略的生成方法生成数据增强策略，并根据数据增强策略对待处理数据进行数据增强。该装置引入贝叶斯优化的方式来搜索数据增强策略，在搜索过程中，策略生成器基于历史验证结果预测出数据增强策略，进而在后续验证过程中不断调整策略生成器的参数，最终得到最优的数据增强策略，该方式降低了搜索最优策略的实施难度，节约了计算成本。

本发明实施例还提供了一种服务器，参见图9所示，该服务器包括处理器90和存储器91，该存储器91存储有能够被处理器90执行的机器可执行指令，该处理器90执行机器可执行指令以实现上述数据增强策略的生成方法或数据增强方法。

进一步地，图9所示的服务器还包括总线92和通信接口93，处理器90、通信接口93和存储器91通过总线92连接。

其中，存储器91可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据增强策略的生成方法或数据增强方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的数据增强策略的生成方法、数据增强方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种数据增强策略的生成方法，其特征在于，所述方法包括：

基于预设的数据集合确定训练数据和验证数据；

通过预设的策略生成器输出数据增强策略；

通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；

采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；

通过所述验证数据对所述训练后的网络进行验证，得到验证结果；

根据所述验证结果调整所述策略生成器中的参数；

继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

2.根据权利要求1所述的方法，其特征在于，基于预设的数据集合确定训练数据和验证数据的步骤，包括：

从预设的数据集合中随机选取预设数量的样本数据；

按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。

3.根据权利要求1所述的方法，其特征在于，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；

所述数据增强方式包括空间几何变换方式和/或颜色变换方式。

4.根据权利要求1所述的方法，其特征在于，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；

所述通过预设的策略生成器输出数据增强策略的步骤，包括：

获取预设的目标验证结果；

将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。

5.根据权利要求4所述的方法，其特征在于，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。

6.根据权利要求4所述的方法，其特征在于，根据所述验证结果调整所述策略生成器中的参数的步骤，包括：

将当前验证结果更新至所述历史验证结果中；

根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。

7.一种数据增强方法，其特征在于，所述方法包括：

获取待处理数据；

将所述待处理数据作为数据集合，按照权利要求1-6任一项所述的数据增强策略的生成方法生成数据增强策略；

根据所述数据增强策略对所述待处理数据进行数据增强。

8.一种数据增强策略的生成装置，其特征在于，所述装置包括：

确定模块，用于基于预设的数据集合确定训练数据和验证数据；

输出模块，用于通过预设的策略生成器输出数据增强策略；

处理模块，用于通过所述数据增强策略对所述训练数据进行数据增强处理，得到增强处理后的训练数据；

训练模块，用于采用所述增强处理后的训练数据对预设的待训练网络进行训练，得到训练后的网络；

验证模块，用于通过所述验证数据对所述训练后的网络进行验证，得到验证结果；

调整模块，用于根据所述验证结果调整所述策略生成器中的参数；

执行模块，用于继续执行所述基于预设的数据集合确定训练数据和验证数据的步骤，直至满足预设条件，将满足所述预设条件时的策略生成器输出的数据增强策略作为最终的数据增强策略。

9.根据权利要求8所述的装置，其特征在于，所述确定模块还用于：

从预设的数据集合中随机选取预设数量的样本数据；

按照预设的划分比例，将所述样本数据划分为训练数据和验证数据。

10.根据权利要求8所述的装置，其特征在于，所述数据增强策略包括至少一种数据增强方式、以及所述数据增强方式对应的参数；

所述数据增强方式包括空间几何变换方式和/或颜色变换方式。

11.根据权利要求8所述的装置，其特征在于，所述策略生成器中包括基于贝叶斯建立的拟合函数；所述拟合函数用于表征数据增强策略与历史验证结果的关系；所述输出模块还用于：

获取预设的目标验证结果；

将所述目标验证结果输入至所述拟合函数中，输出所述目标验证结果对应的数据增强策略。

12.根据权利要求11所述的装置，其特征在于，所述拟合函数包括第一子函数和第二子函数；所述第一子函数用于表征单一的数据增强方式中，不同参数与历史验证结果的关系；所述第二子函数用于表征多个数据增强方式以及每个数据增强方式对应的参数的组合，与历史验证结果的关系。

13.根据权利要求11所述的装置，其特征在于，所述调整模块还用于：

将当前验证结果更新至所述历史验证结果中；

根据更新后的历史验证结果调整所述拟合函数，以使所述拟合函数表征数据增强策略与更新后的历史验证结果的关系。

14.一种数据增强装置，其特征在于，所述装置包括：

获取模块，用于获取待处理数据；

生成模块，用于将所述待处理数据作为数据集合，按照权利要求1-6任一项所述的数据增强策略的生成方法生成数据增强策略；

数据增强模块，用于根据所述数据增强策略对所述待处理数据进行数据增强。

15.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的数据增强策略的生成方法或权利要求7所述的数据增强方法。

16.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至6任一项所述的数据增强策略的生成方法或权利要求7所述的数据增强方法的步骤。

Images