CN113570046A - 一种数据增强方法、系统、装置及计算机可读存储介质 - Google Patents

一种数据增强方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113570046A
CN113570046A CN202111103809.3A CN202111103809A CN113570046A CN 113570046 A CN113570046 A CN 113570046A CN 202111103809 A CN202111103809 A CN 202111103809A CN 113570046 A CN113570046 A CN 113570046A
Authority
CN
China
Prior art keywords
data enhancement
data
enhancement
code
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111103809.3A
Other languages
English (en)
Other versions
CN113570046B (zh
Inventor
刘红丽
李峰
周镇镇
刘宏刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111103809.3A priority Critical patent/CN113570046B/zh
Publication of CN113570046A publication Critical patent/CN113570046A/zh
Application granted granted Critical
Publication of CN113570046B publication Critical patent/CN113570046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种数据增强方法、系统、装置及存储介质，将待输入数据编码输入至RNN控制器得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理；利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试得到奖励值，且基于奖励值更新RNN控制器；将上一次生成的增强编码作为待输入数据编码，并返回执行上述步骤预设次数，以将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供深度神经网络后期训练时参考使用。可见，本申请可在训练过程中自适应调整数据增强操作，以达到数据最佳利用效果，从而提升深度神经网络的训练效果。

Description

一种数据增强方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及神经网络领域，特别是涉及一种数据增强方法、系统、装置及计算机可读存储介质。
背景技术
近年来，深度神经网络一直往越大越深的方向发展，为了保证深度神经网络的训练效果，深度神经网络对训练样本的数据量要求越来越高。目前，通常通过数据增强技术实现快速建立训练样本数据集，研究结果表明，数据增强不仅可以改进深度神经网络的泛化能力，而且能够增强深度神经网络的学习能力。
目前，对于识别图片信息的深度神经网络，通常采用的数据增强操作主要有两类：
1）将多个样本图片中任两幅样本图片按照预设透明度叠加处理，得到一幅新的样本图片，以此增加训练样本数量。但是，预设的透明度无法适用于所有样本图片，会存在一种情况：有的新样本图片的叠加效果较好，有的新样本图片的叠加效果较差，从而不利于深度神经网络的训练效果。
2）从多种图片处理方式（如水平翻转、尺度缩放）中任选一种图片处理方式，并将多个样本图片中任一幅样本图片按照所选择的图片处理方式进行处理，得到一幅新的样本图片，以此增加训练样本数量。但是，这种图片随机处理可能会引入误导风险，不利于深度神经网络的训练效果。比如，对于根据带有手写字体的图片识别手写字体的深度神经网络，若对带有手写字体的样本图片进行水平翻转，得到的新样本图片作为正常样本去训练深度神经网络，反而会降低深度神经网络的性能，这是因为数据增强后的样本分布和原样本分布差距太大，以致于对深度神经网络的学习起到了负面效果。
因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种数据增强方法、系统、装置及计算机可读存储介质，可在深度神经网络训练过程中自适应调整数据增强操作，以达到数据最佳利用效果，从而有效提升深度神经网络的训练效果。
为解决上述技术问题，本发明提供了一种数据增强方法，包括：
为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，所述RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；
构建待输入数据编码，并将所述待输入数据编码输入至所述RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据所述数据增强操作信息对所述训练集进行数据增强处理；
利用数据增强后的所述训练集训练并更新所述深度神经网络，并利用所述测试集对更新后的所述深度神经网络进行测试，得到奖励值，且基于所述奖励值更新所述RNN控制器；
将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将所述待输入数据编码输入至所述RNN控制器的步骤，直至返回预设次数，以将所述预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供所述深度神经网络后期训练时参考使用。
可选地，所述数据增强操作信息包括不同数据增强操作的概率；
则根据所述数据增强操作信息对所述训练集进行数据增强处理，包括：
根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对所述训练集进行数据增强处理所需的目标数据增强操作；
根据所述目标数据增强操作对所述训练集进行数据增强处理。
可选地，所述数据增强操作包括图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中的N种操作及图片叠加操作；其中，N=1,2,3,4,5；
则将所述待输入数据编码输入至所述RNN控制器，得到增强编码，包括：
将所述待输入数据编码输入至所述RNN控制器，得到（1*N+2）维的增强编码probs[0:N+2]；其中，probs[0:N]中N个数值一一对应所述N种操作的概率值；probs[N: N+2]中两个数值为所述图片叠加操作对应的概率值，以基于预设概率值-透明度对应关系求取所述图片叠加操作对应的透明度。
可选地，根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对所述训练集进行数据增强处理所需的目标数据增强操作，包括：
将本次生成的增强编码probs[0:N]进行归一化处理，并将归一化后的增强编码probs[0:N]进行四舍五入取整，得到只含有0、1数值的增强编码probs[0:N]；
判断只含有0、1数值的增强编码probs[0:N]中目标数值是否为1；若是，则将所述目标数值对应的数据增强操作确定为所述目标数据增强操作；若否，则不将所述目标数值对应的数据增强操作确定为所述目标数据增强操作；
将本次生成的增强编码probs[N: N+2]代入所述预设概率值-透明度对应关系，得到所述图片叠加操作对应的透明度λ，以将带有所述透明度λ的图片叠加操作确定为所述目标数据增强操作。
可选地，将本次生成的增强编码probs[N: N+2]代入所述预设概率值-透明度对应关系，得到所述图片叠加操作对应的透明度λ，包括：
将本次生成的增强编码probs[N: N+2]中其中一个数值作为第一超参数α、另一个数值作为第二超参数β；
基于λ=Beta(α,β)求取所述图片叠加操作对应的透明度λ。
可选地，根据所述目标数据增强操作对所述训练集进行数据增强处理，包括：
从所述训练集中获取待批量处理的训练图片batchx及其对应的标签batchy；
按照所述N种操作中确定为所述目标数据增强操作的操作，对所述训练图片batchx进行处理，得到待批量处理的训练增强图片batchx1及其对应的标签batchy1；
将所述训练增强图片batchx1打乱顺序，得到另一待批量处理的训练增强图片batchx2及其对应的标签batchy2；
根据mixed_batchx=λ* batchx1+(1-λ)* batchx2得到叠加样本图片mixed_batchx；
根据mixed_batchy=λ* batchy1+(1-λ)* batchy2得到所述叠加样本图片mixed_batchx对应的标签mixed_batchy；
将所述叠加样本图片mixed_batchx及其对应的标签mixed_batchy扩充至所述训练集。
可选地，基于所述奖励值更新所述RNN控制器，包括：
基于
Figure 551158DEST_PATH_IMAGE001
更新所述RNN控制器的可调参数θ；其中，γ∇θ表示所述可调参数的反向传播梯度；γ表示所述RNN控制器的预设学习率参数；logπθ(st,at)表示当前的所述RNN控制器对应的交叉熵损失；st表示当前的所述RNN控制器在上一次生成的增强编码；at表示当前的所述RNN控制器在本次生成的增强编码；Rt表示当前的所述RNN控制器对应的奖励值。
为解决上述技术问题，本发明还提供了一种数据增强系统，包括：
构建模块，用于为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，所述RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；
增强模块，用于构建待输入数据编码，并将所述待输入数据编码输入至所述RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据所述数据增强操作信息对所述训练集进行数据增强处理；
更新模块，用于利用数据增强后的所述训练集训练并更新所述深度神经网络，并利用所述测试集对更新后的所述深度神经网络进行测试，得到奖励值，且基于所述奖励值更新所述RNN控制器；
参考模块，用于将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将所述待输入数据编码输入至所述RNN控制器的步骤，直至返回预设次数，以将所述预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供所述深度神经网络后期训练时参考使用。
为解决上述技术问题，本发明还提供了一种数据增强装置，包括：
存储器，用于存储计算机程序；
处理器，用于在执行所述计算机程序时实现上述任一种数据增强方法的步骤。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种数据增强方法的步骤。
本发明提供了一种数据增强方法，为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；构建待输入数据编码，并将待输入数据编码输入至RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理；利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试，得到奖励值，且基于奖励值更新RNN控制器；将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将待输入数据编码输入至RNN控制器的步骤，直至返回预设次数，以将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供深度神经网络后期训练时参考使用。可见，本申请可在深度神经网络训练过程中自适应调整数据增强操作，以达到数据最佳利用效果，从而有效提升深度神经网络的训练效果。
本发明还提供了一种数据增强系统、装置及计算机可读存储介质，与上述数据增强方法具有相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据增强方法的流程图；
图2为本发明实施例提供的一种贝塔分布概率密度函数；
图3为本发明实施例提供的一种数据增强系统的结构示意图。
具体实施方式
本发明的核心是提供一种数据增强方法、系统、装置及计算机可读存储介质，可在深度神经网络训练过程中自适应调整数据增强操作，以达到数据最佳利用效果，从而有效提升深度神经网络的训练效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供的一种数据增强方法的流程图。
该数据增强方法包括：
步骤S1：为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码。
具体地，深度神经网络用于识别图片信息，以用于图片分类或检测。一方面，本申请为待训练的深度神经网络构建训练集和测试集（图片+标签）；其中，训练集用于训练深度神经网络；测试集用于测试深度神经网络的训练效果。另一方面，本申请构建RNN（Recurrent Neural Network，循环神经网络）控制器；其中，RNN控制器用于根据自身输入的数据编码生成增强编码（增强编码用于表征数据增强操作信息），即RNN控制器输入的是一组数据编码，输出的是一组增强编码，按照解码规则可得到其对应的数据增强操作信息。
步骤S2：构建待输入数据编码，并将待输入数据编码输入至RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理。
具体地，本申请构建待输入数据编码，并将待输入数据编码输入至RNN控制器，得到增强编码，然后按照解码规则对得到的增强编码进行解码，得到增强编码对应的数据增强操作信息，目的是根据得到的数据增强操作信息，对深度神经网络的训练集进行数据增强处理。
步骤S3：利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试，得到奖励值，且基于奖励值更新RNN控制器。
具体地，本申请将数据增强后的训练集输入至深度神经网络，目的是训练并更新深度神经网络，然后在利用数据增强后的训练集更新深度神经网络后，利用为深度神经网络构建的测试集，对更新后的深度神经网络进行测试，得到奖励值（reward，可以理解的是，深度神经网络的训练效果越好，reward值越大），目的是基于奖励值更新RNN控制器。
更具体地，若深度神经网络应用于图片分类场景，则采用深度神经网络的分类精度作为reward；若深度神经网络应用于图片检测场景，则采用深度神经网络的平均检测精度作为reward。
步骤S4：将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将待输入数据编码输入至RNN控制器的步骤，直至返回预设次数，以将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供深度神经网络后期训练时参考使用。
具体地，本申请将RNN控制器上一次生成的增强编码作为RNN控制器本次的待输入数据编码，然后返回执行将待输入数据编码输入至RNN控制器的步骤（将待输入数据编码输入至RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理；利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试，得到奖励值，且基于奖励值更新RNN控制器）。若返回次数到达预设次数（如10次），则停止返回执行将待输入数据编码输入至RNN控制器的步骤，并将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，这些参考数据增强操作就是深度神经网络在后期训练过程中对样本数据增强时所使用的数据增强操作，可有效提升深度神经网络的训练效果。
本发明提供了一种数据增强方法，为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；构建待输入数据编码，并将待输入数据编码输入至RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理；利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试，得到奖励值，且基于奖励值更新RNN控制器；将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将待输入数据编码输入至RNN控制器的步骤，直至返回预设次数，以将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供深度神经网络后期训练时参考使用。可见，本申请可在深度神经网络训练过程中自适应调整数据增强操作，以达到数据最佳利用效果，从而有效提升深度神经网络的训练效果。
在上述实施例的基础上：
作为一种可选的实施例，数据增强操作信息包括不同数据增强操作的概率；
则根据数据增强操作信息对训练集进行数据增强处理，包括：
根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对训练集进行数据增强处理所需的目标数据增强操作；
根据目标数据增强操作对训练集进行数据增强处理。
具体地，本申请的数据增强操作信息包括不同数据增强操作的概率，则本申请具体根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对深度神经网络的训练集进行数据增强处理所需的目标数据增强操作，以根据目标数据增强操作对深度神经网络的训练集进行数据增强处理。
作为一种可选的实施例，数据增强操作包括图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中的N种操作及图片叠加操作；其中，N=1,2,3,4,5；
则将待输入数据编码输入至RNN控制器，得到增强编码，包括：
将待输入数据编码输入至RNN控制器，得到（1*N+2）维的增强编码probs[0:N+2]；其中，probs[0:N]中N个数值一一对应N种操作的概率值；probs[N: N+2]中两个数值为图片叠加操作对应的概率值，以基于预设概率值-透明度对应关系求取图片叠加操作对应的透明度。
具体地，本申请的数据增强操作包括图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中的N种操作，还包括图片叠加操作。则本申请将待输入数据编码输入至RNN控制器，具体得到的是（1*N+2）维的增强编码probs[0:N+2]（一共对应N+2个数值）。
需要说明的是，增强编码probs[0:N+2]分为probs[0:N]（对应第一个到第N个数值）和probs[N: N+2]（对应第N+1个到第N+2个数值）两个部分；其中，probs[0:N]中N个数值一一对应图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中的N种操作的概率值；probs[N: N+2]中两个数值为图片叠加操作对应的概率值，目的是基于预设概率值-透明度对应关系求取图片叠加操作对应的透明度。
作为一种可选的实施例，根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对训练集进行数据增强处理所需的目标数据增强操作，包括：
将本次生成的增强编码probs[0:N]进行归一化处理，并将归一化后的增强编码probs[0:N]进行四舍五入取整，得到只含有0、1数值的增强编码probs[0:N]；
判断只含有0、1数值的增强编码probs[0:N]中目标数值是否为1；若是，则将目标数值对应的数据增强操作确定为目标数据增强操作；若否，则不将目标数值对应的数据增强操作确定为目标数据增强操作；
将本次生成的增强编码probs[N: N+2]代入预设概率值-透明度对应关系，得到图片叠加操作对应的透明度λ，以将带有透明度λ的图片叠加操作确定为目标数据增强操作。
具体地，本申请具体将本次生成的增强编码probs[0:N]进行归一化处理，即probs[0:N]中的N个数值均转换成[0,1]之间，具体可采用softmax函数（归一化指数函数）实现，并将归一化后的增强编码probs[0:N]进行四舍五入取整（小于0.5的取0，大于0.5的取1），可得到只含有0、1数值的增强编码probs[0:N]，然后判断只含有0、1数值的增强编码probs[0:N]中任一数值（称为目标数值）是否为1；若为1，则将目标数值对应的数据增强操作确定为目标数据增强操作；若为0，则不将目标数值对应的数据增强操作确定为目标数据增强操作。
与此同时，本申请还将本次生成的增强编码probs[N: N+2]代入预设概率值-透明度对应关系，可得到图片叠加操作对应的透明度λ，以将带有透明度λ的图片叠加操作确定为目标数据增强操作。
作为一种可选的实施例，将本次生成的增强编码probs[N: N+2]代入预设概率值-透明度对应关系，得到图片叠加操作对应的透明度λ，包括：
将本次生成的增强编码probs[N: N+2]中其中一个数值作为第一超参数α、另一个数值作为第二超参数β；
基于λ=Beta(α,β)求取图片叠加操作对应的透明度λ。
具体地，本申请的概率值-透明度对应关系为：λ=Beta(α,β)，其中，α、β为超参数，α∈(0,∞)，β∈(0,∞)。基于此，本申请将本次生成的增强编码probs[N: N+2]中其中一个数值作为第一超参数α、另一个数值作为第二超参数β，然后基于λ=Beta(α,β)求取图片叠加操作对应的透明度λ。
可见，透明度λ服从贝塔分布，图2展示了贝塔分布的概率密度函数，由图2可知不同的超参数α,β对应的概率分布差别很大，因此选择不同的超参数对数据增强效果影响很大。
综上，以数据增强操作包括图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化及图片叠加操作为例（N=5），数据自适应调整空间可通过如下表1的列表L表示：
表1
Figure 953320DEST_PATH_IMAGE002
总结为
Figure 887778DEST_PATH_IMAGE003
；其中，round表示四舍五入取整函数。L[0:5]分别对应图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化的概率，其中，1表示进行相应增强，0表示不进行相应增强。 L[5:7]分别对应图片叠加操作的超参数α,β，以此来明确透明度λ。
作为一种可选的实施例，根据目标数据增强操作对训练集进行数据增强处理，包括：
从训练集中获取待批量处理的训练图片batchx及其对应的标签batchy；
按照N种操作中确定为目标数据增强操作的操作，对训练图片batchx进行处理，得到待批量处理的训练增强图片batchx1及其对应的标签batchy1；
将训练增强图片batchx1打乱顺序，得到另一待批量处理的训练增强图片batchx2及其对应的标签batchy2；
根据mixed_batchx=λ* batchx1+(1-λ)* batchx2得到叠加样本图片mixed_batchx；
根据mixed_batchy=λ* batchy1+(1-λ)* batchy2得到叠加样本图片mixed_batchx对应的标签mixed_batchy；
将叠加样本图片mixed_batchx及其对应的标签mixed_batchy扩充至训练集。
具体地，本申请根据目标数据增强操作对训练集进行数据增强处理的过程包括：1）从深度神经网络的训练集中获取待批量处理的训练图片batchx及训练图片batchx对应的标签batchy；2）按照图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中确定为目标数据增强操作的操作，对训练图片batchx进行处理，得到待批量处理的训练增强图片batchx1及训练增强图片batchx1对应的标签batchy1；3）将训练增强图片batchx1打乱顺序，得到另一待批量处理的训练增强图片batchx2及训练增强图片batchx2对应的标签batchy2；4）将训练增强图片batchx1及训练增强图片batchx2代入mixed_batchx=λ*batchx1+(1-λ)* batchx2，得到叠加样本图片mixed_batchx，并将标签batchy1及标签batchy2代入mixed_batchy=λ* batchy1+(1-λ)* batchy2，得到叠加样本图片mixed_batchx对应的标签mixed_batchy；5）将叠加样本图片mixed_batchx及叠加样本图片mixed_batchx对应的标签mixed_batchy扩充至深度神经网络的训练集，起到数据增强作用。
作为一种可选的实施例，基于奖励值更新RNN控制器，包括：
基于
Figure 349983DEST_PATH_IMAGE001
更新RNN控制器的可调参数θ；其中，γ∇θ表示可调参数的反向传播梯度；γ表示RNN控制器的预设学习率参数；logπθ(st,at)表示当前的RNN控制器对应的交叉熵损失；st表示当前的RNN控制器在上一次生成的增强编码；at表示当前的RNN控制器在本次生成的增强编码；Rt表示当前的RNN控制器对应的奖励值。
具体地，强化学习中关键因素包括模型载体（Agent）、环境（Environment）、状态（State）、动作（Action）和奖励（Reward）。强化学习的目标是学习一个策略，使得智能体在合适的时候做出合适的动作，以获得最大的奖励。在自适应数据增强任务中，将增广方式的生成看成是一个agent在选择action，reward是通过一个测试集上的效果预测函数来获得，即本申请可利用强化学习训练RNN控制器，以生成奖励值较高的深度神经网络结构，强化学习中关键因素在本申请中含义如下表2所示：
表2
Figure 494526DEST_PATH_IMAGE004
基于此，本申请更新RNN控制器的可调参数θ的关系式为：
Figure 136597DEST_PATH_IMAGE001
，即通过奖励值与增强编码probs计算强化学习的损失，通过反向传播算法计算梯度，以此来更新RNN控制器的参数。
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本申请实施例进一步详细说明：
高速公路的气象环境状况，特别是恶劣天气条件（如积雪、团雾、大雨等），直接影响高速公路的运营管理和行车安全。其中，积雪不仅出现少而且形态变化大、位置不固定，使得收集数据非常困难。采用数据增强方法扩增数据集提高泛化性成为当前的主流方法，具体可利用上述基于强化学习的自适应数据增强方法改变积雪在不同的方向、位置、缩放比例、亮度等变化，解决其难识别问题，使得项目应用落地。
请参照图3，图3为本发明实施例提供的一种数据增强系统的结构示意图。
该数据增强系统包括：
构建模块1，用于为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；
增强模块2，用于构建待输入数据编码，并将待输入数据编码输入至RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据数据增强操作信息对训练集进行数据增强处理；
更新模块3，用于利用数据增强后的训练集训练并更新深度神经网络，并利用测试集对更新后的深度神经网络进行测试，得到奖励值，且基于奖励值更新RNN控制器；
参考模块4，用于将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将待输入数据编码输入至RNN控制器的步骤，直至返回预设次数，以将预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供深度神经网络后期训练时参考使用。
本申请提供的数据增强系统的介绍请参考上述数据增强方法的实施例，本申请在此不再赘述。
本申请还提供了一种数据增强装置，包括：
存储器，用于存储计算机程序；
处理器，用于在执行计算机程序时实现上述任一种数据增强方法的步骤。
本申请提供的数据增强装置的介绍请参考上述数据增强方法的实施例，本申请在此不再赘述。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一种数据增强方法的步骤。
本申请提供的计算机可读存储介质的介绍请参考上述数据增强方法的实施例，本申请在此不再赘述。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据增强方法，其特征在于，包括：
为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，所述RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；
构建待输入数据编码，并将所述待输入数据编码输入至所述RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据所述数据增强操作信息对所述训练集进行数据增强处理；
利用数据增强后的所述训练集训练并更新所述深度神经网络，并利用所述测试集对更新后的所述深度神经网络进行测试，得到奖励值，且基于所述奖励值更新所述RNN控制器；
将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将所述待输入数据编码输入至所述RNN控制器的步骤，直至返回预设次数，以将所述预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供所述深度神经网络后期训练时参考使用。
2.如权利要求1所述的数据增强方法，其特征在于，所述数据增强操作信息包括不同数据增强操作的概率；
则根据所述数据增强操作信息对所述训练集进行数据增强处理，包括：
根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对所述训练集进行数据增强处理所需的目标数据增强操作；
根据所述目标数据增强操作对所述训练集进行数据增强处理。
3.如权利要求2所述的数据增强方法，其特征在于，所述数据增强操作包括图片尺度缩放、图片水平翻转、图片色度变化、图片对比度变化、图片饱和度变化中的N种操作及图片叠加操作；其中，N=1,2,3,4,5；
则将所述待输入数据编码输入至所述RNN控制器，得到增强编码，包括：
将所述待输入数据编码输入至所述RNN控制器，得到（1*N+2）维的增强编码probs[0:N+2]；其中，probs[0:N]中N个数值一一对应所述N种操作的概率值；probs[N: N+2]中两个数值为所述图片叠加操作对应的概率值，以基于预设概率值-透明度对应关系求取所述图片叠加操作对应的透明度。
4.如权利要求3所述的数据增强方法，其特征在于，根据本次生成的增强编码解码后对应的不同数据增强操作的概率，确定本次对所述训练集进行数据增强处理所需的目标数据增强操作，包括：
将本次生成的增强编码probs[0:N]进行归一化处理，并将归一化后的增强编码probs[0:N]进行四舍五入取整，得到只含有0、1数值的增强编码probs[0:N]；
判断只含有0、1数值的增强编码probs[0:N]中目标数值是否为1；若是，则将所述目标数值对应的数据增强操作确定为所述目标数据增强操作；若否，则不将所述目标数值对应的数据增强操作确定为所述目标数据增强操作；
将本次生成的增强编码probs[N: N+2]代入所述预设概率值-透明度对应关系，得到所述图片叠加操作对应的透明度λ，以将带有所述透明度λ的图片叠加操作确定为所述目标数据增强操作。
5.如权利要求4所述的数据增强方法，其特征在于，将本次生成的增强编码probs[N: N+2]代入所述预设概率值-透明度对应关系，得到所述图片叠加操作对应的透明度λ，包括：
将本次生成的增强编码probs[N: N+2]中其中一个数值作为第一超参数α、另一个数值作为第二超参数β；
基于λ=Beta(α,β)求取所述图片叠加操作对应的透明度λ。
6.如权利要求4所述的数据增强方法，其特征在于，根据所述目标数据增强操作对所述训练集进行数据增强处理，包括：
从所述训练集中获取待批量处理的训练图片batchx及其对应的标签batchy；
按照所述N种操作中确定为所述目标数据增强操作的操作，对所述训练图片batchx进行处理，得到待批量处理的训练增强图片batchx1及其对应的标签batchy1；
将所述训练增强图片batchx1打乱顺序，得到另一待批量处理的训练增强图片batchx2及其对应的标签batchy2；
根据mixed_batchx=λ* batchx1+(1-λ)* batchx2得到叠加样本图片mixed_batchx；
根据mixed_batchy=λ* batchy1+(1-λ)* batchy2得到所述叠加样本图片mixed_batchx对应的标签mixed_batchy；
将所述叠加样本图片mixed_batchx及其对应的标签mixed_batchy扩充至所述训练集。
7.如权利要求1-6任一项所述的数据增强方法，其特征在于，基于所述奖励值更新所述RNN控制器，包括：
基于
Figure 176351DEST_PATH_IMAGE001
更新所述RNN控制器的可调参数θ；其中，γ∇θ表 示所述可调参数的反向传播梯度；γ表示所述RNN控制器的预设学习率参数；logπθ(st,at) 表示当前的所述RNN控制器对应的交叉熵损失；st表示当前的所述RNN控制器在上一次生成 的增强编码；at表示当前的所述RNN控制器在本次生成的增强编码；Rt表示当前的所述RNN控 制器对应的奖励值。
8.一种数据增强系统，其特征在于，包括：
构建模块，用于为待训练的深度神经网络构建训练集和测试集，并构建RNN控制器；其中，所述RNN控制器用于根据自身输入的数据编码生成表征数据增强操作信息的增强编码；
增强模块，用于构建待输入数据编码，并将所述待输入数据编码输入至所述RNN控制器，得到增强编码及其解码后对应的数据增强操作信息，且根据所述数据增强操作信息对所述训练集进行数据增强处理；
更新模块，用于利用数据增强后的所述训练集训练并更新所述深度神经网络，并利用所述测试集对更新后的所述深度神经网络进行测试，得到奖励值，且基于所述奖励值更新所述RNN控制器；
参考模块，用于将上一次生成的增强编码作为本次的待输入数据编码，并返回执行将所述待输入数据编码输入至所述RNN控制器的步骤，直至返回预设次数，以将所述预设次数中最大奖励值下的深度神经网络对应的数据增强操作作为参考数据增强操作，供所述深度神经网络后期训练时参考使用。
9.一种数据增强装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于在执行所述计算机程序时实现如权利要求1-7任一项所述的数据增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据增强方法的步骤。
CN202111103809.3A 2021-09-22 2021-09-22 一种数据增强方法、系统、装置及计算机可读存储介质 Active CN113570046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111103809.3A CN113570046B (zh) 2021-09-22 2021-09-22 一种数据增强方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111103809.3A CN113570046B (zh) 2021-09-22 2021-09-22 一种数据增强方法、系统、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113570046A true CN113570046A (zh) 2021-10-29
CN113570046B CN113570046B (zh) 2022-02-18

Family

ID=78173940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111103809.3A Active CN113570046B (zh) 2021-09-22 2021-09-22 一种数据增强方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113570046B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614492A (zh) * 2018-12-29 2019-04-12 平安科技（深圳）有限公司 基于人工智能的文本数据增强方法、装置、设备及存储介质
CN110008972A (zh) * 2018-11-15 2019-07-12 阿里巴巴集团控股有限公司 用于数据增强的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008972A (zh) * 2018-11-15 2019-07-12 阿里巴巴集团控股有限公司 用于数据增强的方法和装置
CN109614492A (zh) * 2018-12-29 2019-04-12 平安科技（深圳）有限公司 基于人工智能的文本数据增强方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EKIN D. CUBUK等: "AutoAugment:Learning Augmentation Strategies from Data", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *

Also Published As

Publication number Publication date
CN113570046B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110033026B (zh) 一种连续小样本图像的目标检测方法、装置及设备
US11681922B2 (en) Performing inference and training using sparse neural network
CN114373128A (zh) 基于类别自适应伪标签生成的河湖四乱遥感监测方法
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN111901594B (zh) 面向视觉分析任务的图像编码方法、电子设备及介质
CN112287965A (zh) 图像质量检测模型训练方法、装置和计算机设备
CN115310443A (zh) 模型训练方法、信息分类方法、装置、设备及存储介质
CN112084936B (zh) 一种人脸图像预处理方法、装置、设备及存储介质
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
CN113570046B (zh) 一种数据增强方法、系统、装置及计算机可读存储介质
CN112329879A (zh) 基于反事实多智能体学习的图像场景图的生成方法和系统
CN111784506A (zh) 逾期风险控制方法、设备及可读存储介质
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN115424250A (zh) 一种车牌识别方法及装置
CN111178630A (zh) 一种负荷预测方法及装置
CN113033212B (zh) 文本数据处理方法及装置
CN113706040B (zh) 风险识别方法、装置、设备及存储介质
CN111709479B (zh) 一种图像分类方法和装置
CN117710349A (zh) 基于反馈强化学习的小样本表面缺陷图像生成方法及系统
CN118115837A (zh) 图像样本挖掘方法、装置、设备以及计算机可读存储介质
CN118196567A (zh) 基于大语言模型的数据评价方法、装置、设备及存储介质
CN117884379A (zh) 一种矿石分选方法及系统
CN114998681A (zh) 一种基于亲和系数的网络训练方法
CN118195929A (zh) 一种数据增强处理方法、装置、终端设备和可读存储介质
CN117912033A (zh) 一种文本信息的检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant