CN113837279B - 一种数据增强方法、系统、设备及计算机可读存储介质 - Google Patents
一种数据增强方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113837279B CN113837279B CN202111124062.XA CN202111124062A CN113837279B CN 113837279 B CN113837279 B CN 113837279B CN 202111124062 A CN202111124062 A CN 202111124062A CN 113837279 B CN113837279 B CN 113837279B
- Authority
- CN
- China
- Prior art keywords
- data enhancement
- data
- enhancement method
- concept drift
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 303
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 42
- 238000011156 evaluation Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 11
- 238000007639 printing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据增强方法、系统、设备及计算机可读存储介质，判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生概念漂移，则生成目标数据增强方法；判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。本申请中，可以在当前数据增强方法发生概念漂移后，生成目标数据增强方法，并且在目标数据增强方法满足数据增强性能指标之后，才应用目标数据增强方法对在线数据进行数据增强，实现了实时更新在线数据的数据增强方法，可以避免概念漂移现象的发生，保证数据增强的准确性。
Description
技术领域
本申请涉及数据处理技术领域，更具体地说，涉及一种数据增强方法、系统、设备及计算机可读存储介质。
背景技术
在深度学习中，数据可以影响深度学习模型的上限，数据规模越大、数据质量越高，根据数据训练得到的深度学习模型的性能越好，但是在实际应用中，存在数据小、数据不均衡、深度学习模块过拟合的情况，为了避免这些情况，可以通过数据增强方法实现数据规模的扩充。
数据增强方法是指在保持标签一致的情况下，通过转换方法扩充出类似于真实数据的训练数据，即对于一个样本，通过转换函数生成新数据，新旧数据有相同的数据标签。通过数据增强方法，一方面能够增加数据数量及多样性，提升模型的鲁棒性，另一方面能够增加随机性，以降低模型对于某些属性的依赖，从而提高模型的泛化能力。然而，随着时间的推移，数据流的分布随时间会发生不可预见变化的现象，也即概念漂移现象，概念漂移现象会导致模型的预测精度降低，影响后续数据处理效果。
综上所述，如何提高数据增强的准确性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据增强方法，其能在一定程度上解决如何提高数据增强的准确性的技术问题。本申请还提供了一种数据增强系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种数据增强方法，包括：
判断当前数据增强方法是否发生概念漂移；
若当前数据增强方法发生所述概念漂移，则生成目标数据增强方法；
判断所述目标数据增强方法是否满足数据增强性能指标；
若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据。
优选的，所述判断当前数据增强方法是否发生概念漂移，包括：
基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；
基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移。
优选的，所述概念漂移评估值包括所述离线数据的数据特征；
所述基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移，包括：
判断所述离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生所述概念漂移。
优选的，所述概念漂移评估值包括所述离线数据的数量值；
所述基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移，包括：
判断所述数量值是否大于预设数值，所述预设数值表征当前数据增强方法开始发生所述概念漂移时增强数据的数据量；
若所述数量值大于所述预设数值，则判定当前数据增强方法发生所述概念漂移。
优选的，所述生成目标数据增强方法，包括：
按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到所述目标数据增强方法。
优选的，所述搜索空间中所述已有数据增强方法的类型包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix中的至少一个。
优选的，所述生成目标数据增强方法；判断所述目标数据增强方法是否满足数据增强性能指标；若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据，包括：
基于预先训练的神经网络控制器，对所述已有数据增强方法进行选择、组合，生成满足所述数据增强性能指标的所述目标数据增强方法；
基于所述目标数据增强方法对在线数据进行数据增强，得到所述目标数据。
优选的，所述神经网络控制器的训练过程包括：
获取所述离线数据；
在所述离线数据中选取出验证集；
对所述已有数据增强方法进行选择、组合，生成训练数据增强方法；
基于所述训练数据增强方法对所述神经网络控制器进行训练；
通过分类器，基于所述验证集及所述数据增强性能指标确定所述神经网络控制器的损失值；
基于所述损失值判断所述神经网络控制器是否收敛；
若所述神经网络控制器收敛，则完成对所述神经网络控制器的训练；
若所述神经网络控制器不收敛，则返回执行所述获取所述离线数据的步骤。
优选的，所述基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据之后，还包括：
基于所述目标数据对深度学习模型进行增量学习训练。
一种数据增强系统，包括：
第一判断模块，用于判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生所述概念漂移，则生成目标数据增强方法；
第二判断模块，用于判断所述目标数据增强方法是否满足数据增强性能指标；若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据。
一种数据增强设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述数据增强方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述数据增强方法的步骤。
本申请提供的一种数据增强方法，判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生概念漂移，则生成目标数据增强方法；判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。本申请中，可以在当前数据增强方法发生概念漂移后，生成目标数据增强方法，并且在目标数据增强方法满足数据增强性能指标之后，才应用目标数据增强方法对在线数据进行数据增强，实现了实时更新在线数据的数据增强方法，可以避免概念漂移现象的发生，保证数据增强的准确性。本申请提供的一种数据增强系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据增强方法的流程图；
图2为本申请实施例提供的一种数据增强系统的结构示意图；
图3为本申请实施例提供的一种数据增强设备的结构示意图；
图4为本申请实施例提供的一种数据增强设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种数据增强方法的流程图。
本申请实施例提供的一种数据增强方法，可以包括以下步骤：
步骤S101：判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生概念漂移，则执行步骤S102。
步骤S102：生成目标数据增强方法。
实际应用中，因为概念漂移会使得数据的标签发生改变，使得生成的新数据不准确，为了避免此种情况，可以先判断当前数据增强方法是否会发生概念漂移，也即判断当前数据增强方法是否会使得数据发送概念漂移，若当前数据增强方法发生概念漂移，则需要对当前数据增强方法进行更新，此时便需要生成新的目标数据增强方法。需要说明的是，判断当前数据增强方法是否发生概念漂移及生成目标数据增强方法的实现方式可以根据具体应用场景来确定本申请在此不做具体限定。
步骤S103：判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则执行步骤S104。
步骤S104：基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
实际应用中，在生成目标数据增强方法之后，目标数据增强方法是否满足数据增强要求是不可知的，为了保证目标数据增强方法能够满足数据增强需求，还可以判断目标数据增强方法是否满足数据增强性能指标，若目标数据增强方法满足数据增强性能指标，则再基于目标数据增强方法对在线数据进行数据增强，得到目标数据。此外，在目标数据增强方法不满足数据增强性能指标的情况下，可以返回重新执行生成目标数据增强方法的步骤，以更新目标数据增强方法。
需要说明的是，数据增强性能指标及在线数据的类型、来源等可以根据具体应用场景确定，比如数据增强性能指标可以为数据增强后的数据量达到预设量等，本申请在此不做具体限定。此外，在目标数据增强方法不满足数据增强性能指标的情况下，可以返回执行生成目标数据增强方法的步骤等，本申请在此也不做具体限定。
本申请提供的一种数据增强方法，判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生概念漂移，则生成目标数据增强方法；判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。本申请中，可以在当前数据增强方法发生概念漂移后，生成目标数据增强方法，并且在目标数据增强方法满足数据增强性能指标之后，才应用目标数据增强方法对在线数据进行数据增强，实现了实时更新在线数据的数据增强方法，可以避免概念漂移现象的发生，保证数据增强的准确性。
本申请实施例提供的一种数据增强方法中，如果长时间应用一个数据增强方法对在线数据进行数据增强的话，随着处理数据的增多，概念漂移概率也会增大，所以可以通过对数据增强方法处理的数据进行评估来判断当前数据增强方法是否发生概念漂移，而数据增强方法处理的数据会作为离线数据存储在存储介质中，所以可以基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值，再基于概念漂移评估值判断当前数据增强方法是否发生概念漂移。
具体应用场景中，因为数据发生概念漂移的话，数据的数据特征会发生变化，比如当前离线数据的数据特征会与第一个离线数据的数据特征不一致等，所以可以直接根据数据特征来判断数据是否发生概念漂移，也即概念漂移评估值的类型可以为离线数据的特征，相应的，在基于概念漂移评估值判断当前数据增强方法是否发生概念漂移的过程中，可以判断离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生概念漂移。需要说明的是，判断离线数据的数据特征是否发生变化的实施方式可以根据实际需要确定，比如可以判断离线数据的数据特征是否随时间发生变化，若是，则确定当前数据增强方法发生概念漂移等，本申请在此不做具体限定。
具体应用场景中，如果长时间应用一个数据增强方法对在线数据进行数据增强的话，随着数据量的增多，概念漂移概率也会增大，所以可以通过对数据增强方法处理的数据量进行评估来判断当前数据增强方法是否发生概念漂移，也即概念漂移评估值可以为离线数据的数据量，相应的，在基于概念漂移评估值判断当前数据增强方法是否发生概念漂移的过程中，可以判断数量值是否大于预设数值，预设数值表征当前数据增强方法开始发生概念漂移时增强数据的数据量，也即预设数值是当前数据增强方法发生概念漂移时处理数据的数量值；若数量值大于预设数值，则判定当前数据增强方法发生概念漂移。比如当前数据增强方法开始发生概念漂移时的数据量为1000，则用当前数据增强方法获得1000个数据后，便需要生成目标数据增强方法。需要说明的是，预设数值可以根据具体应用场景来确定，比如可以统计各个数据增强方法出现概念漂移时生成的数据量，将该数据量的平均值作为预设数值等。
可以理解的是，当前数据增强方法对在线数据的处理是随着时间进行的，所以还可以通过累积当前数据增强方法的工作时长，将该工作时长与预设时长进行比较，预设时长表征当前数据增强方法从开始工作到发生概念漂移间的时长，若工作时长大于预设时长，则可以判定当前数据增强方法发生概念漂移，此时，概念漂移评估值便为当前数据增强方法的工作时长。当然，也可以有其他判断当前数据增强方法是否发生概念漂移的方法，本申请在此不做具体限定。
需要说明的是，具体应用场景中，基于离线数据的数据特征及基于离线数据的数据量判断当前数据增强方法是否发生概念漂移的步骤可以分开实施，也可以一同实施，则判断当前数据增强方法是否发生概念漂移的过程可以包括以下步骤：
确定生成当前数据增强方法后、存入存储介质中的离线数据的数据特征及数量值；
判断数量值是否大于预设数值，若数量值大于预设数值，则判断数据特征是否发生变化，若数据特征发生变化，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种数据增强方法中，在生成目标数据增强方法的过程中，为了便于生成目标数据增强方法，可以预先在搜索空间中设置各个基础的已有数据增强方法，再按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合来得到目标数据增强方法。
需要说明的是，搜索空间中已有数据增强方法的类型可以根据实际需要确定，比如可以包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix中的至少一个等。其中，cutout表示随机的将样本中的部分区域cut掉，并且填充0像素值；random earsing表示通过随机选择不同大小的方形区域，填充随机像素值，达到增加数据遮挡效果的数据增强；sample pairing表示从训练集随机抽取的两幅图像叠加合成一个新的样本(像素取平均值)，可以使训练集规模从N扩增到N*N；mixup表示运用在计算机视觉中的对图像进行混类增强的算法，它可以将不同类之间的图像进行混合，从而扩充训练数据集；cutmix表示将一部分区域cut掉但不填充0像素而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配。且搜索策略用于对搜索空间中的已有数据增强方法进行搜索，其具体的搜索过程可以根据实际需要确定，比如可以按关键词搜索等，本申请在此不做具体限定。
本申请实施例提供的一种数据增强方法中，为了提高数据增强方法的处理效率，在生成目标数据增强方法；判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据的过程中，可以基于预先训练的神经网络控制器，对已有数据增强方法进行选择、组合，生成满足数据增强性能指标的目标数据增强方法；基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
也即可以直接借助预先训练好的神经网络控制器来快速生成满足数据增强性能指标的目标数据增强方法，以此提高本申请中数据增强方法的运行效率。
实际应用中，在线数据被使用后，可以存储至存储介质中成为离线数据，此时，神经网络控制器的训练过程可以包括以下步骤：获取离线数据；在离线数据中选取出验证集；对已有数据增强方法进行选择、组合，生成训练数据增强方法；基于训练数据增强方法对神经网络控制器进行训练，使得神经网络控制器可以生成数据增强方法；通过分类器，基于验证集及数据增强性能指标确定神经网络控制器的损失值，具体的，可以基于神经网络控制器生成的数据增强方法对验证集进行数据增强，之后分类器对增强后的数据及验证集本申请进行准确性评估，并根据准确性评估结果及数据增强性能指标确定相应的损失值；基于损失值判断神经网络控制器是否收敛；若神经网络控制器收敛，则完成对神经网络控制器的训练；若神经网络控制器不收敛，则返回执行获取离线数据的步骤。此外，在此过程中，还可以从离线数据中选取出训练集，通过训练集对分类器进行训练，得到收敛的分类器，在此过程中，优选的，可以按照4:1的比例将离线数据划分为训练集和验证集等，本申请在此不做具体限定。
具体应用场景中，在基于目标数据增强方法对在线数据进行数据增强，得到目标数据之后，为了保证深度学习模型的性能，还可以基于目标数据对深度学习模型进行增量学习训练。在此过程中，神经网络控制器、分类器及深度学习模型的类型及参数可以根据实际需要确定，比如神经网络控制器可以为RNN(Recurrent Neural Network，循环神经网络)，分类器可以为CNN(Convolutional Neural Networks，卷积神经网络)网络等；深度学习模型的学习率可以为0.025，优化算法可以为SGD，batch_size可以为1，epoch可以为10等。
请参阅图2，图2为本申请实施例提供的一种数据增强系统的结构示意图。
本申请实施例提供的一种数据增强系统，可以包括：
第一判断模块101，用于判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生概念漂移，则生成目标数据增强方法；
第二判断模块102，用于判断目标数据增强方法是否满足数据增强性能指标；若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种数据增强系统，第一判断模块可以包括：
第一确定单元，用于基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；
第一判断单元，用于基于概念漂移评估值判断当前数据增强方法是否发生概念漂移。
本申请实施例提供的一种数据增强系统，概念漂移评估值可以包括离线数据的数据特征；
相应的，第一判断单元可以具体用于：判断离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种数据增强系统，概念漂移评估值可以包括离线数据的数量值；
相应的，第一判断单元可以具体用于：判断数量值是否大于预设数值，预设数值表征当前数据增强方法开始发生概念漂移时增强数据的数据量；若数量值大于预设数值，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种数据增强系统，第一判断模块可以包括：
第一生成单元，用于按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到目标数据增强方法。
本申请实施例提供的一种数据增强系统，搜索空间中已有数据增强方法的类型可以包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix中的至少一个。
本申请实施例提供的一种数据增强系统，可以包括：
数据增强模块，用于基于预先训练的神经网络控制器，对已有数据增强方法进行选择、组合，生成满足数据增强性能指标的目标数据增强方法；基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种数据增强系统，数据增强模块可以具体用于：获取离线数据；在离线数据中选取出验证集；对已有数据增强方法进行选择、组合，生成训练数据增强方法；基于训练数据增强方法对神经网络控制器进行训练；通过分类器，基于验证集及数据增强性能指标确定神经网络控制器的损失值；基于损失值判断神经网络控制器是否收敛；若神经网络控制器收敛，则完成对神经网络控制器的训练；若神经网络控制器不收敛，则返回执行获取离线数据的步骤。
本申请实施例提供的一种数据增强系统，还可以包括：
第一训练模块，用于第二判断模块基于目标数据增强方法对在线数据进行数据增强，得到目标数据之后，基于目标数据对深度学习模型进行增量学习训练。
本申请还提供了一种数据增强设备及计算机可读存储介质，其均具有本申请实施例提供的一种数据增强方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种数据增强设备的结构示意图。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：
判断当前数据增强方法是否发生概念漂移；
若当前数据增强方法发生概念漂移，则生成目标数据增强方法；
判断目标数据增强方法是否满足数据增强性能指标；
若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；基于概念漂移评估值判断当前数据增强方法是否发生概念漂移。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：概念漂移评估值包括离线数据的数据特征；判断离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：概念漂移评估值包括离线数据的数量值，判断数量值是否大于预设数值，预设数值表征当前数据增强方法开始发生概念漂移时增强数据的数据量；若数量值大于预设数值，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到目标数据增强方法。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：搜索空间中已有数据增强方法的类型包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix 中的至少一个。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于预先训练的神经网络控制器，对已有数据增强方法进行选择、组合，生成满足数据增强性能指标的目标数据增强方法；基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取离线数据；在离线数据中选取出验证集；对已有数据增强方法进行选择、组合，生成训练数据增强方法；基于训练数据增强方法对神经网络控制器进行训练；通过分类器，基于验证集及数据增强性能指标确定神经网络控制器的损失值；基于损失值判断神经网络控制器是否收敛；若神经网络控制器收敛，则完成对神经网络控制器的训练；若神经网络控制器不收敛，则返回执行获取离线数据的步骤。
本申请实施例提供的一种数据增强设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于目标数据增强方法对在线数据进行数据增强，得到目标数据之后，基于目标数据对深度学习模型进行增量学习训练。
请参阅图4，本申请实施例提供的另一种数据增强设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现数据增强设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
判断当前数据增强方法是否发生概念漂移；
若当前数据增强方法发生概念漂移，则生成目标数据增强方法；
判断目标数据增强方法是否满足数据增强性能指标；
若目标数据增强方法满足数据增强性能指标，则基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；基于概念漂移评估值判断当前数据增强方法是否发生概念漂移。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：概念漂移评估值包括离线数据的数据特征；判断离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：概念漂移评估值包括离线数据的数量值，；判断数量值是否大于预设数值，预设数值表征当前数据增强方法开始发生概念漂移时的数据量；若数量值大于预设数值，则判定当前数据增强方法发生概念漂移。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到目标数据增强方法。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：搜索空间中已有数据增强方法的类型包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix中的至少一个。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于预先训练的神经网络控制器，对已有数据增强方法进行选择、组合，生成满足数据增强性能指标的目标数据增强方法；基于目标数据增强方法对在线数据进行数据增强，得到目标数据。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取离线数据；在离线数据中选取出验证集；对已有数据增强方法进行选择、组合，生成训练数据增强方法；基于训练数据增强方法对神经网络控制器进行训练；通过分类器，基于验证集及数据增强性能指标确定神经网络控制器的损失值；基于损失值判断神经网络控制器是否收敛；若神经网络控制器收敛，则完成对神经网络控制器的训练；若神经网络控制器不收敛，则返回执行获取离线数据的步骤。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于目标数据增强方法对在线数据进行数据增强，得到目标数据之后，基于目标数据对深度学习模型进行增量学习训练。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种数据增强系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种数据增强方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据增强方法，其特征在于，包括：
判断当前数据增强方法是否发生概念漂移；
若当前数据增强方法发生所述概念漂移，则生成目标数据增强方法；
判断所述目标数据增强方法是否满足数据增强性能指标；
若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据；
其中，所述判断当前数据增强方法是否发生概念漂移，包括：
基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；
基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移；
其中，所述生成目标数据增强方法，包括：
按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到所述目标数据增强方法。
2.根据权利要求1所述的方法，其特征在于，所述概念漂移评估值包括所述离线数据的数据特征；
所述基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移，包括：
判断所述离线数据的数据特征是否发生变化，若是，则判定当前数据增强方法发生所述概念漂移。
3.根据权利要求1所述的方法，其特征在于，所述概念漂移评估值包括所述离线数据的数量值；
所述基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移，包括：
判断所述数量值是否大于预设数值，所述预设数值表征当前数据增强方法开始发生所述概念漂移时增强数据的数据量；
若所述数量值大于所述预设数值，则判定当前数据增强方法发生所述概念漂移。
4.根据权利要求1所述的方法，其特征在于，所述搜索空间中所述已有数据增强方法的类型包括：错切、翻转、旋转、对比度变换、反色变换、直方图均衡化、像素值转换、色调分离、饱和度变换、亮度变换、锐度变换、cutout、random earsing、sample pairing、mixup、cutmix中的至少一个。
5.根据权利要求1所述的方法，其特征在于，所述生成目标数据增强方法；判断所述目标数据增强方法是否满足数据增强性能指标；若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据，包括：
基于预先训练的神经网络控制器，对所述已有数据增强方法进行选择、组合，生成满足所述数据增强性能指标的所述目标数据增强方法；
基于所述目标数据增强方法对在线数据进行数据增强，得到所述目标数据。
6.根据权利要求5所述的方法，其特征在于，所述神经网络控制器的训练过程包括：
获取所述离线数据；
在所述离线数据中选取出验证集；
对所述已有数据增强方法进行选择、组合，生成训练数据增强方法；
基于所述训练数据增强方法对所述神经网络控制器进行训练；
通过分类器，基于所述验证集及所述数据增强性能指标确定所述神经网络控制器的损失值；
基于所述损失值判断所述神经网络控制器是否收敛；
若所述神经网络控制器收敛，则完成对所述神经网络控制器的训练；
若所述神经网络控制器不收敛，则返回执行所述获取所述离线数据的步骤。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据之后，还包括：
基于所述目标数据对深度学习模型进行增量学习训练。
8.一种数据增强系统，其特征在于，包括：
第一判断模块，用于判断当前数据增强方法是否发生概念漂移；若当前数据增强方法发生所述概念漂移，则生成目标数据增强方法；
第二判断模块，用于判断所述目标数据增强方法是否满足数据增强性能指标；若所述目标数据增强方法满足所述数据增强性能指标，则基于所述目标数据增强方法对在线数据进行数据增强，得到目标数据；
其中，所述第一判断模块包括：
第一确定单元，用于基于生成当前数据增强方法后、存入存储介质中的离线数据，确定概念漂移评估值；
第一判断单元，用于基于所述概念漂移评估值判断当前数据增强方法是否发生概念漂移；
其中，所述第一判断模块包括：
第一生成单元，用于按照搜索策略，对搜索空间中的已有数据增强方法进行选择、组合得到所述目标数据增强方法。
9.一种数据增强设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111124062.XA CN113837279B (zh) | 2021-09-24 | 2021-09-24 | 一种数据增强方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111124062.XA CN113837279B (zh) | 2021-09-24 | 2021-09-24 | 一种数据增强方法、系统、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837279A CN113837279A (zh) | 2021-12-24 |
| CN113837279B true CN113837279B (zh) | 2023-08-08 |
Family
ID=78969962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111124062.XA Active CN113837279B (zh) | 2021-09-24 | 2021-09-24 | 一种数据增强方法、系统、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837279B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866638A (zh) * | 2019-11-07 | 2020-03-06 | 怀化学院 | 交通量预测模型构建方法、装置、计算机设备和存储介质 |
| CN111666949A (zh) * | 2020-06-16 | 2020-09-15 | 南京大学 | 一种基于迭代分割的图像语义分割方法 |
| WO2021169366A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 数据增强方法和装置 |
-
2021
- 2021-09-24 CN CN202111124062.XA patent/CN113837279B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866638A (zh) * | 2019-11-07 | 2020-03-06 | 怀化学院 | 交通量预测模型构建方法、装置、计算机设备和存储介质 |
| WO2021169366A1 (zh) * | 2020-02-25 | 2021-09-02 | 华为技术有限公司 | 数据增强方法和装置 |
| CN111666949A (zh) * | 2020-06-16 | 2020-09-15 | 南京大学 | 一种基于迭代分割的图像语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837279A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
| US20210019572A1 (en) | Training a generative model and a discriminative model | |
| US9305208B2 (en) | System and method for recognizing offensive images | |
| CN111476863B (zh) | 一种黑白漫画上色的方法、装置、电子设备及存储介质 | |
| CN109919209A (zh) | 一种领域自适应深度学习方法及可读存储介质 | |
| CN110390261B (zh) | 目标检测方法、装置、计算机可读存储介质及电子设备 | |
| WO2022037165A1 (zh) | 一种神经网络模型知识蒸馏方法、系统、设备及介质 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| WO2022082848A1 (zh) | 高光谱图像分类方法及相关设备 | |
| CN110245747B (zh) | 基于全卷积神经网络的图像处理方法及装置 | |
| CN113033719B (zh) | 目标检测处理方法、装置、介质及电子设备 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN113971644A (zh) | 基于数据增强策略选择的图像识别方法及装置 | |
| CN113642576A (zh) | 一种目标检测及语义分割任务中训练图像集合的生成方法及装置 | |
| CN111862040A (zh) | 人像图片质量评价方法、装置、设备及存储介质 | |
| CN113837279B (zh) | 一种数据增强方法、系统、设备及计算机可读存储介质 | |
| WO2022015390A1 (en) | Hardware-optimized neural architecture search | |
| CN106407991B (zh) | 图像属性识别方法和系统以及相关网络训练方法和系统 | |
| CN114581652A (zh) | 目标对象的检测方法、装置、电子设备以及存储介质 | |
| CN106570003B (zh) | 数据推送方法及装置 | |
| CN112132780A (zh) | 基于深度神经网络的钢筋数量检测方法及系统 | |
| WO2023102844A1 (zh) | 剪枝模块的确定方法、装置及计算机可读存储介质 | |
| EP4339843A1 (en) | Neural network optimization method and apparatus | |
| CN115049851A (zh) | 基于YOLOv5网络的目标检测方法、装置和设备终端 | |
| CN113886578A (zh) | 一种表单分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |