CN112598058A - 一种自动化深度学习方法、装置及存储介质 - Google Patents
一种自动化深度学习方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112598058A CN112598058A CN202011526061.3A CN202011526061A CN112598058A CN 112598058 A CN112598058 A CN 112598058A CN 202011526061 A CN202011526061 A CN 202011526061A CN 112598058 A CN112598058 A CN 112598058A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- deep learning
- automatic
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000003044 adaptive effect Effects 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 3
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种自动化深度学习方法，获取数据并对数据类型分析并处理，包括：对所述数据进行出分时间压缩处理，得到压缩后的数据；对所述压缩后的数据进行如下步骤的集成学习；所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。本发明采用自适应策略，选择最优模型或参数，从而提高结果。
Description
技术领域
本申请涉及深度学习和机器学习领域，具体而言，涉及一种自动化深度学习方法。
背景技术
NeurIPS，全称神经信息处理系统大会(Conference and Workshop on NeuralInformation Processing Systems)，是全球最受瞩目的AI、机器学习顶级学术会议之一。历来，NeurIPS竞赛单元都被誉为AI界的华山论剑，汇聚了全球AI顶尖力量决战技术之巅。深度学习DeepLearning近年来飞速发展，在多个领域中获得了显著效果提升，但是深度学习技术实现仍然需要大量的专家经验和人工成本，因此自动深度学习系统AutoDL受到了学术及工业界的广泛关注，AutoDL对快速推动落地应用和理论发展都具有重大意义。此次AutoDL Challenge竞赛堪称史上最难，旨在让参赛选手设计开发出能解决包括图像、视频、语音、文本和结构化表格数据等多模态、多领域的全自动多标签分类系统。
挑战赛分为两个阶段，包括Feedback反馈阶段、Final最终阶段。在反馈阶段，参赛选手基于24个训练数据集，离线开发自己的AutoDL程序，实现训练数据处理、模型结构设计、参数调校等过程。然后将自己的AutoDL程序代码上传到比赛平台上，通过另外5个线上私有数据集测试，得到程序性能的即时反馈。在最终阶段，参赛选手的AutoDL程序在无任何人工干预的前提下，通过10个私有数据集进行评估。最终阶段多轮评估的平均排名将决定获胜者。
发明内容
1、本发明的目的
本发明为了解决多数据、多模态、多领域的全自动多标签分类的问题，而提出了一种自动化深度学习方法。
2、本发明所采用的技术方案
本发明公开了一种自动化深度学习方法，获取数据并对数据类型分析并处理，包括
对所述数据进行出分时间压缩处理，得到压缩后的数据；
对所述压缩后的数据进行如下步骤的集成学习；
所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。
优选的，所述的图像和视频数据采用深度学习方法依次进行数据处理、深度学习模型训练与测试、结果融合得到处理后的图像和视频数据，其中，在所述模型训练与测试部分根据所述的模型训练后的验证集上结果进行早停然后测试。
优选的，所述的语音和文本数据则采用机器学习和深度学习结合的方法，所述的语音数据处理，包括数据处理步骤和模型处理步骤；文本数据处理采用AutoNLP框架得到处理后的文本数据，包括数据预处理、训练和验证数据生成；表格数据处理采用机器学习方法；模型处理包括模型选择、模型训练，模型预测和结果融合，得到处理后的表格数据。
优选的，所述的文本数据，采用AutoNLP框架，对所述文本数据处理包括自动清洗与序列化、自动特征工程、自动超参调优、自动模型融合以及自动模型选择。
为了平衡精度和效率，所述的图像和视频数据根据需求采取对应的深度学习算法采用自适应参数训练得到深度学习模型，深度学习模型包括目标检测深度学习模型、实例分割深度学习模型，；所述自适应参数包括输入图像大小、每个epoch的步长，以及开始验证和融合结果的epoch数。
为了使预测更稳定并获得更高的AUC，所述的集成学习对结果进行融合，融合方法包括对多个预测结果进行平均。
为了让曲线更稳定，所述的融合方法，设定最新融合的结果个数，对其进行融合。
为了进一步提高分类精度并节省时间，所述的图像和视频数据，采用小规模FastAutoAugment对当前图像数据集搜索最合适的数据增强策略；用O表示操作，x表示输入的图像数据，有：
其中p为概率，λ是增幅。
观察到得分速度和早期曲线的稳定性是矛盾的，使用少量图像来提高训练速度，但是得分曲线非常不稳定；使用更多帧数可以确保计算的准确性，但是出分将变得非常缓慢；所以设定视频数据选择视频总帧数的1/n进行深度学习。
优选的，所述的语音数据包括数据处理步骤和模型处理步骤：
所述的数据处理步骤，在数据预处理中，提取MFCC特征和Mel spectrogram特征两种特征；Mel spectrogram特征用于逻辑回归模型，MFCC特征用于深度学习模型；
所述的模型处理步骤，在训练数据生成中，构建迭代器以迭代地加载数据；数据以逐渐增加的比例加载，以便更快地获得分数；如果多个类别的数据不平衡，那么将对数据进行处理，以确保深度学习系统可以更好地工作。
在训练过程中，依次选择逻辑回归、CNN模型、CNN+GRU模型三个模型。最后将对所有模型结果和每个模型结果进行融合。
优选的，所述的文本数据处理包括数据预处理、训练和验证数据生成，采用AutoNLP框架：
包括数据清洗与序列化步骤，采用Cython进行加速；
自动特征工程步骤，对于数值进行自动分箱处理；对邮箱进行针对性处理，防止被清洗。
自动超参调优步骤，根据第几个epoch和数据大小自动调整batchsize；根据不同模型不同epoch自动调整学习率。
自动模型融合与自动模型选择步骤，模型采用线性模型进行融合，直接优化最终目标；
时间与显存控制步骤，根据任务给出的时间运算，如果运行到最后预设比例的时间节点处就结束训练；
优化步骤，由于最终的评测指标是ALC，因此会受到模型出分时间的影响，为了让第一个模型快速出分，团队优化了数据预处理，并结合样本采用和样本截断的方式，快速训练一个初始模型，并使用svm。
优选的，所述的出分速度步骤，数据分成许多批次进行读取，通过使用树模型lightgbm，优化了出分时间和初始得分。
所述的集成学习步骤，采用了随机数据组合随机参数的方式训练多个lightgbm模型，并以bagging方式进行集成；
所述的自适应参数设置步骤，根据数据量大小与特征数量去自动调整参数，如果样本数量比较多将行采样调小，如果样本原始特征比较多，将列采样调小；设置学习率为衰减数组；根据训练速度与预测速度去控制算分时长，如果训练很慢，预测很快，就让算分的频率增大；反之训练快预测慢就让频率减小。
本发明提出了一种基于自动化深度学习装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法步骤。
本发明提出了一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现所述的方法步骤。
3、本发明所采用的有益效果
(1)出分时间压缩。对于数据处理，时间越短整体得分越高；对数据处理过程进行优化，初始模型使用轻量模型或计算量尽可能少的参数设置，比如采样部分数据或机器学习模型。
(2)集成学习。集成学习是比赛中常用的策略，组合不同模型的结果能够带来显著的改进，多个模型中个别较差的模型对整体结果影响较小；集成学习使曲线更稳定而且提高了AUC分数，因此最终的ALC分数得到了提高。
(3)自适应策略。为了使本发明在不同数据集上均表现良好，采用了一些自适应策略，为当前数据集选择最优的模型或参数，从而提高结果；由于不同模态数据的不同特性，具体方法也有所不同；例如，对于语音和文本数据，使用自动模型选择方法，对于图像、视频和表格数据，使用自适应参数设置。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种自动化图片数据流程图；
图2为一种自动化语音数据流程图；
图3为一种自动化文本数据流程图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例：
本发明提出了一种自动化深度学习方法，使用一种自适应的集成学习方法，该方法在不同模态的不同数据集上均具有出色的性能。
包括以下三方面：出分时间压缩、集成学习和自适应策略，其中自适应策略包括自动模型选择和自适应参数设置两部分。考虑到数据的差异和资源的限制，图像和视频数据采用深度学习方法，表格数据采用机器学习方法，语音和文本数据则采用机器学习和深度学习结合的方法。
对图像数据包括：
对于图像数据，整体的框架包括数据处理、模型训练与测试、结果融合几部分，在模型训练与测试部分根据验证集上结果进行早停然后测试。
(1)为了平衡精度和效率，采用自适应参数设置。这些训练参数包括输入图像大小、每个epoch的步长，以及开始验证和融合结果的epoch数。当图像数量少或宽度和高度之差较大时，输入图像的最大尺寸将增加一倍。这是在不显著降低出分速度的情况下增加图像大小，以保留更多信息以提高准确性。
(2)为了使预测更稳定并获得更高的AUC，采用了集成学习对结果进行融合，融合方法是对多个预测结果进行平均。由于早期得分会快速增长，对最新的两个结果融合；后期为了让曲线更稳定，对最新的5个预测结果进行融合。
(3)为了进一步提高分类精度并节省时间，采用小规模Fast AutoAugment策略。Fast AutoAugment的主要思想，是为当前图像数据集搜索最合适的数据增强策略。FastAutoAugment与AutoAugment类似，每个增强策略有多个子策略组成，每个子策略又由多个图像增强操作组成(如剪切、旋转等等)，每个操作还有两个参数：概率p，幅度λ。概率指有多大的概率执行该操作，幅度指如果执行操作，执行的幅度为多少(例如某操作是旋转，对应的幅度越大，旋转角也就越大，当然不是所有的操作都要有幅度，比如翻转)，我们用O表示操作，x表示输入的图像数据，有：
我们的目标是在尽量减少时间开销的情况下使用数据增强。因此，我们减少了搜索次数，将其设置为20，这样可以有更多时间来使用增强后的数据训练网络。
优选的，对视频数据包括：
(1)我们观察到得分速度和早期曲线的稳定性是矛盾的。可以通过使用少量图像来提高训练速度，但是在类别较多的情况下，早期曲线不稳定。为了平衡这种关系，在早期，为类别数较多的数据集选择了相同数量的图像，但是图像尺寸增加到128。然后在实验中观察到，采样帧数对结果有很大影响，包括：计算速度和早期曲线稳定性。使用更多帧数可以确保计算的准确性，但是出分将变得非常缓慢。相反，使用少量帧数可以加快出分速度，但是得分曲线非常不稳定。通过实验发现，选择视频总帧数的1/6将在计算速度和计算精度之间取得良好的平衡。
(2)在集成学习方面，为了确保AUC可以稳定上升并增加最高AUC得分，可以将结果融合。当验证集的分数增加时，将保存训练的模型。选择验证准确率前五的结果进行融合，然后使用融合结果获得最终结果。我们还在方案中实现了多个模型。当一个模型的分数不再增加时，将选择另一个模型进行训练。最后，将对两个不同模型的结果进行融合和测试。
对语音数据包括：
系统由两个模块组成：数据处理模块和模型处理模块。数据处理模块主要包括数据预处理、训练和验证数据生成。模型处理模块主要包括模型选择、模型训练，模型预测和结果融合。
(1)在数据预处理中，提取MFCC特征和Mel spectrogram特征两种特征。Melspectrogram特征用于逻辑回归模型，MFCC特征用于深度学习模型。为了加快特征提取速度，我们将截断超长序列并确保它们可以覆盖90％的数据。
(2)在训练数据生成中，构建迭代器以迭代地加载数据，以加快出分速度。数据以逐渐增加的比例加载，以便更快地获得分数。如果多个类别的数据不平衡，那么将对数据进行处理，以确保深度学习系统可以更好地工作。在训练过程中，依次选择逻辑回归、CNN模型、CNN+GRU模型三个模型。最后将对所有模型最佳的5个结果和每个模型的最佳结果进行融合。
对文本数据包括：
AutoNLP框架包括文本数据的自动清洗与序列化、自动特征工程、自动超参调优、自动模型融合以及自动模型选择等模块，同时针对性地分别处理中文和英文，在运行时间和显存上也采取了一些控制策略，防止系统超时和显存溢出。
(1)数据清洗与序列化：清洗无意义字符；对于英文处理保留2组数据：一组原始数据、一组转小写数据；对于中文处理保留2组数据：一组分字、一组分词；过滤文档频率(DF)小于3的词或字；统计文档长度，截取长度为覆盖95％样本的长度；对于超长文本进行强制截断，长度为6000；采用Cython进行加速。
(2)自动特征工程：对于数值进行自动分箱处理；对邮箱进行针对性处理，防止被清洗。
(3)自动超参调优：根据第几个epoch和数据大小自动调整batchsize；根据不同模型不同epoch自动调整学习率。
(4)自动模型融合与自动模型选择：不同数据组合、不同模型结构、不同初始化参数(预训练的embedding)生成多种有差异的模型；采用创新的限制性线性模型进行融合，直接优化最终目标。
(5)时间与显存控制：根据任务给出的时间运算，如果运行到最后12.5％的时间节点处就结束训练；根据模型大小，强制限制batchsize大小防止显存溢出。
(6)其他优化：由于最终的评测指标是ALC，因此会受到模型出分时间的影响，为了让第一个模型快速出分，团队优化了数据预处理，并结合样本采用和样本截断的方式，快速训练一个初始模型，并使用svm；使用20％的训练数据作为验证集；每训练完一个模型就更新融合结果。
对表格数据包括：
对于表格数据，我们主要从以下三个方面进行优化：出分时间压缩，集成学习和自适应参数设置。
(1)在出分速度方面，我们的方法几乎可以做到立即出分。首先，我们优化了将张量流数据转换为二维表数据的速度。在我们的工作中，数据被分成许多批次进行读取，成倍地提高了速度。其次，通过使用树模型lightgbm，优化了出分时间和初始得分。在实验中，树模型的性能优于深度学习模型，因此采用树模型，此外我们也做了自动特征工程方面的工作。最后，整个训练过程分为多个阶段进行，每个阶段训练增加一些树，然后对测试集进行预测返回结果，这样能够一定程度地提升ALC指标。
(2)在集成学习方面，采用了随机数据组合随机参数的方式训练多个lightgbm模型，并以bagging方式进行集成，通过使用bagging，增强了模型的泛化性能。
(3)在自适应参数设置方面，我们根据数据量大小与特征数量去自动调整一些重要参数，如果样本数量比较多我们就把行采样调小些，如果样本原始特征比较多，就把列采样调小些。设置学习率为衰减数组而不是固定值，这样可以加快前期的训练速度。我们会根据训练速度与预测速度去控制多久算一次分，如果训练很慢，预测很快，就让算分的频率增大；反之训练快预测慢就让频率减小，这个策略能在ALC指标上得到一定提升。
机器可读存储介质作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的虚拟现实对象控制方法对应的程序指令/模块(所示的获取模块、第一确定模块、第二确定模块以及对象控制模块)。处理器通过检测存储在机器可读存储介质中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的虚拟现实对象控制方法，在此不再赘述。
机器可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中，机器可读存储介质可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至虚拟现实设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、虚拟现实设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、虚拟现实设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的虚拟现实设备、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (14)
1.一种自动化深度学习方法，其特征在于，获取数据并对数据类型分析并处理，包括：
对所述数据进行出分时间压缩处理，得到压缩后的数据；
对所述压缩后的数据进行如下步骤的集成学习；
所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。
2.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的图像和视频数据采用深度学习方法依次进行数据处理、深度学习模型训练与测试、结果融合得到处理后的图像和视频数据，其中，在所述模型训练与测试部分根据所述的模型训练后的验证集上结果进行早停然后测试。
3.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的语音和文本数据则采用机器学习和深度学习结合的方法，所述的语音数据处理，包括数据处理步骤和模型处理步骤；文本数据处理采用AutoNLP框架得到处理后的文本数据，包括数据预处理、训练和验证数据生成；表格数据处理采用机器学习方法；模型处理包括模型选择、模型训练，模型预测和结果融合，得到处理后的表格数据。
4.根据权利要求3所述的自动化深度学习方法，其特征在于，所述的文本数据，采用AutoNLP框架，对所述文本数据处理包括自动清洗与序列化、自动特征工程、自动超参调优、自动模型融合以及自动模型选择。
5.根据权利要求2所述的自动化深度学习方法，其特征在于：所述的图像和视频数据根据需求采取对应的深度学习算法采用自适应参数训练得到深度学习模型，深度学习模型包括目标检测深度学习模型、实例分割深度学习模型；所述自适应参数包括输入图像大小、每个epoch的步长，以及开始验证和融合结果的epoch数。
6.根据权利要求1所述的自动化深度学习方法，其特征在于：所述的集成学习即对结果进行融合，融合方法包括对多个预测结果进行平均。
7.根据权利要求6所述的自动化深度学习方法，其特征在于：所述的融合方法，设定最新融合的结果个数，对其进行融合。
8.根据权利要求1所述的自动化深度学习方法，其特征在于：所述的图像和视频数据，采用小规模Fast AutoAugment对当前图像数据集搜索最合适的数据增强；用O表示操作，x表示输入的图像数据，有：
其中p为概率，λ是增幅。
9.根据权利要求8所述的自动化深度学习方法，其特征在于，所述的视频数据选择视频总帧数的1/n进行深度学习。
10.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的语音数据包括数据处理步骤和模型处理步骤：
所述的数据处理步骤，在数据预处理中，提取MFCC特征和Mel spectrogram特征两种特征；Mel spectrogram特征用于逻辑回归模型，MFCC特征用于深度学习模型；
所述的模型处理步骤，在训练数据生成中，构建迭代器以迭代地加载数据；数据以逐渐增加的比例加载；
在训练过程中，依次选择逻辑回归、CNN模型、CNN+GRU模型三个模型；最后将对所有模型结果和每个模型结果进行融合。
11.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的文本数据处理包括数据预处理、训练和验证数据生成，采用AutoNLP框架：
包括数据清洗与序列化步骤，采用Cython进行加速；
还包括自动特征工程步骤，对于数值进行自动分箱处理；对邮箱进行针对性处理，防止被清洗；
自动超参调优步骤，根据第几个epoch和数据大小自动调整batchsize；根据不同模型不同epoch自动调整学习率；
自动模型融合与自动模型选择步骤，模型采用线性模型进行融合，直接优化最终目标；
时间与显存控制步骤，根据任务给出的时间运算，如果运行到最后预设比例的时间节点处结束训练。
12.根据权利要求1所述的自动化深度学习方法，其特征在于，
所述的出分速度步骤，数据分成许多批次进行读取，通过使用树模型lightgbm，优化出分时间和初始得分；
所述的集成学习步骤，采用了随机数据组合随机参数的方式训练多个lightgbm模型，并以bagging方式进行集成；
所述的自适应参数设置步骤，根据数据量大小与特征数量自动调整参数，如果样本数量比较多将行采样调小，如果样本原始特征比较多，将列采样调小；设置学习率为衰减数组；根据训练速度与预测速度去控制算分时长，如果训练很慢，预测很快，就让算分的频率增大；反之训练快预测慢就让频率减小。
13.一种基于自动化深度学习装置，包括存储器和处理器，存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10任一所述的方法步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1-12任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011526061.3A CN112598058A (zh) | 2020-12-22 | 2020-12-22 | 一种自动化深度学习方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011526061.3A CN112598058A (zh) | 2020-12-22 | 2020-12-22 | 一种自动化深度学习方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598058A true CN112598058A (zh) | 2021-04-02 |
Family
ID=75199984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011526061.3A Pending CN112598058A (zh) | 2020-12-22 | 2020-12-22 | 一种自动化深度学习方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598058A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379151A (zh) * | 2021-06-25 | 2021-09-10 | 重庆大学 | 基于Bagging-CNN-GRU的风速超短期预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
| US10373027B1 (en) * | 2019-01-30 | 2019-08-06 | StradVision, Inc. | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| CN111612161A (zh) * | 2020-05-26 | 2020-09-01 | 罗普特科技集团股份有限公司 | 一种自动更新深度学习模型的方法、装置及存储介质 |
| CN111767277A (zh) * | 2020-07-08 | 2020-10-13 | 深延科技(北京)有限公司 | 数据处理方法和装置 |
| US20200327420A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Debugging deep neural networks |
-
2020
- 2020-12-22 CN CN202011526061.3A patent/CN112598058A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
| US10373027B1 (en) * | 2019-01-30 | 2019-08-06 | StradVision, Inc. | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| US20200327420A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Debugging deep neural networks |
| CN111612161A (zh) * | 2020-05-26 | 2020-09-01 | 罗普特科技集团股份有限公司 | 一种自动更新深度学习模型的方法、装置及存储介质 |
| CN111767277A (zh) * | 2020-07-08 | 2020-10-13 | 深延科技(北京)有限公司 | 数据处理方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| DEEPSMARTAI: "AutoDL-master", Retrieved from the Internet <URL:https://github.com/deepwisdom/autoDL> * |
| LIU Z 等: "Towards Automated Computer Vision: Analysis of the AutoCV Challenges 2019", 《PATTERN RECOGNITION LETTERS》, 31 May 2020 (2020-05-31), pages 1 - 6 * |
| ZHENGYING LIU 等: "AutoDL Challenge Design and Beta Tests-Towards automatic deep learning", 《METALEARN WORKSHOP @ NEURIPS2018》, 31 December 2018 (2018-12-31), pages 1 - 6 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379151A (zh) * | 2021-06-25 | 2021-09-10 | 重庆大学 | 基于Bagging-CNN-GRU的风速超短期预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9786272B2 (en) | Decoder for searching a digraph and generating a lattice, decoding method, and computer program product | |
| CN107957989B (zh) | 基于集群的词向量处理方法、装置以及设备 | |
| WO2020099957A1 (en) | Semantic segmentation with soft cross-entropy loss | |
| US20220351487A1 (en) | Image Description Method and Apparatus, Computing Device, and Storage Medium | |
| US9934452B2 (en) | Pruning and label selection in hidden Markov model-based OCR | |
| JP5032602B2 (ja) | 認識装置 | |
| CN109376696B (zh) | 视频动作分类的方法、装置、计算机设备和存储介质 | |
| CN110826530A (zh) | 使用机器学习进行面部检测 | |
| CN109947940B (zh) | 文本分类方法、装置、终端及存储介质 | |
| CN111597326B (zh) | 生成商品描述文本的方法及装置 | |
| CN110414005B (zh) | 意图识别方法、电子设备及存储介质 | |
| CN115293132B (zh) | 虚拟场景的对话处理方法、装置、电子设备及存储介质 | |
| CN114283350A (zh) | 视觉模型训练和视频处理方法、装置、设备及存储介质 | |
| CN112598058A (zh) | 一种自动化深度学习方法、装置及存储介质 | |
| CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
| CN113761026A (zh) | 基于条件互信息的特征选择方法、装置、设备和存储介质 | |
| KR20200112574A (ko) | 이미지 검색을 위한 다중 글로벌 디스크립터를 조합하는 프레임워크 | |
| KR20220011208A (ko) | 신경망 트레이닝 방법, 비디오 인식 방법 및 장치 | |
| CN114385876B (zh) | 一种模型搜索空间生成方法、装置及系统 | |
| CN109815911B (zh) | 基于深度融合网络的视频运动物体检测系统、方法及终端 | |
| CN109409226B (zh) | 一种基于级联优化cnn的手指静脉图质量评估方法及其装置 | |
| CN110647988A (zh) | 一种ssd目标检测卷积神经网络的加速计算方法 | |
| CN113744723B (zh) | 一种语音识别实时重打分的方法和系统 | |
| CN114005009B (zh) | 一种基于RS loss的目标检测模型的训练方法及装置 | |
| CN113626721B (zh) | 基于遗憾探索的推荐方法、装置、电子设备与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |