CN110163380B - 数据分析方法、模型训练方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据分析方法、模型训练方法、装置、设备及存储介质，属于大数据技术领域。方法包括：获取多个样本数据以及数据处理模型；基于每个数据处理模块的处理子模块和多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及目标处理子模块的模型参数；根据每个数据处理模块的目标处理子模块以及目标处理子模块的模型参数，确定目标模型配置信息；当接收到目标类型的数据时，将数据输入数据处理模型，按照目标模型配置信息进行数据分析。本发明不限定数据的类型，无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，适应性高，降低了人工成本。

Description

数据分析方法、模型训练方法、装置、设备及存储介质

技术领域

本发明涉及大数据技术领域，特别涉及一种数据分析方法、模型训练方法、装置、设备及存储介质。

背景技术

随着大数据技术的发展，需要对不同来源的数据进行分析，以发现其内在规律或者潜藏的信息，为了保证分析结果更准确、更能体现问题，通常会采集大量数据，如何快速、准确地对数据进行分析显得尤为重要。

目前，数据分析方法通常是将数据的分析过程分成特定的几个步骤来处理，并由相关技术人员凭借自身经验为每个步骤提前选择好相应的处理方式，并训练完成相应的模型，在获取到待分析的数据时，可以将数据输入模型中，由该模型对数据进行分析，输出数据分析结果。

在实现本发明的过程中，发明人发现相关技术至少存在以下问题：

上述数据分析方法所涉及的模型是专门为某类数据训练的，因此，一旦确定了该类数据的分析过程，上述模型就不能变化，导致当需要对不同类型的数据进行分析时，还需要再次由相关技术人员凭借自身经验去重新训练模型，因此，上述数据分析方法的适应性较差，人工成本较高。

发明内容

本发明实施例提供了一种数据分析方法、模型训练方法、装置、设备及存储介质，可以解决相关技术中数据分析方法的适应性差，人工成本高的问题。所述技术方案如下：

一方面，提供了一种数据分析方法，所述方法包括：

获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

基于每个数据处理模块的处理子模块和所述多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数；其中，所述目标处理子模块以及所述目标处理子模块的模型参数能够使得对所述目标类型的数据进行分析时准确性符合预设条件；

根据每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数，确定目标模型配置信息，所述目标模型配置信息包括所述每个数据处理模块在处理所述目标类型数据时采用的处理子模块以及处理子模块的模型参数；

当接收到所述目标类型的数据时，将所述数据输入所述数据处理模型，按照所述目标模型配置信息进行数据分析。

一方面，提供了一种数据处理模型训练方法，所述方法包括：

获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

一方面，提供了一种数据分析装置，所述装置包括：

获取单元，用于获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

确定单元，用于基于每个数据处理模块的处理子模块和所述多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数；其中，所述目标处理子模块以及所述目标处理子模块的模型参数能够使得对所述目标类型的数据进行分析时准确性符合预设条件；

所述确定单元，还用于根据每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数，确定目标模型配置信息，所述目标模型配置信息包括所述每个数据处理模块在处理所述目标类型数据时采用的处理子模块以及处理子模块的模型参数；

数据分析单元，用于当接收到所述目标类型的数据时，将所述数据输入所述数据处理模型，按照所述目标模型配置信息进行数据分析。

一方面，提供了一种数据处理模型训练装置，所述装置包括：

获取单元，用于获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

确定单元，用于从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

所述确定单元，还用于根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

所述确定单元，还用于根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

所述确定单元，还用于基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现所述数据分析方法或数据处理模型训练方法所执行的操作。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述数据分析方法或数据处理模型训练方法所执行的操作。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例通过获取到目标类型的样本数据时，可以基于该样本数据，确定数据处理模型中的各个分析步骤所采用的分析算法，并确定各个分析步骤所需参数，生成数据处理模型，从而可以对目标类型的数据进行数据分析，该目标类型并不限定，这样当需要对某种类型的数据进行分析时，均可以直接采用本发明实施例提供的数据分析方法，生成数据处理模型，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，因此，上述数据分析方法的适应性高，降低了人工成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据分析方法的实施环境示意图；

图2是本发明实施例提供的一种数据分析方法流程图；

图3是本发明实施例提供的一种数据处理模型的结构示意图；

图4是本发明实施例提供的一种数据分析方法流程的示意图；

图5是本发明实施例提供的一种数据处理模型训练方法流程图；

图6是本发明实施例提供的一种数据处理模型训练方法流程图；

图7是本发明实施例提供的一种数据分析装置的结构示意图；

图8是本发明实施例提供的一种数据处理模型训练装置的结构示意图；

图9是本发明实施例提供的一种计算机设备900的结构框图；

图10是本发明实施例提供的一种计算机设备1000的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的一种数据分析方法的实施环境示意图，参见图1，该实施环境可以包括终端101和服务器102。其中，终端101和服务器102均为计算机设备，该终端101与服务器102可以通过网络连接进行数据交互。

在本发明实施例中，该数据分析方法包括对数据处理模型的训练过程，以及应用该数据处理模型对同种类型的数据进行数据分析的过程。其中，数据处理模型可以在终端101上训练得到，也可以在服务器102上训练得到，本发明实施例对此不作具体限定。

当该终端101有数据分析需求时，该终端101可以调用预先存储的数据处理模型，对待分析的数据进行数据分析，也可以将数据发送至服务器102，由服务器102调用数据处理模型，对数据进行数据分析后，将数据处理结果返回至终端101，本发明实施例对该数据分析步骤具体由哪个计算机设备来执行不作具体限定。

同理地，当该服务器102有数据分析需求时，该服务器102可以调用该服务器102中预先训练得到的数据处理模型进行数据分析，也可以将数据发送其他计算机设备，由其他计算机设备执行数据分析步骤，本发明实施例对此不作限定。

图2是本发明实施例提供的一种数据分析方法流程图，该数据分析方法应用于计算机设备，该计算机设备可以为上述实施例中的终端101，也可以是服务器102，本发明实施例对此不作具体限定。参见图2，该方法包括：

201、计算机设备获取多个样本数据以及数据处理模型。

在本发明实施例中，该多个样本数据的类型为目标类型，该数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，该多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法。

例如，该数据处理模型中数据处理模块和数据处理子模块可以如表1所示：

表1

其中，该数据处理模型可以包括缺失值处理、异常值消除、数据转换、特征合成、特征选择、……、模型选择等数据处理模块，其中，缺失值处理这个数据处理模块可以包括三个处理子模块，分别为：均值填充、中值填充、线性回归填充。异常值消除这个数据处理模块可以包括两个处理子模块，分别为LOF、KNN聚类。数据转换这个数据处理模块可以包括三个处理子模块，分别为：one-hot编码、CountVectorizer函数和TfidfVectorizer函数。其中，one-hot编码可以用于对标签数据进行数据转换，CountVectorizer函数和TfidfVectorizer函数可以用于将文本数据转换为数值型数据。特征合成这个数据处理模块可以包括四个处理子模块，分别为：PCA、LDA、QDA和SVD。特征选择这个数据处理模块可以包括六个处理子模块，分别为：计算皮尔逊系数、计算互信息系数、基于决策树的特征选择方法、L1正则项、Random Forest模型的预选模型和基于Logistic Regression模型的预选模型。模型选择这个数据处理模块可以包括十个处理子模块，每个处理子模块为一个可选模型，分别为：Random Forest模型、GBM模型、Logistic Regression模型Naive Bayes模型、SVM模型、k-Nearest Neighbors模型、Linear Regression模型、Ridge Regression模型、Lasso模型和SVR模型。

需要说明的是，上述数据处理模块以及数据处理模块中包括的处理子模块仅为一种示例说明，本发明实施例对具体实施中数据处理模型包括哪些数据处理模块，以及数据处理模块具体包括哪些处理子模块不作限定。

其中，上述模块仅为一种分析功能、分析算法的代名词，在具体实施中，上述模块可以采用代码的形式实现，也即是上述模块在计算机设备中可以实际表现为一段代码。模块与模块之间可以具有输入输出关系，也即是在一段代码正在运行过程中，可以调用另一段代码继续执行，或者一段代码执行结束，可以将结果应用于另一段代码，继续执行另一段代码，以实现对数据的多种分析功能。

一般地，需要对数据分析时，可以通过数据预处理、特征选择、模型选择以及参数优化四个步骤来获取数据处理模型。对于不同类型的数据，数据分析需求可能不同，数据分析过程也可能不同，也即是，这四个步骤具体如何采用的分析算法则可能不同，例如，文本数据与图像数据的类型不同，文本数据的数据分析需求可能是语义分析，而图像数据的数据分析需求可能是人脸属性识别。则文本数据更适用的模型可能是语言模型，而图像数据更适用的模型可能是人脸识别模型。

在该数据处理模型中的各个数据处理模块中，可以包括用于对各种类型的数据进行分析的分析算法，以便该数据处理模型可以作为对不同类型的数据进行数据分析的初始模型。则计算机设备在获取到该初始模型后，可以基于样本数据，对该数据模型进行训练，得到模型配置信息完善的数据处理模型，从而可以应用该数据处理模型对数据进行分析。

202、计算机设备从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型Model1。

在获取到样本数据和待训练的模型之后，计算机设备可以通过样本数据，对待训练的模型进行训练，生成一个适用于对目标类型的数据进行分析的数据处理模型。具体地，对于数据处理模型中的每个数据处理模块，计算机设备均可以从这个数据处理模块的处理子模块中选择一个，从而生成一个测试模型Model1，后续再对该测试模型Model1对该目标类型数据的分析能力进行评估。其中，如果某个数据处理模块的处理子模块的数量为多个，则终端可以从多个处理子模块中选择一个；如果某个数据处理模块的处理子模块的数量为一个，则终端可以选择这个处理子模块。在该步骤202中得到的测试模型Model1，仅为计算机设备在第一次迭代过程中生成的一个待选模型，该Model1仅为一种对测试模型的编号，以便于更直观地区分多次迭代过程得到的测试模型，计算机设备后续迭代过程中还可以生成的其他的测试模型Model2，Model3，Model4，Model5，……，本发明实施例对此不作限定。

具体地，对于每个数据处理模块，计算机设备可以基于该数据处理模块的模块参数，获取该数据处理模块的处理子模块中被选中概率最大的处理子模块。其中，被选中概率根据数据处理模块的模块参数确定。

对于每个数据处理模块，计算机设备可以基于该数据处理模块的模块参数进行计算，得到该数据处理模块选择每个处理子模块来生成测试模型Model1的概率，该概率也即是上述被选中概率，计算机设备可以获取被选中概率最大的处理子模块。可以理解地，计算机设备可以通过该数据处理模块的模块参数，确定一个或多个处理子模块中哪个处理子模块与该目标类型的数据更匹配，也即是确定采用哪种分析算法对该目标类型的数据进行分析更好，从而选择最好的分析算法。该模块参数不同，计算机设备在进行上述确定过程时的结果也不同。

在一种可能实现方式中，该步骤202可以采用循环神经网络(Recurrent neuralnetwork,RNN)来实现。上述步骤202也即是：RNN可以根据上述模块参数对该数据分析过程的具体流程进行预测，上述模块参数用于指示RNN如何对该数据分析过程的每个步骤进行预测、决策，模块参数不同，RNN做的预测结果或决策结果也可能不同。具体地，可以由流程控制器(Agent)采用循环神经网络来实现，当然，也可以采用其他机器学习的工具来实现上述确定过程，本发明实施例对此不作具体限定。

在具体实施中，每个处理子模块可以预先设置有标识，该标识可以为该处理子模块的编号，也可以为该处理子模块的名称，本发明实施例对此不作具体限定。相应地，计算机设备在获取被选中概率最大的处理子模块时，可以获取该处理子模块的标识。进一步地，计算机设备得到测试模型Model1时，该测试模型中Model1的每个处理子模块的标识可以用一个字符串的形式表示，该字符串的每一位对应于每个处理子模块的标识。

进一步地，计算机设备可以依次确定每个数据处理模块的处理子模块，并在确定一个数据处理模块的处理子模块后，将选择的处理子模块的标识，对于某个数据处理模块，计算机设备获取处理子模块的标识后，将该标识输入到下一个数据处理模块中，计算机设备基于该标识与该下一个数据处理模块的模块参数，确定该下一个数据处理模块的处理子模块。

一般地，该数据分析过程可以包括数据预处理、特征选择以及分析几个步骤，则该数据处理模型的最后一个数据处理模块中可以包括多个模型，每个模型即为一个处理子模块，计算机设备可以选择一个模型，来对经过数据预处理、特征选择后的数据进行分析，得到最终的数据处理结果。

例如，如图3所示，在数据分析过程中可以包括缺失值处理、异常值消除、数据转换、特征合成、特征选择、……、模型选择等步骤，每个步骤均对应于一个数据处理模块。以缺失值处理这个数据处理模块为例，缺失值处理可以包括三个处理子模块，分别为：均值填充、中值填充、线性回归填充。该三个处理子模块即对应于三种分析算法，其标识可以分别为1、2、3。计算机设备可以根据该缺失值处理的模块参数，预测该缺失值处理选择哪种分析算法，计算机设备可以计算得到分别采用上述三种分析算法的概率，也即是上述三种分析算法的被选中概率，从而选择被选中概率最大的分析算法作为测试模型Model1中缺失值处理这个步骤采用的分析算法。例如，该计算机设备计算得到的概率分别为80％、10％、10％，则计算机设备可以选择80％对应的均值填充分析算法，对数据进行缺失值处理，因此，计算机设备获取均值填充的标识1，该缺失值处理数据处理模块的输出结果即为1，每个数据处理模块的输出结果可以作为下一个数据处理模块的输入，计算机设备则可以继续预测异常值消除选择哪种分析算法。

在一种可能实现方式中，计算机设备还可以在多个数据处理模块中获取至少一个数据处理模块，并从获取到的每个数据处理模块的处理子模块中，分别获取每个数据处理模块的一个处理子模块，得到测试模型Model1。具体地，计算机设备可以从多个数据处理模块的标识中获取到至少一个标识，并获取到的每个数据处理模块的处理子模块的标识中，分别获取一个标识与该数据处理模块的标识相关联，则计算机设备可以获取到一个可变长度的字符串，该字符串用于指示测试模型Model1采用的数据处理模块，以及每个数据处理模块采用的处理子模块。

203、计算机设备根据该多个样本数据中的训练样本，对该测试模型Model1进行模型训练，确定该测试模型Model1中处理子模块的模型参数。

在本发明实施例中，可以将样本数据分为训练样本和测试样本，训练样本可以用于对测试模型进行训练，以确定测试模型的模型参数。测试样本可以用于对训练得到的测试模型对目标类型的数据的数据分析能力进行测试。

计算机设备获取到测试模型Model1后，可以对该测试模型Model1进行训练，以使得该测试模型Model1能够更准确地对目标类型的数据进行分析。具体地，计算机设备可以将训练样本输入该测试模型Model1中，由该测试模型Model1中的各个处理子模块对训练样本执行相应的分析步骤，其中，每个处理子模块的输出即为下一个处理子模块的输入，则最终测试模型Model1输出对训练样本的数据处理结果，而每个训练样本还携带有对应的已知数据处理结果，则计算机设备可以基于数据处理结果以及该已知数据处理结果，对该测试模型Model1中各个处理子模块的模型参数进行调整，并在数据处理结果以及该已知数据处理结果符合条件时，结束调整，则该测试模型Model1中各个处理子模块的模型参数确定。

其中，数据处理结果以及已知数据处理结果符合条件的判定，可以根据该测试模型Model1中选用的分析模型的类型确定，本发明实施例对此不作具体限定，该测试模型Model1中选用的分析模型也即是上述步骤202中最后一个数据处理模块中获取到的处理子模块。例如，当该分析模型为决策树模型时，计算机设备可以根据数据处理结果以及已知数据处理结果，计算该决策树模型的损失值，当上述对模型参数的调整过程使得该损失值小于或等于预设阈值时，结束调整，通过训练样本对测试模型Model1的训练过程结束。该预设阈值可以是一个非常小的数值，例如，该预设阈值可以是零，或是接近于零的一个非常小的数值，本发明实施例对此不作具体限定。当然，也可以不采用上述损失值小于或等于预设阈值的方式，而是采用增益率是否大于或等于预设增益率等模型训练完成的条件，本发明实施例对此不作具体限定。

204、计算机设备根据该多个样本数据中的测试样本，获取该测试模型Model1的总期望值。

计算机设备对测试模型Model1训练完成后，可以通过测试样本对该测试模型Model1，对目标类型的数据的数据分析能力进行测试、评估，以便后续确定是否将该测试模型Model1作为数据处理模型。具体地，计算机设备可以将测试样本输入训练得到的测试模型Model1中，获取该测试模型Model1的总期望值，该总期望值用于指示该测试模型Model1对目标类型的数据的数据分析能力。其中，测试模型的数据分析能力可以与总期望值正相关，总期望值越大，测试模型的数据分析能力越好；总期望值越小，测试模型的数据分析能力越差。

具体地，计算机设备获取该测试模型Model1的总期望值的过程可以通过以下步骤实现：

(1)计算机设备获取各个数据处理模块的模块参数以及被选中概率。

在该步骤(1)中，计算机设备可以获取当前测试模型Model1中各个数据处理模块的模块参数，以及上述步骤202中获取到的各个处理子模块的被选中概率，也即是上述步骤202中各个数据处理模块中计算得到的最高的被选中概率。

(2)计算机设备获取该测试模型Model1对该测试样本进行数据分析时的准确度。

在该步骤(2)中，计算机设备可以将测试样本输入训练得到的测试模型Model1中，由该测试模型Model1基于步骤203确定的各个处理子模块的参数，对测试样本进行数据分析，得到数据处理结果。计算机设备基于该数据处理结果以及测试样本的已知数据处理结果，获取该准确度。

具体地，该准确度的形式也可以根据该测试模型Model1中选用的分析模型的类型确定。例如，当该测试模型Model1中选用的分析模型为分类模型时，可以使用对测试样本的分类的命中率、准确率作为该准确度。本发明实施例对该准确度的具体形式不作具体限定。一般地，测试模型对测试样本的分析能力与该准确度正相关，该准确度越大，测试模型的分析能力越好；该准确度越小，测试模型的分析能力越差。例如，如果有两个测试模型，一个模型的准确度为97％，另一个模型的准确度为90％，则准确度为97％的测试模型对测试样本的分析能力更好。

(3)计算机设备根据该模块参数、该被选中概率和该准确度，获取该测试模型Model1的总期望值。

由于该测试模型Model1中各个处理子模块也是基于模块参数计算得到的被选中概率获取到的，在考虑到训练得到的测试模型Model1的数据分析能力的同时，也可以再次基础上结合模块参数以及被选中概率，对生成的测试模型Model1的性能进行评估，确定当前测试模型Model1与目标类型的数据的匹配程度。具体地，计算机设备可以基于步骤(1)和(2)获取到的各项数值，获取该测试模型Model1的总期望值。

例如，计算机设备可以通过下述公式来获取测试模型的总期望值。

J(θ)＝E_X～P(X|θ)[R|θ]

其中，J为测试模型的总期望值，θ为各个数据处理模块的模块参数，E_X为每个处理子模块的期望值，X为处理子模块的标识，也即是数据分析流程的每个步骤，P(X|θ)为基于模块参数θ确定采用处理子模块X的概率，也即是处理子模块X的被选中概率，[R|θ]为基于模块参数θ确定的测试模型的准确度。

在一种可能实现方式中，该测试模型的性能与该总期望值正相关，该总期望值越大，该测试模型的性能越好，该总期望值越小，该测试模型的性能越差。

显然，我们希望能获取到性能最优的测试模型来作为数据处理模型，在后续对获取到的目标类型的数据进行数据分析。可以理解地，计算机设备可以通过获取多个测试模型，并获取其对应的总期望值，获取总期望值最大的测试模型作为最终的数据处理模型，将测试模型的模型配置信息作为最终的数据处理模型所需的目标模型配置信息，该目标模型配置信息包括该每个数据处理模块在处理该目标类型数据时采用的处理子模块以及处理子模块的模型参数。

205、计算机设备基于获取到的总期望值的变化，调整该数据处理模块的模块参数。

上述步骤202至步骤204为计算机设备对测试模型的构建、训练以及总期望值的获取过程，为了使得该总期望值达到最大值，计算机设备可以根据总期望值的变化，调整数据处理模块的模块参数，计算机设备执行结束该步骤205，可以执行下述步骤206至步骤208，使得计算机设备可以基于调整后的模块参数，构建另一个与上次构建得到的测试模型Model1不同的测试模型Model2，并对新构建的测试模型进行训练，并进行性能测试，从而确定新构建的测试模型的性能是否比步骤202至步骤205构建的测试模型的性能更好。

206、计算机设备从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型Model2。

其中，该测试模型Model2为计算机设备对测试模型Model1进行了评估后，在第二次迭代过程中生成的另一个待选模型，在第二迭代过程中，计算机设备对模块参数进行了调整，重新选择了不同的处理子模块。

207、计算机设备根据该多个样本数据中的训练样本，对该测试模型Model2进行模型训练，确定该测试模型Model2中处理子模块的模型参数。

208、计算机设备根据该多个样本数据中的测试样本，获取该测试模型Model2的总期望值。

该步骤206至步骤208与上述步骤202至步骤204同理，只是计算机设备通过执行步骤205，将数据处理模块的模块参数进行了调整，从而会使得每个数据处理模块在获取处理子模块时，每个处理子模块的被选中概率可能发生了变化，从而计算机设备构建的测试模型Model2中包括的处理子模块,与步骤202至步骤204中得到的测试模型Model1有所不同。在步骤208中计算机设备获取到新构建的测试模型Model2的总期望值后，还可以确定该总期望值是否比之前获取到的总期望值更大，如果总期望值变得更大，则说明本次步骤205中模型参数的调整过程中的一些模型参数调整是正确的，如果总期望值变得更小，则说明本次步骤205中模型参数的调整过程中的一些模型参数调整是错误的，基于该总期望值的变化，计算机设备可以继续对模型参数进行调整，以使得该总期望值能够越来越大。

上述仅为对数据处理模型的目标模型配置信息的迭代过程中的两次迭代过程，分别得到的是测试模型Model1和Model2。在具体实施中，在该步骤208之后，计算机设备还可以继续执行步骤205，然后执行与步骤206至步骤208同理的步骤，得到测试模型Model3,Model4,……，通过多次迭代过程，以获取性能最好的测试模型的模型配置信息作为数据处理模型的目标模型配置信息。后续的迭代过程在此不一一列举，需要说明的是，在任一次对测试模型的构建、训练以及总期望值的获取过程之后，计算机设备均可以执行步骤205，基于获取到的总期望值的变化，调整该数据处理模块的模块参数。

在一种可能实现方式中，在上述迭代过程中，计算机设备在执行步骤203、步骤207或与该步骤207同理的步骤之前，计算机设备还可以从预设的候选参数中，获取指定数量的参数作为步骤204或步骤208在模型训练时所需的参数，该指定数量根据上述测试模型中各个处理子模块所需的超参数的数量确定。需要说明的是，该参数与上述模型参数不同，该参数为超参数，其中，超参数为模型训练前设置的参数，而不是模型训练过程中训练得到的模型参数。在单次迭代过程中，可以训练得到各个处理子模块的模型参数，而该超参数在模型训练之前则已经确定，并在训练过程中不会发生改变。例如，该超参数可以是神经网络的层数、每层神经元的个数、决策树模型中树的深度等。在上述多个迭代过程中，计算机设备在获取到总期望值时，对模块参数进行调整后，生成新的测试模型后，计算机设备也会基于总期望值的变化，获取被选中概率最大的候选参数。当然，计算机设备也可以基于超参数优化算法，对该超参数进行优化，本发明实施例在此不多做赘述。

209、当该总期望值收敛或迭代次数达到预设次数时，计算机设备输出该总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

计算机设备可以通过总期望值收敛和迭代次数达到预设次数两个条件来确定是否训练得到合适的数据处理模型，具体可以包括以下两种情况：

第一种情况、当总期望值收敛时，计算机设备输出该总期望值收敛时所训练的测试模型中处理子模块的模型参数。

在上述第一种情况中，由于希望获取到性能最优的测试模型的模型配置信息，也即是获取总期望值最大时测试模型的模型配置信息，计算机设备通过执行上述步骤205中进行模块参数的调整过程，使得测试模型的总期望值能越来越大，因此，在该总期望值收敛时，可以认为总期望值已经达到了最大值。也即是，计算机设备可以基于获取到的总期望值是否收敛，来确定是否结束上述迭代过程。

具体地，在上述迭代过程中，计算机设备在每次执行步骤204或步骤208同理的步骤获取到测试模型的总期望值后，均可以获取测试模型的总期望值的梯度。当该梯度小于或等于预设阈值时，计算机设备可以确定该总期望值收敛。该预设阈值可以是零或接近于零的一个非常小的数值，本发明实施例对该预设阈值的取值不作具体限定。

例如，计算机设备可以采用下述公式，获取总期望值的梯度：

其中，

为当模块参数为θ时总期望值的梯度，J为测试模型的总期望值，θ为各个数据处理模块的模块参数，E_X为每个处理子模块的期望值，X为处理子模块的标识，也即是数据分析流程的每个步骤，log为对数函数，P(X|θ)为基于模块参数θ确定采用处理子模块X的概率，也即是处理子模块X的被选中概率，R为测试模型的准确度。通过上述公式可知，总期望值的梯度/>

是函数/>

的期望值。

在一种可能实现方式中，计算机设备在获取该测试模型的总期望值的梯度时，还可以采用通过无偏估计的方法简化获取过程，具体地，计算机设备可以在模块参数固定时进行预设次数的采样，从而将采样得到的均值作为总期望值的梯度。例如，可以在模块参数为θ时进行m次采样，将m次采样得到的均值作为总期望值的梯度，可以采用下述公式表示：

/>

其中，

为当模块参数为θ时总期望值的梯度，J为测试模型的总期望值，θ为各个数据处理模块的模块参数，m为采样次数，k为采样次数的标识，T为采样总时长，t为采样区间的标识，X为处理子模块的标识，也即是数据分析流程的每个步骤，log为对数函数，P(X|θ)为基于模块参数θ确定采用处理子模块X的概率，也即是处理子模块X的被选中概率，R为测试模型的准确度。

通过上述方式确定该总期望值收敛后，计算机设备可以不再继续执行与步骤205至步骤208同理的步骤，而是输出此时总期望值收敛时所训练的测试模型中处理子模块的模型参数。例如，如果计算机设备在N次迭代后得到测试模型ModelN,并获取到测试模型ModelN的总期望值，通过上述梯度下降算法确定总期望值收敛，则计算机设备可输出该测试模型ModelN中各个处理子模块的模型参数。

第二种情况、当总期望值未收敛，但迭代次数达到预设次数时，计算机设备输出迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

在该第二种情况中，该预设次数可以由相关技术人员确定，本发明实施例对该预设次数的具体取值不作限定。在模型训练过程中，通过上述迭代过程可以使得该数据处理模型对获取到的样本数据的数据分析能力越来越好，但如果迭代次数过高，可能会出现过拟合现象。为了避免出现过拟合现象，在计算机设备中还可以设置有预设次数，对迭代次数进行限制，在总期望值未收敛，但是迭代次数已经达到要求时，计算机设备也可以结束迭代过程，从而可以更快地得到性能很好的数据处理模型，同时避免出现过拟合现象，提高数据处理模型对目标类型数据进行数据分析的准确性，以及该数据处理模型的实用性。

上述步骤205至步骤209为基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到该总期望值收敛或迭代次数达到预设次数时，输出该总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数的过程。通过两种结束迭代过程的判定方式，可以在保证数据处理模型的性能的同时，减少模型训练的时间，从而快速得到性能很好的数据处理模型以实现后续数据分析功能。

上述步骤202至步骤209是基于每个数据处理模块的处理子模块和该多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及该目标处理子模块的模型参数；根据每个数据处理模块的目标处理子模块以及该目标处理子模块的模型参数，确定目标模型配置信息的过程，其中，该目标处理子模块以及该目标处理子模块的模型参数能够使得对该目标类型的数据进行分析时准确性符合预设条件，该目标模型配置信息包括该每个数据处理模块在处理该目标类型数据时采用的处理子模块以及处理子模块的模型参数。该过程也即是基于样本数据，为目标类型的数据训练得到数据处理模型的过程，该目标类型可以是任一种数据类型，本发明实施例对此不作限定。需要说明的是，上述步骤201至步骤209，通过机器学习的方式，为目标类型的数据训练得到数据处理模型，且数据类型不限定，也即是，当需要对某种类型的数据进行分析时，均可以通过上述步骤201至步骤209，由数据处理模型自主确定合适的数据分析过程，并训练得到相应的模型参数，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，适应性高，降低了人工成本。

进一步地，上述由数据处理模型通过迭代过程自主为不同分析步骤，选择合适的分析算法，可以根据多次测试，将性能更好的分析算法结合在一起，构建数据处理模型，可以提高对目标类型的数据的数据分析的准确性和鲁棒性。

210、当接收到该目标类型的数据时，计算机设备将该数据输入该数据处理模型，按照该目标模型配置信息进行数据分析。

通过上述步骤201至步骤209训练得到数据处理模型，在接收到目标类型的数据时，计算机设备即可调用该数据处理模型，由该数据处理模型对数据进行数据分析。

具体地，计算机设备通过数据处理模型对数据进行数据分析的过程可以为：计算机设备可以从目标模型配置信息中获取每个数据处理模块中处理子模块的标识以及该标识对应的模型参数。对于每个标识，计算机设备可以调用该标识对应的处理子模块，由该处理子模块根据该标识对应的模型参数，对该数据进行数据分析，输出数据处理结果。

通过上述步骤，计算机设备通过获取到目标类型的样本数据以及数据处理模型，确定该数据处理模型的目标模型配置信息，从而可以在后续基于确定的目标模型配置信息对目标类型的数据进行数据分析。例如，如图4所示，上述过程可以由流程控制器(Agent)采用RNN实现。具体地，Agent以概率P产生一个新的数据，该新的数据即为分析流程D，其中，该概率P是指Agent生成每个分析流程的概率，也即是数据分析过程中的各个处理子模块的被选中概率。分析流程D即为确定了各个处理子模块后得到的测试模型。然后可以采用该分析流程D对数据进行分析，得到数据分析结果R，该R即是指上述准确度R，则可以利用R修改Agent。具体的过程即为上述基于准确度R、概率P，获取总期望值，并基于总期望值，对模块参数进行调整的过程。

在一种可能实现方式中，计算机设备在步骤201中，获取到多个样本数据以及数据处理模型时，还可以获取该多个样本数据与历史处理数据中的样本数据的相似度，从而可以获取历史处理数据中相似度最大的样本数据对应的模型配置信息，将该模型配置信息作为初始模型配置信息，并基于该初始模型配置信息以及该多个样本数据进行模型训练，确定目标模型配置信息。这样由于样本数据的相似度较大，其模型配置信息可能也比较相近，直接获取历史处理数据中的模型配置信息作为初始模型配置信息，可以有效减少上述迭代过程的次数，减少大量计算量，提高了上述数据分析方法的效率。相应地，计算机设备在执行步骤209后，还可以将本次的样本数据与目标模型配置信息对应存储于历史处理数据中。

例如，以该数据分析方法通过流程控制器(Agent)实现为例，在获取到样本数据时，将其作为一个数据集，可以通过元学习热启动该Agent，来计算这个数据集与其他数据集之间的相似度，从而为相似的数据设置相似的初始模型配置信息，从而可以更快地完成上述确定目标模型配置信息的过程，提高了数据分析方法的效率。

在一种可能实现方式中，为了消除的数据的相关性，以避免训练时间过长、训练过程不稳定等问题，计算机设备还可以通过多份不同的样本数据，采用上述方法训练得到多个数据处理模型，利用CPU多线程的功能，并行或异步地通过多个数据处理模型对数据进行分析。相应地，该步骤210可以为：当接收到该目标类型的数据时，计算机设备将该数据输入多个数据处理模型，由该多个数据处理模型分别按照该数据处理模型对应的目标模型配置信息进行数据分析，输出第一数据处理结果，该多个数据处理模型由多份不同的样本数据训练得到，该多份不同的样本数据的类型为目标类型。然后，计算机设备可以根据多个第一数据处理结果，获取该数据的第二数据处理结果。具体实施中，计算机设备可以获取多个第一数据处理结果的交集，或者将该多个第一数据处理结果中占比最大的结果作为第二数据处理结果，或者采用其他方式，综合多个第一数据处理结果，以获取第二数据处理结果，本发明实施例对该过程所采用的方式不作具体限定。

本发明实施例通过获取到目标类型的样本数据时，可以基于该样本数据，确定数据处理模型中的各个分析步骤所采用的分析算法，并确定各个分析步骤所需参数，生成数据处理模型，从而可以对目标类型的数据进行数据分析，该目标类型并不限定，这样当需要对某种类型的数据进行分析时，均可以直接采用本发明实施例提供的数据分析方法，生成数据处理模型，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，因此，上述数据分析方法的适应性高，降低了人工成本。

进一步地，本发明实施例还通过由数据处理模型通过迭代过程自主为不同分析步骤，选择合适的分析算法，可以根据多次测试，将性能更好的分析算法结合在一起，生成数据处理模型，从而提高了对目标类型的数据的数据分析的准确性和鲁棒性。

进一步地，本发明实施例还通过获取历史处理数据中，与样本数据的相似度最大的样本数据的模型配置信息作为初始模型配置信息，可以有效地减少迭代的次数，减少计算量，从而可以提高数据分析方法的效率。

进一步地，本发明实施例还通过使用不同的样本数据训练多个数据处理模型，从而综合多个数据处理结果，获取更准确的数据处理结果，可以消除数据的相关性，并避免模型训练时间过长、模型训练过程不稳定的问题。

图5是本发明实施例提供的一种数据处理模型训练方法流程图，参见图5，该方法包括：

501、计算机设备获取多个样本数据以及数据处理模型，该多个样本数据的类型为目标类型，该数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，该多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法。

502、计算机设备从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型。

在一种可能实现方式中，该步骤502具体可以为：对于每个数据处理模块，计算机设备基于该数据处理模块的模块参数，获取该数据处理模块的处理子模块中被选中概率最大的处理子模块。

503、计算机设备根据该多个样本数据中的训练样本，对该测试模型进行模型训练，确定该测试模型中处理子模块的模型参数。

504、计算机设备根据该多个样本数据中的测试样本，获取该测试模型的总期望值。

在一种可能实现方式中，该步骤504具体可以为：计算机设备获取各个数据处理模块的模块参数以及被选中概率；计算机设备获取该测试模型对该测试样本进行数据分析时的准确度；计算机设备根据该模块参数、该被选中概率和该准确度，获取该测试模型的总期望值。

该步骤501至步骤504与上述步骤201至步骤204同理，在此不多做赘述。

505、计算机设备基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到该总期望值收敛或迭代次数达到预设次数时，输出该总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

需要说明的是，在任一次对测试模型的构建、训练以及总期望值的获取过程之后，计算机设备均可以基于获取到的总期望值的变化，调整该数据处理模块的模块参数。

该步骤505与上述步骤205至步骤209同理，该计算机设备可以调整数据处理模块的模块参数，再继续执行对测试模型的创建、训练以及总期望值的获取过程，通过多次迭代，在总期望值收敛或迭代次数达到预设次数时得到最终的数据处理模型。

本发明实施例通过获取到目标类型的样本数据时，可以基于该样本数据，确定数据处理模型中的各个分析步骤所采用的分析算法，并确定各个分析步骤所需参数，生成数据处理模型。该目标类型并不限定，这样当需要对某种类型的数据进行分析时，均可以直接采用本发明实施例提供的数据分析方法，生成数据处理模型，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，因此，上述数据处理模型训练方法的适应性高，降低了人工成本。

下面通过图6所示实施例对上述数据处理模型训练方法的具体迭代过程给出一种示例，具体地，该流程包括：

601、计算机设备获取多个样本数据以及数据处理模型，该多个样本数据的类型为目标类型，该数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，该多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法。

602、计算机设备从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型。

603、计算机设备根据该多个样本数据中的训练样本，对该测试模型进行模型训练，确定该测试模型中处理子模块的模型参数。

604、计算机设备根据该多个样本数据中的测试样本，获取该测试模型的总期望值。

该步骤601至步骤604与上述步骤201至步骤204或步骤501至步骤504同理，在此不多做赘述。

605、计算机设备获取该当前数据处理模型的总期望的梯度。

606、计算机设备判断该梯度是否小于或等于预设阈值，如果是，则执行步骤607；如果否，则执行步骤608。

607、计算机设备输出该测试模型中处理子模块的模型参数。

该步骤605至步骤607与上述步骤209同理，在此不多做赘述。

608、计算机设备判断迭代次数是否达到预设次数，如果是，则执行步骤607；如果否，则执行步骤609。

609、计算机设备基于获取到的总期望值的变化，调整该数据处理模块的模块参数，并将执行步骤跳转到步骤602。

该步骤609与上述步骤205同理，在此不多做赘述。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

图7是本发明实施例提供的一种数据分析装置的结构示意图，参见图7，该装置包括：

获取单元701，用于获取多个样本数据以及数据处理模型，该多个样本数据的类型为目标类型，该数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，该多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

确定单元702，用于基于每个数据处理模块的处理子模块和该多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及该目标处理子模块的模型参数；其中，该目标处理子模块以及该目标处理子模块的模型参数能够使得对该目标类型的数据进行分析时准确性符合预设条件；

该确定单元702，还用于根据每个数据处理模块的目标处理子模块以及该目标处理子模块的模型参数，确定目标模型配置信息，该目标模型配置信息包括该每个数据处理模块在处理该目标类型数据时采用的处理子模块以及处理子模块的模型参数；

数据分析单元703，用于当接收到该目标类型的数据时，将该数据输入该数据处理模型，按照该目标模型配置信息进行数据分析。

在一种可能实现方式中，该确定单元702用于：

从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

根据该多个样本数据中的训练样本，对该测试模型进行模型训练，确定该测试模型中处理子模块的模型参数；

根据该多个样本数据中的测试样本，获取该测试模型的总期望值；

基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到该总期望值收敛或迭代次数达到预设次数时，输出该总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

在一种可能实现方式中，该确定单元702用于：

对于每个数据处理模块，基于该数据处理模块的模块参数，获取该数据处理模块的处理子模块中被选中概率最大的处理子模块。

在一种可能实现方式中，该确定单元还用于在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整该数据处理模块的模块参数。

在一种可能实现方式中，该确定单元702用于：

获取各个数据处理模块的模块参数以及被选中概率；

获取该测试模型对该测试样本进行数据分析时的准确度；

根据该模块参数、该被选中概率和该准确度，获取该测试模型的总期望值。

在一种可能实现方式中，该数据分析单元703用于：

从目标模型配置信息中获取每个数据处理模块中处理子模块的标识以及该标识对应的模型参数；

对于每个标识，调用该标识对应的处理子模块，由该处理子模块根据该标识对应的模型参数，对该数据进行数据分析，输出数据处理结果。

在一种可能实现方式中，该获取单元701，还用于当获取到多个样本数据以及数据处理模型时，获取该多个样本数据与历史处理数据中的样本数据的相似度；

该确定单元702，还用于获取历史处理数据中相似度最大的样本数据对应的模型配置信息，将该模型配置信息作为初始模型配置信息，并基于该初始模型配置信息以及该多个样本数据对该数据处理模型进行模型训练，确定目标模型配置信息。

在一种可能实现方式中，该数据分析单元703还用于：

当接收到该目标类型的数据时，将该数据输入多个数据处理模型，由该多个数据处理模型分别按照该数据处理模型对应的目标模型配置信息进行数据分析，输出第一数据处理结果，该多个数据处理模型由多份不同的样本数据训练得到，该多份不同的样本数据的类型为目标类型；

根据多个第一数据处理结果，获取该数据的第二数据处理结果。

本发明实施例提供的装置通过获取到目标类型的样本数据时，可以基于该样本数据，确定数据处理模型中的各个分析步骤所采用的分析算法，并确定各个分析步骤所需参数，生成数据处理模型，从而可以对目标类型的数据进行数据分析，该目标类型并不限定，这样当需要对某种类型的数据进行分析时，均可以直接采用本发明实施例提供的数据分析方法，生成数据处理模型，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，因此，上述数据分析方法的适应性高，降低了人工成本。

需要说明的是：上述实施例提供的数据分析装置在分析数据时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据分析装置与数据分析方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本发明实施例提供的一种数据处理模型训练装置的结构示意图，参见图8，该装置包括：

获取单元801，用于获取多个样本数据以及数据处理模型，该多个样本数据的类型为目标类型，该数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，该多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法；

确定单元802，用于从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

该确定单元802，还用于根据该多个样本数据中的训练样本，对该测试模型进行模型训练，确定该测试模型中处理子模块的模型参数；

该确定单元802，还用于根据该多个样本数据中的测试样本，获取该测试模型的总期望值；

该确定单元802，还用于基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到该总期望值收敛或迭代次数达到预设次数时，输出该总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

在一种可能实现方式中，该确定单元802还用于对于每个数据处理模块，基于该数据处理模块的模块参数，获取该数据处理模块的处理子模块中被选中概率最大的处理子模块。

在一种可能实现方式中，该确定单元802还用于在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整该数据处理模块的模块参数。

在一种可能实现方式中，该确定单元802还用于：

获取各个数据处理模块的模块参数以及被选中概率；

获取该测试模型对该测试样本进行数据分析时的准确度；

根据该模块参数、该被选中概率和该准确度，获取该测试模型的总期望值。

本发明实施例提供的装置通过获取到目标类型的样本数据时，可以基于该样本数据，确定数据处理模型中的各个分析步骤所采用的分析算法，并确定各个分析步骤所需参数，生成数据处理模型。该目标类型并不限定，这样当需要对某种类型的数据进行分析时，均可以直接采用本发明实施例提供的数据分析方法，生成数据处理模型，而无需相关技术人员根据自身经验去确定数据分析过程，且对于不同类型的数据，上述模型可自主变化，能适应于不同类型的数据，因此，上述数据处理模型训练方法的适应性高，降低了人工成本。

需要说明的是：上述实施例提供的数据处理模型训练装置在训练数据处理模型时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理模型训练装置与数据处理模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是本发明实施例提供的一种计算机设备900的结构框图。该计算机设备900可以被提供为一终端。该计算机设备900可以是：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，计算机设备900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本发明中方法实施例提供的数据分析方法或数据处理模型训练方法。

在一些实施例中，计算机设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本发明对此不加以限定。

显示屏905用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置计算机设备900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在计算机设备900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在计算机设备900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位计算机设备900的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。

电源909用于为计算机设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、光学传感器915以及接近传感器916。

加速度传感器911可以检测以计算机设备900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测计算机设备900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对计算机设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在计算机设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在计算机设备900的侧边框时，可以检测用户对计算机设备900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在计算机设备900的前面板。接近传感器916用于采集用户与计算机设备900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对计算机设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图10是本发明实施例提供的一种计算机设备1000的结构示意图，该计算机设备1000可以被提供为一服务器，该计算机设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条指令，该至少一条指令由该处理器1001加载并执行以实现上述各个方法实施例提供的数据分析方法或数据处理模型训练方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的数据分析方法或数据处理模型训练方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请实施例中涉及到的样本数据等都是在充分授权的情况下获取的。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种数据分析方法，其特征在于，应用于计算机设备，所述方法包括：

获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法，其中，所述目标类型包括文本数据和图像数据中至少一项，所述文本数据对应的数据分析功能包括语义分析，所述图像数据对应的数据分析功能包括人脸识别；

基于每个数据处理模块的处理子模块和所述多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数；其中，所述目标处理子模块以及所述目标处理子模块的模型参数能够使得对所述目标类型的数据进行分析时准确性符合预设条件；

根据每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数，确定目标模型配置信息，所述目标模型配置信息包括所述每个数据处理模块在处理所述目标类型数据时采用的处理子模块以及处理子模块的模型参数；

当接收到所述目标类型的数据时，将所述数据输入所述数据处理模型，按照所述目标模型配置信息进行数据分析。

2.根据权利要求1所述的方法，其特征在于，所述基于每个数据处理模块的处理子模块和所述多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数，包括：

从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

3.根据权利要求2所述的方法，其特征在于，所述从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型，包括：

对于每个数据处理模块，基于所述数据处理模块的模块参数，获取所述数据处理模块的处理子模块中被选中概率最大的处理子模块。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整所述数据处理模块的模块参数。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值，包括：

获取各个数据处理模块的模块参数以及被选中概率；

获取所述测试模型对所述测试样本进行数据分析时的准确度；

根据所述模块参数、所述被选中概率和所述准确度，获取所述测试模型的总期望值。

6.根据权利要求1所述的方法，其特征在于，所述按照所述目标模型配置信息进行数据分析，包括：

从目标模型配置信息中获取每个数据处理模块中处理子模块的标识以及所述标识对应的模型参数；

对于每个标识，调用所述标识对应的处理子模块，由所述处理子模块根据所述标识对应的模型参数，对所述数据进行数据分析，输出数据处理结果。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当获取到多个样本数据以及数据处理模型时，获取所述多个样本数据与历史处理数据中的样本数据的相似度；

获取历史处理数据中相似度最大的样本数据对应的模型配置信息，将所述模型配置信息作为初始模型配置信息，并基于所述初始模型配置信息以及所述多个样本数据对所述数据处理模型进行模型训练，确定目标模型配置信息。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到所述目标类型的数据时，将所述数据输入多个数据处理模型，由所述多个数据处理模型分别按照所述数据处理模型对应的目标模型配置信息进行数据分析，输出第一数据处理结果，所述多个数据处理模型由多份不同的样本数据训练得到，所述多份不同的样本数据的类型为目标类型；

根据多个第一数据处理结果，获取所述数据的第二数据处理结果。

9.一种数据处理模型训练方法，其特征在于，应用于计算机设备，所述方法包括：

获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法，其中，所述目标类型包括文本数据和图像数据中至少一项，所述文本数据对应的数据分析功能为语义分析，所述图像数据对应的数据分析功能为人脸识别；

从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整所述数据处理模块的模块参数。

11.根据权利要求9或10所述的方法，其特征在于，所述根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值，包括：

获取各个数据处理模块的模块参数以及被选中概率；

获取所述测试模型对所述测试样本进行数据分析时的准确度；

根据所述模块参数、所述被选中概率和所述准确度，获取所述测试模型的总期望值。

12.一种数据分析装置，其特征在于，应用于计算机设备，所述装置包括：

获取单元，用于获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法，其中，所述目标类型包括文本数据和图像数据中至少一项，所述文本数据对应的数据分析功能为语义分析，所述图像数据对应的数据分析功能为人脸识别；

确定单元，用于基于每个数据处理模块的处理子模块和所述多个样本数据进行训练，获取每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数；其中，所述目标处理子模块以及所述目标处理子模块的模型参数能够使得对所述目标类型的数据进行分析时准确性符合预设条件；

所述确定单元，还用于根据每个数据处理模块的目标处理子模块以及所述目标处理子模块的模型参数，确定目标模型配置信息，所述目标模型配置信息包括所述每个数据处理模块在处理所述目标类型数据时采用的处理子模块以及处理子模块的模型参数；

数据分析单元，用于当接收到所述目标类型的数据时，将所述数据输入所述数据处理模型，按照所述目标模型配置信息进行数据分析。

13.根据权利要求12所述的装置，其特征在于，所述确定单元，用于：

从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

14.根据权利要求13所述的装置，其特征在于，所述确定单元，用于：

对于每个数据处理模块，基于所述数据处理模块的模块参数，获取所述数据处理模块的处理子模块中被选中概率最大的处理子模块。

15.根据权利要求13所述的装置，其特征在于，所述确定单元，还用于：

在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整所述数据处理模块的模块参数。

16.根据权利要求13-15任一项所述的装置，其特征在于，所述确定单元，用于：

获取各个数据处理模块的模块参数以及被选中概率；

获取所述测试模型对所述测试样本进行数据分析时的准确度；

根据所述模块参数、所述被选中概率和所述准确度，获取所述测试模型的总期望值。

17.根据权利要求12所述的装置，其特征在于，所述数据分析单元，用于：

从目标模型配置信息中获取每个数据处理模块中处理子模块的标识以及所述标识对应的模型参数；

对于每个标识，调用所述标识对应的处理子模块，由所述处理子模块根据所述标识对应的模型参数，对所述数据进行数据分析，输出数据处理结果。

18.根据权利要求12所述的装置，其特征在于，

所述获取单元，还用于当获取到多个样本数据以及数据处理模型时，获取所述多个样本数据与历史处理数据中的样本数据的相似度；

所述确定单元，还用于获取历史处理数据中相似度最大的样本数据对应的模型配置信息，将所述模型配置信息作为初始模型配置信息，并基于所述初始模型配置信息以及所述多个样本数据对所述数据处理模型进行模型训练，确定目标模型配置信息。

19.根据权利要求12所述的装置，其特征在于，所述数据分析单元，还用于：

当接收到所述目标类型的数据时，将所述数据输入多个数据处理模型，由所述多个数据处理模型分别按照所述数据处理模型对应的目标模型配置信息进行数据分析，输出第一数据处理结果，所述多个数据处理模型由多份不同的样本数据训练得到，所述多份不同的样本数据的类型为目标类型；

根据多个第一数据处理结果，获取所述数据的第二数据处理结果。

20.一种数据处理模型训练装置，其特征在于，应用于计算机设备，所述装置包括：

获取单元，用于获取多个样本数据以及数据处理模型，所述多个样本数据的类型为目标类型，所述数据处理模型包括多个数据处理模块，每个数据处理模块对应于一种数据分析功能，所述多个数据处理模块内包括的处理子模块的数量不全为一，每个处理子模块对应于一种数据分析功能的一种分析算法，其中，所述目标类型包括文本数据和图像数据中至少一项，所述文本数据对应的数据分析功能为语义分析，所述图像数据对应的数据分析功能为人脸识别；

确定单元，用于从数据处理模型中每个数据处理模块的处理子模块中，分别获取每个数据处理模块中的一个处理子模块，得到测试模型；

所述确定单元，还用于根据所述多个样本数据中的训练样本，对所述测试模型进行模型训练，确定所述测试模型中处理子模块的模型参数；

所述确定单元，还用于根据所述多个样本数据中的测试样本，获取所述测试模型的总期望值；

所述确定单元，还用于基于每个数据处理模块的处理子模块继续执行对测试模型的构建、训练以及总期望值的获取过程，直到所述总期望值收敛或迭代次数达到预设次数时，输出所述总期望值收敛或迭代次数达到预设次数时所训练的测试模型中处理子模块的模型参数。

21.根据权利要求20所述的装置，其特征在于，所述确定单元，还用于：

在任一次对测试模型的构建、训练以及总期望值的获取过程之后，基于获取到的总期望值的变化，调整所述数据处理模块的模块参数。

22.根据权利要求20或21所述的装置，其特征在于，所述确定单元，还用于：

获取各个数据处理模块的模块参数以及被选中概率；

获取所述测试模型对所述测试样本进行数据分析时的准确度；

根据所述模块参数、所述被选中概率和所述准确度，获取所述测试模型的总期望值。

23.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求8任一项所述的数据分析方法所执行的操作；或如权利要求9至权利要求11任一项所述的数据处理模型训练方法所执行的操作。

24.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的数据分析方法所执行的操作；或如权利要求9至权利要求11任一项所述的数据处理模型训练方法所执行的操作。

Images