CN104850531A - 一种建立数学模型的方法和装置 - Google Patents

Abstract

本发明公开了一种建立数学模型的方法和装置，属于计算机技术领域。所述方法包括：根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，第二分类任务是与第一分类任务相关的其它分类任务；根据所述目标特征提取模型，分别对第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；将所述目标分类模型和所述目标特征提取模型组成第一分类任务的数学模型。采用本发明，可以提高建模的准确性。

Description

一种建立数学模型的方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种建立数学模型的方法和装置。

背景技术

分类任务是指基于一个或多个参数的数值对某目标参数的数值进行估计，其中，所基于的参数可称作特征，参数的数值可称作特征值，目标参数可称作标签，目标参数的数值可称作标签值，分类任务是指基于已知的特征值对标签值进行估计，此过程可称作标签估计。例如，已知风速、温度、湿度等特征的特征值，对标签PM2.5（一种反映直径不超过2.5微米的颗粒物在空气中含量的参数）的标签值进行估计。

在对标签值进行估计的过程中，除了需要已知的特征值，还需要用于标签估计的数学模型，将已知的特征值输入数学模型，以得到标签值。用于根据特征值估计标签值的数学模型，即分类任务所使用的数学模型，一般采用分类模型，如条件随机场模型、最大熵模型、隐马尔可夫模型等。该分类模型可以基于大量的训练样本对初始分类模型进行训练得到，每个训练样本可以包括一组特征值和对应的标签值，例如，一个训练样本为8点钟时风速、温度、湿度的数值和对应的PM2.5的数值，另一组训练样本为9点钟时风速、温度、湿度的数值和对应的PM2.5的数值。

专利US8473430中，将神经网络模型（一种特征提取模型，后面内容中会有说明）和条件随机场模型组合，作为分类任务的数学模型。在对该数学模型进行训练时，先基于当前分类任务的训练样本对神经网络模型进行训练，然后用训练好的神经网络模型对各训练样本中的特征值进行处理得到新的训练样本，再用新的训练样本对条件随机场模型进行训练，从而完成对整个数学模型的训练。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

上述训练方式，如果训练样本数量不是很充足，则可能导致过拟合问题，即建立的数学模型在基于训练样本中的特征值进行估计时，得到的估计结果准确度较高（即估计得到的标签值相对于训练样本中的标签值误差较小），而该数学模型基于训练样本之外的测试样本进行估计时，得到的估计结果准确度较低。这样，会导致建模的准确性较差。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种建立数学模型的方法和装置，以提高建模的准确性。所述技术方案如下：

第一方面，提供了一种建立数学模型的方法，所述方法包括：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，所述第二分类任务是与所述第一分类任务相关的其它分类任务；

根据所述目标特征提取模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；

将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；

将所述目标分类模型和所述目标特征提取模型组成所述第一分类任务的数学模型。

第二方面，提供了一种基于如上所述的建立数学模型的方法所建立的数学模型进行标签估计的方法，所述方法包括：

接收标签估计请求，所述标签估计请求中携带有至少一组输入特征值；

根据所述目标特征提取模型，分别对每组输入特征值进行处理，得到所述每组输入特征值对应的提取特征值；

根据所述目标分类模型，对所述每组输入特征值对应的提取特征值进行处理，得到所述每组输入特征值对应的标签值。

第三方面，提供了一种建立数学模型的装置，所述装置包括：

第一训练模块，用于根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，所述第二分类任务是与所述第一分类任务相关的其它分类任务；

处理模块，用于根据所述目标特征提取模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；

第二训练模块，用于将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；并将所述目标分类模型和所述目标特征提取模型组成所述第一分类任务的数学模型。

第四方面，提供了一种基于如上所述的建立数学模型的装置所建立的数学模型进行标签估计的装置，所述装置包括：

接收模块，用于接收标签估计请求，所述标签估计请求中携带有至少一组输入特征值；

提取模块，用于根据所述目标特征提取模型，分别对每组输入特征值进行处理，得到所述每组输入特征值对应的提取特征值；

估计模块，用于根据所述目标分类模型，对所述每组输入特征值对应的提取特征值进行处理，得到所述每组输入特征值对应的标签值。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，通过上述处理过程，可以基于第一分类任务和与其相关的其它分类任务的训练样本，共同训练，得到第一分类任务的数学模型，这样可以有效提高训练样本的数量，从而，提高建模的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的建立数学模型的方法流程图；

图2是本发明实施例提供的建立数学模型的方法流程图；

图3是本发明实施例提供的建立数学模型的方法流程图；

图4是本发明实施例提供的受限玻尔兹曼机的二部图；

图5是本发明实施例提供的建立数学模型的方法流程图；

图6是本发明实施例提供的数据转换示意图；

图7是本发明实施例提供的进行标签估计的方法流程图；

图8是本发明实施例提供的数据转换示意图；

图9是本发明实施例提供的建立数学模型的装置结构示意图；

图10是本发明实施例提供的进行标签估计的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种建立数学模型的方法，如图1所示，该方法的处理流程可以包括如下的步骤：

步骤101，根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型。其中，第二分类任务是与第一分类任务相关的其它分类任务。

步骤102，根据目标特征提取模型，分别对第一分类任务的每个训练样本中的特征值进行处理，得到此每个训练样本对应的提取特征值。

步骤103，将上述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型。

步骤104，将目标分类模型和目标特征提取模型组成第一分类任务的数学模型。

本发明实施例中，通过上述处理过程，可以基于第一分类任务和与其相关的其它分类任务的训练样本，共同训练，得到第一分类任务的数学模型，这样可以有效提高训练样本的数量，从而，提高建模的准确性。

实施例二

本发明实施例提供了一种建立数学模型的方法，如图1所示，该方法的执行主体可以为具有计算处理能力的设备，优选为，专门用于数据建模和标签估计的服务器。

下面将结合具体的处理方式，对图1所示的处理流程进行详细的说明，内容可以如下：

步骤101，根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型。

其中，第一分类任务是需要建立数学模型的分类任务，第一分类任务可以是任意一个分类任务，例如，估计PM2.5值的分类任务。第二分类任务可以是与第一分类任务相关的其它分类任务，第二分类任务与第一分类任务是不同的分类任务，例如，估计PM10（一种反映直径不超过10微米的颗粒物在空气中含量的参数）值的分类任务，或估计二氧化硫浓度值的分类任务。第二分类任务是与第一分类任务具有一定相关度的任务，两个分类任务之间的相关度是指两个分类任务之间特征与特征、特征与标签的相关程度，例如，摄氏温度与华氏温度的相关度较高，性别与年龄的相关度较低等，相同的特征相关度最高。

训练是指基于训练样本对数学模型调整优化，使数学模型能够与训练样本更加匹配的处理过程。训练样本是用于对数学模型进行训练优化的数据。每个分类任务都可以有对应的训练样本，用于训练该分类任务的数学模型。训练样本可以是对相应的特征和标签实际测量得到的数据。

特征提取模型是用于将一个特征集合（下面称第一特征集合）中特征的特征值转化为另一个特征集合（下面称第二特征集合）中特征的特征值的数学模型。此转化过程可以降低特征之间的相关度，即第二特征集合中特征的相关度低于第一特征集合中特征的相关度。这样，可以降低训练样本中相关度较高的特征（如摄氏温度、华氏温度）的特征值在训练过程中的重复作用。第二特征集合中的特征可称作提取特征，此转化得到的提取特征的数目可以根据实际需求预先设置。

特征提取模型可以包括多种具体类型的模型，如神经网络模型、奇异值分解模型、主成分分析模型等，其中，神经网络模型为非线性模型，相应的转化得到的提取特征为非线性特征，主成分分析模型、奇异值分解模型为线性模型，相应的转化得到的提取特征为线性特征。本发明实施例中的特征提取模型优选采用神经网络模型。

初始特征提取模型可以是在进行特征提取模型的训练时初步建立的未经训练优化的特征提取模型。目标特征提取模型可以是在进行特征提取模型的训练时最终得到的经过训练优化的特征提取模型。

具体的，特征提取模型可以由一层或多层子模型组成，各层子模型可以分别进行单独的训练。对于多层的特征提取模型，上述根据第一分类任务和第二分类任务的训练样本中的特征值，进行特征提取模型的训练的处理，可以有多种多样的处理方式，以下列举了两种可行的方式：方式一，在每层的训练过程中，都结合使用多个分类任务的训练样本；方式二，在部分层的训练过程中，结合使用多个分类任务的训练样本，在其它层的训练过程中，只使用第一分类任务的训练样本。本发明实施例中采用方式二进行处理，而且优选的，对于方式二，可以在底部若干层的训练过程中，结合使用多个分类任务的训练样本，在以上各层的训练过程中，只使用第一分类任务的训练样本，相应的处理可以是：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中由底层向上的预设数目层的子模型进行训练，得到目标特征提取模型中由底层向上的预设数目层的子模型；根据目标特征提取模型中由底层向上的预设数目层的子模型，分别对第一分类任务的每个训练样本中的特征值进行处理，得到与此每个训练样本对应的一组共享提取特征值；根据共享提取特征值，对初始特征提取模型中除由底层向上的预设数目层之外的其它层的子模型进行训练，得到目标特征提取模型中除由底层向上的预设数目层之外的其它层的子模型，目标特征提取模型中由底层向上的预设数目层的子模型和目标特征提取模型中除由底层向上的预设数目层之外的其它层的子模型组成目标特征提取模型。

优选的，如图2所示，上述处理过程可以按如下步骤1011-1013的处理方式执行：

步骤1011，根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行训练，得到目标特征提取模型中的底层子模型。

其中，初始特征提取模型和目标特征提取模型的层数相同，初始特征提取模型中每层的子模型，经过训练之后，得到的是目标特征提取模型中相应层的子模型。

具体的，步骤1011的训练过程的具体处理可以如图3所示，包括步骤1011a-1011b：

步骤1011a，基于第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理。

其中，梯度上升法是用于在训练过程中对数学模型的系数进行调整优化的算法。

在实施中，可以先建立初始特征提取模型的底层子模型，以特征提取模型为神经网络模型为例进行说明，可以采用受限玻尔兹曼机作为该底层子模型，受限玻尔兹曼机可以用图4所示的二部图表示，其中，下层和上层之间两两节点间有边连接，各层内两两节点间没有连接，下层包括节点v₀-v₅，可称为可见层，上层包括节点h₀-h₂，可称为隐藏层。可见层的各节点分别与第一分类任务和所有第二分类任务所包括的各特征相对应，例如，第一分类任务为A分类任务，A分类任务包括4个特征，分别与节点v₀、v₁、v₂、v₃相对应，第二分类任务只包括B分类任务，B分类任务包括4个特征，分别与节点v₂、v₃、v₄、v₅相对应，其中节点v₂、v₃对应的特征为两个分类任务共同包括的特征。隐藏层的各节点分别与各提取特征相对应。可见层节点的数目可以为第一分类任务和所有第二分类任务总共包括的特征数目。隐藏层节点的数目（即提取特征的数目）可以根据实际需求任意设置，一般，隐藏层节点的数目（如100）小于可见层节点的数目（如3000）。受限玻尔兹曼机的数学公式可以如下：

$P(h_j=1|v,\mathrm{\θ})=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_i{W}_{\mathrm{ij}})...\left(1\right)$

$\mathrm{\σ}\left(x\right)=\frac{1}{1+\exp (-x)}...\left(2\right)$

相对应的反向公式（即输入隐藏层特征的特征值，可以计算出相应的可见层特征的特征值的公式）可以如下：

$P(v_i=1|h,\mathrm{\θ})=\mathrm{\σ}(a_i+\underset{j}{\mathrm{\Σ}}{h}_j{W}_{\mathrm{ij}})...\left(3\right)$

其中，j的取值范围与隐藏层的节点数对应，i的取值范围由分类任务决定，不同的分类任务i的取值不同，对于上面的例子，j的取值范围为0-2，A分类任务i的取值范围为0-3，B分类任务i的取值范围为2-5，h_j是隐藏层节点的取值，b_j是节点h_j的偏置值（可以认为是节点被激发（取值为1）的能力），W_ij是节点h_j和节点v_i之间边的权值（可以认为是节点v_i对节点h_j的激发（取值为1）能力），θ代表a_i、b_j、W_ij，分别为模型中的各系数，v_i是模型中的变量，是节点v_i对应的特征的特征值，P表示节点h_j被激发（取值为1）的概率，通过P可以确定节点h_j对应的提取特征的特征值（可称作提取特征值），例如，可以设置一个概率阈值（如80%），P大于该概率阈值时则确定相应的提取特征值h_j为1，否则提取特征值h_j为0，或者，可以将P的值作为相应的提取特征值h_j。在初始特征提取模型的底层子模型中，a_i、b_j、W_ij的数值可以是随机生成的，后续的训练过程是对这几个系数的数值进行不断调整。

不同的分类任务根据i的不同取值范围，可以对应出不同形式的公式（1），各分类任务对应的不同形式的公式（1）共同组成特征提取模型的底层子模型，当a_i、b_j、W_ij的数值为随机生成的初始值时，即为初始特征提取模型的底层子模型，训练完成时，即为目标特征提取模型的底层子模型。将某分类任务包含的特征的一组特征值代入v_i，即可以得到一组提取特征值h_j。

在初始特征提取模型的底层子模型建立完成后，即可以通过梯度上升法对该底层子模型中a_i、b_j、W_ij的数值进行调整优化。梯度上升法处理中，可以先根据该底层子模型的公式确定该底层子模型的似然函数，用似然函数的函数式分别对每个a_i、b_j、W_ij求导，分别得到对每个a_i、b_j、W_ij的求导式。可以在第一分类任务和第二分类任务的训练样本中选取训练样本，每选取一个训练样本即根据训练样本中的特征值进行一次梯度上升处理，一次梯度上升的处理可以是：将选取的训练样本的特征值分别代入到上述对每个a_i、b_j、W_ij的求导式进行计算得到每个a_i、b_j、W_ij对应的计算值，再用每个a_i、b_j、W_ij当前的数值减去相应的计算值与预设学习率的乘积，即得到每个a_i、b_j、W_ij进行一次调整后的数值。

在进行梯度上升法处理的过程中，选取训练样本的机制可以根据需求任意设置，例如，可以在第一分类任务和第二分类任务的所有训练样本中随机选择训练样本，或者，优选的，可以按照如下的方式进行选取：按预设的分类任务排序，在第一分类任务和至少一个第二分类任务的训练样本中循环抽取训练样本，基于抽取的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理。

其中，分类任务排序是指第一分类任务和第二分类任务中各分类任务的顺序，可以是指定的任意顺序，例如，第一分类任务为A分类任务，第二分类任务包括B分类任务和C分类任务，分类任务排序可以是A分类任务、B分类任务、C分类任务的顺序，也可以是B分类任务、A分类任务、C分类任务的顺序，等等。

在实施中，每一次循环过程中，可以按照此分类任务排序，分别在每个分类任务的训练样本中各选取一个训练样本（可以随机选取），每选取一个训练样本即根据训练样本中的特征值进行一次梯度上升处理。例如，第一次循环，先在A分类任务的各训练样本中随机选取一个训练样本，根据其中的特征值进行一次梯度上升处理，再在B分类任务的各训练样本中随机选取一个训练样本，根据其中的特征值进行一次梯度上升处理，再在C分类任务的各训练样本中随机选取一个训练样本，根据其中的特征值进行一次梯度上升处理，然后进入第二次循环，重复第一次循环的处理过程，依此类推。

步骤1011b，当梯度上升法的处理过程满足预设的收敛条件时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

其中，预设的收敛条件是用于判定训练是否可以结束的条件，可以根据实际需求任意设置，例如，可以是梯度上升法的处理过程中所有训练样本都已经被选取，或者，梯度上升法的处理过程中使用训练样本的次数达到预设的次数阈值，又或者，处理后的初始特征提取模型中的底层子模型的模型误差小于预设的误差阈值，等等。

优选的，可以将上述后两种收敛条件结合使用，相应的，步骤1011b的具体处理可以如下：当梯度上升法的处理过程中使用训练样本的次数达到预设的次数阈值，或处理后的初始特征提取模型中的底层子模型的模型误差小于预设的误差阈值时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

在实施中，可以每进行预设次数的训练样本选取（即进行预设次数的梯度上升处理），则计算一次模型误差，该预设次数可以任意设置，可以为1，也可以为各分类任务的数目（包括第一分类任务和所有第二分类任务）。如果计算的模型误差小于预设的误差阈值，则可以结束梯度上升处理。如果模型误差持续没有小于误差阈值，但选取训练样本的次数达到了预设的次数阈值，则也可以结束梯度上升处理。结束梯度上升处理时，处理后的初始特征提取模型的底层子模型即为目标特征提取模型的底层子模型。

其中，模型误差可以是基于多个训练样本（可以是随机选取的训练样本，也可以是所有训练样本）计算的误差率的平均值。误差率是将一个训练样本中的特征值输入特征提取模型得到一组提取特征值后，再将提取特征值反向输入特征提取模型得到一组新的特征值，得到的特征值相对于输入的特征值的误差率。

步骤1012，根据目标特征提取模型中的底层子模型，分别对第一分类任务的每个训练样本中的特征值进行处理，得到与每个训练样本对应的一组共享提取特征值。

其中，共享提取特征值是共享提取特征的特征值，共享提取特征可以是多个分类任务的样本共同训练得到的特征提取模型（即上述目标特征提取模型的底层子模型）的提取特征。

在实施中，可以分别将第一分类任务的每个训练样本的特征值输入目标特征提取模型的底层子模型，每输入一个训练样本所包含的特征值，便可以计算得出一组共享提取特征值。

步骤1013，根据上述得到的共享提取特征值，对初始特征提取模型中除底层之外的其它层的子模型进行训练，得到目标特征提取模型中除底层之外的其它层的子模型，目标特征提取模型中的底层子模型和目标特征提取模型中除底层之外的其它层的子模型组成目标特征提取模型。

其中，除底层之外的其它层的层数目可以等于一，即特征提取模型包括两层子模型，或者，除底层之外的其它层的层数目也可以大于一。

在实施中，对于除底层之外的其它层的层数目等于一的情况，该层的子模型可称作顶层子模型，可以基于第一分类任务的训练样本中的特征值经过转化后得到的共享提取特征值对此顶层子模型进行训练，训练过程无需第二分类任务的训练样本参与。该步骤的训练过程与上述底层子模型的训练过程类似，只是该步骤中基于共享提取特征值进行训练，而不是基于第一分类任务和第二分类任务的训练样本中的特征值进行训练，相应处理可以参考1011的内容。对于除底层之外的其它层的层数目大于一的情况，每层的子模型的训练过程都与上述顶层子模型的训练过程相同，这里每层的子模型的训练过程分别是基于第一分类任务的训练样本中的特征值经过以下各层子模型的转换得到的提取特征值。

另外，单层的特征提取模型的训练过程与上述底层子模型的训练过程类似，可以参考相关的内容，在此不再累述。

步骤102，根据目标特征提取模型，分别对第一分类任务的每个训练样本中的特征值进行处理，得到此每个训练样本对应的提取特征值。

其中，提取特征值是提取特征的特征值，提取特征是特征提取模型的输出特征。

在实施中，可以分别将第一分类任务的每个训练样本中的特征值输入目标特征提取模型，每输入一个训练样本包含的特征值，便可以计算得出一组提取特征值。

步骤103，将上述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型。

其中，分类模型是用于根据特征值估计标签值的数学模型。初始分类模型可以是在进行分类模型的训练时初步建立的未经训练优化的分类模型。目标分类模型可以是在进行分类模型的训练时最终得到的经过训练优化的分类模型。

在实施中，与特征提取模型类似，分类模型的训练过程也可以使用梯度上升法。不同之处在于，模型的公式不同，相应的似然函数的公式也不同，而且需要训练优化的系数也不同。梯度上升法的处理过程中，使用的训练样本为上述提取训练样本。文章<An Introduction to Conditional Random Fields>（条件随机场介绍）登载于<Foundations and Trends in Machine Learning4(4)2012>（机器学习基础与动态2012年4月4日刊），记载了条件随机场中模型的公式、似然函数的公式和梯度上升法的公式。

步骤104，将目标分类模型和目标特征提取模型组成第一分类任务的数学模型。

其中，第一分类任务的数学模型是用于第一分类任务的标签估计的数学模型。

当有输入特征值输入第一分类任务的数学模型时，例如，输入一组风速、温度、湿度的数值，可以先将输入特征值输入目标特征提取模型，得到对应的提取特征值，再将提取特征值输入目标分类模型，得到相应的标签值，该标签值即为该数学模型最终的输出值。

本发明实施例还提供了一种基于上述的建立数学模型的方法所建立的数学模型进行标签估计的方法，处理过程可以如下：

步骤一，接收标签估计请求，标签估计请求中携带有至少一组输入特征值。

其中，输入特征值是向第一分类任务的数学模型输入的用于计算对应的标签值的特征值。

在实施中，工作人员可以输入一组或多组输入特征值，例如，在进行PM2.5值的预测时，工作人员输入了两组输入特征值，分别为8点钟时风速、温度、湿度的数值和9点钟时风速、温度、湿度的数值。

步骤二，根据目标特征提取模型，分别对每组输入特征值进行处理，得到每组输入特征值对应的提取特征值。

在实施中，将一组输入特征值输入目标特征提取模型，则可以得出一组提取特征值，每组输入特征值都可以对应的计算出一组提取特征值。

步骤三，根据目标分类模型，对每组输入特征值对应的提取特征值进行处理，得到每组输入特征值对应的标签值。

在实施中，分类模型可以对各组提取特征值分别进行处理，得到每组输入特征值对应的标签值。分类模型也可以对各组提取特征值共同进行处理，得到每组输入特征值对应的标签值，如条件随机场模型在处理多组提取特征值时，各组提取特征值的排列顺序会影响标签值的计算结果，例如，在实际应用中，前两个时刻的PM2.5值在下降，那么后一个时刻PM2.5值也下降的概率较大。在得到相应的标签值之后，例如预测的PM2.5值为22，则可以对该标签值进行输出。

本发明实施例中，通过上述处理过程，可以基于第一分类任务和与其相关的其它分类任务的训练样本，共同训练，得到第一分类任务的数学模型，这样可以有效提高训练样本的数量，从而，可以提高模型准确度以及计算标签值的精度，并减小数学模型出现过拟合问题的概率。

实施例三

下面将结合具体的应用场景，对本发明实施例提供的建立数学模型的方法进行说明。在该应用场景中，第一分类任务为A分类任务，是预测PM2.5值的分类任务，第二分类任务只包括B分类任务，是预测PM10值的分类任务。目标特征提取模型采用神经网络模型，包括两层子模型，分别为底层子模型和顶层子模型。目标分类模型采用条件随机场模型。两个分类任务的神经网络模型使用相同的底层子模型，称为共享底层子模型；两个分类任务的神经网络模型分别使用各自独立的顶层子模型，分别称为第一顶层子模型和第二顶层子模型；两个分类任务分别使用各自的条件随机场模型，分别称为第一条件随机场模型和第二条件随机场模型。

两个分类任务的数学模型的建立过程可以如图5所示，包括如下步骤。图6为此过程中的数据转换示意图。

步骤501，基于A分类任务和B分类任务的训练样本中的特征值进行训练过程，得到共享底层子模型。

步骤502，根据共享底层子模型，分别对A分类任务的训练样本中的特征值和B分类任务的训练样本中的特征值进行处理，得到A分类任务的共享提取特征值和B分类任务的共享提取特征值。

步骤503，基于A分类任务的共享提取特征值进行训练过程，得到第一顶层子模型；基于B分类任务的共享提取特征值进行训练过程，得到第二顶层子模型。

步骤504，根据第一顶层子模型，对A分类任务的共享提取特征值进行处理，得到A分类任务的独立提取特征值；根据第二顶层子模型，对B分类任务的共享提取特征值进行处理，得到B分类任务的独立提取特征值。

其中，独立提取特征值是由分类任务单独拥有的子模型处理得到的提取特征值。

步骤505，基于A分类任务的独立提取特征值和对应的训练样本中的标签值进行训练过程，得到第一条件随机场模型；基于B分类任务的独立提取特征值和对应的训练样本中的标签值进行训练过程，得到第二条件随机场模型。

步骤506，将共享底层子模型、第一顶层子模型和第一条件随机场模型组成A分类任务的数学模型；将共享底层子模型、第二顶层子模型和第二条件随机场模型组成B分类任务的数学模型。

上述各步骤的具体处理过程可以参见实施例二的相关内容。

如图7所示，是基于A分类任务的数学模型进行PM2.5值预测的处理过程，可以包括如下步骤。基于B分类任务的数学模型进行PM10值预测的处理过程与之类似，在此不再累述。图8为此过程中的数据转换示意图。

步骤701，根据共享底层子模型，对A分类任务的输入特征值进行处理，得到输入特征值对应的共享提取特征值。

步骤702，根据第一顶层子模型，对输入特征值对应的共享提取特征值进行处理，得到输入特征值对应的独立提取特征值。

步骤703，根据第一条件随机场模型，对输入特征值对应的独立提取特征值进行处理，得到预测的PM2.5值。

上述各步骤的具体处理过程可以参见实施例二的相关内容。

本发明实施例中，通过上述处理过程，可以基于第一分类任务和与其相关的其它分类任务的训练样本，共同训练，得到第一分类任务的数学模型，这样可以有效提高训练样本的数量，从而，提高模型的准确度。

实施例四

基于相同的技术构思，本发明实施例还提供了一种建立数学模型的装置，如图9所示，所述装置包括：

第一训练模块910，用于根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，所述第二分类任务是与所述第一分类任务相关的其它分类任务；

处理模块920，用于根据所述目标特征提取模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；

第二训练模块930，用于将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；并将所述目标分类模型和所述目标特征提取模型组成所述第一分类任务的数学模型。

优选的，所述第一训练模块910，用于：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中由底层向上的预设数目层的子模型进行训练，得到目标特征提取模型中由底层向上的预设数目层的子模型；

根据所述目标特征提取模型中由底层向上的预设数目层的子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型，所述目标特征提取模型中由底层向上的预设数目层的子模型和所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型组成所述目标特征提取模型。

优选的，所述第一训练模块910，用于：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行训练，得到目标特征提取模型中的底层子模型；

根据所述目标特征提取模型中的底层子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除底层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除底层之外的其它层的子模型，所述目标特征提取模型中的底层子模型和所述目标特征提取模型中除底层之外的其它层的子模型组成所述目标特征提取模型。

优选的，所述第一训练模块910，用于：

基于第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理；

当所述梯度上升法的处理过程满足预设的收敛条件时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

优选的，所述第一训练模块910，用于：

按预设的分类任务排序，在第一分类任务和至少一个第二分类任务的训练样本中循环抽取训练样本，基于抽取的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理。

优选的，所述第一训练模块910，用于：

当梯度上升法的处理过程中使用训练样本的次数达到预设的次数阈值，或处理后的初始特征提取模型中的底层子模型的模型误差小于预设的误差阈值时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

基于相同的技术构思，本发明实施例还提供了一种基于如上所述的建立数学模型的装置所建立的数学模型进行标签估计的装置，如图10所示，所述装置包括：

接收模块1010，用于接收标签估计请求，所述标签估计请求中携带有至少一组输入特征值；

提取模块1020，用于根据所述目标特征提取模型，分别对每组输入特征值进行处理，得到所述每组输入特征值对应的提取特征值；

估计模块1030，用于根据所述目标分类模型，对所述每组输入特征值对应的提取特征值进行处理，得到所述每组输入特征值对应的标签值。

本发明实施例中，通过上述处理过程，可以基于第一分类任务和与其相关的其它分类任务的训练样本，共同训练，得到第一分类任务的数学模型，这样可以有效提高训练样本的数量，从而，提高模型的准确度。

需要说明的是：上述实施例提供的建立数学模型的装置在建立数学模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的建立数学模型的装置与建立数学模型的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种建立数学模型的方法，其特征在于，所述方法包括：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，所述第二分类任务是与所述第一分类任务相关的其它分类任务；

根据所述目标特征提取模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；

将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；

将所述目标分类模型和所述目标特征提取模型组成所述第一分类任务的数学模型。

2.根据权利要求1所述的方法，其特征在于，所述根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型，包括：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中由底层向上的预设数目层的子模型进行训练，得到目标特征提取模型中由底层向上的预设数目层的子模型；

根据所述目标特征提取模型中由底层向上的预设数目层的子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型，所述目标特征提取模型中由底层向上的预设数目层的子模型和所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型组成所述目标特征提取模型。

3.根据权利要求1所述的方法，其特征在于，所述根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型，包括：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行训练，得到目标特征提取模型中的底层子模型；

根据所述目标特征提取模型中的底层子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除底层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除底层之外的其它层的子模型，所述目标特征提取模型中的底层子模型和所述目标特征提取模型中除底层之外的其它层的子模型组成所述目标特征提取模型。

4.根据权利要求3所述的方法，其特征在于，所述根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行训练，得到目标特征提取模型中的底层子模型，包括：

基于第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理；

当所述梯度上升法的处理过程满足预设的收敛条件时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

5.根据权利要求4所述的方法，其特征在于，所述基于第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理，包括：

按预设的分类任务排序，在第一分类任务和至少一个第二分类任务的训练样本中循环抽取训练样本，基于抽取的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理。

6.根据权利要求4所述的方法，其特征在于，所述当所述梯度上升法的处理过程满足预设的收敛条件时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型，包括：

当梯度上升法的处理过程中使用训练样本的次数达到预设的次数阈值，或处理后的初始特征提取模型中的底层子模型的模型误差小于预设的误差阈值时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

7.一种基于权利要求1-6所述的建立数学模型的方法所建立的数学模型进行标签估计的方法，其特征在于，所述方法包括：

接收标签估计请求，所述标签估计请求中携带有至少一组输入特征值；

根据所述目标特征提取模型，分别对每组输入特征值进行处理，得到所述每组输入特征值对应的提取特征值；

根据所述目标分类模型，对所述每组输入特征值对应的提取特征值进行处理，得到所述每组输入特征值对应的标签值。

8.一种建立数学模型的装置，其特征在于，所述装置包括：

第一训练模块，用于根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型进行训练，得到目标特征提取模型；其中，所述第二分类任务是与所述第一分类任务相关的其它分类任务；

处理模块，用于根据所述目标特征提取模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到所述每个训练样本对应的提取特征值；

第二训练模块，用于将所述每个训练样本对应的提取特征值和标签值组成提取训练样本，对初始分类模型进行训练，得到目标分类模型；并将所述目标分类模型和所述目标特征提取模型组成所述第一分类任务的数学模型。

9.根据权利要求8所述的装置，其特征在于，所述第一训练模块，用于：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中由底层向上的预设数目层的子模型进行训练，得到目标特征提取模型中由底层向上的预设数目层的子模型；

根据所述目标特征提取模型中由底层向上的预设数目层的子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型，所述目标特征提取模型中由底层向上的预设数目层的子模型和所述目标特征提取模型中除所述由底层向上的预设数目层之外的其它层的子模型组成所述目标特征提取模型。

10.根据权利要求8所述的装置，其特征在于，所述第一训练模块，用于：

根据第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行训练，得到目标特征提取模型中的底层子模型；

根据所述目标特征提取模型中的底层子模型，分别对所述第一分类任务的每个训练样本中的特征值进行处理，得到与所述每个训练样本对应的一组共享提取特征值；

根据所述共享提取特征值，对所述初始特征提取模型中除底层之外的其它层的子模型进行训练，得到所述目标特征提取模型中除底层之外的其它层的子模型，所述目标特征提取模型中的底层子模型和所述目标特征提取模型中除底层之外的其它层的子模型组成所述目标特征提取模型。

11.根据权利要求10所述的装置，其特征在于，所述第一训练模块，用于：

基于第一分类任务的训练样本中的特征值和至少一个第二分类任务的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理；

当所述梯度上升法的处理过程满足预设的收敛条件时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

12.根据权利要求11所述的装置，其特征在于，所述第一训练模块，用于：

按预设的分类任务排序，在第一分类任务和至少一个第二分类任务的训练样本中循环抽取训练样本，基于抽取的训练样本中的特征值，对初始特征提取模型中的底层子模型进行梯度上升法处理。

13.根据权利要求11所述的装置，其特征在于，所述第一训练模块，用于：

当梯度上升法的处理过程中使用训练样本的次数达到预设的次数阈值，或处理后的初始特征提取模型中的底层子模型的模型误差小于预设的误差阈值时，确定处理后的初始特征提取模型中的底层子模型为目标特征提取模型中的底层子模型。

14.一种基于权利要求8-13所述的建立数学模型的装置所建立的数学模型进行标签估计的装置，其特征在于，所述装置包括：

接收模块，用于接收标签估计请求，所述标签估计请求中携带有至少一组输入特征值；

提取模块，用于根据所述目标特征提取模型，分别对每组输入特征值进行处理，得到所述每组输入特征值对应的提取特征值；

估计模块，用于根据所述目标分类模型，对所述每组输入特征值对应的提取特征值进行处理，得到所述每组输入特征值对应的标签值。