CN111967541B - 基于多平台样本的数据分类方法及装置 - Google Patents

Abstract

本发明提供的基于多平台样本的数据分类方法及装置，没有对合并样本进行聚类运算，能够极大减少对计算机运行内存的消耗，减少多平台样本分类所需的运行时。进一步地，由于以模型预估概率计算的相关系数矩阵为数据基础，以平台为最小聚类单位，使得样本分类能够结合平台与特征两个维度，使多平台样本的分类不会丧失平台自身特点，也不会得出非常混乱的结果。此外，由于本技术以平台为最小聚类单位，即使平台数过多导致计算机无法承担数据合并的内存压力，可以通过对各个平台抽取相同比例的样本组合为合并数据用以分析模型相关性。仍然能够达到对多平台样本进行准确分类的目的。

Description

基于多平台样本的数据分类方法及装置

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于多平台样本的数据分类方法及装置。

背景技术

目前对多平台样本分类的技术主要以聚类算法为主，具体操作为：对多平台样本直接混合为一个大样本，利用聚类算法对合并后的全量样本直接聚类成几个类别。

现存技术存在以下问题：

（1）首先，对内存与计算资源消耗巨大。尤其是当平台数较多或者样本量较大时，现有技术在对多平台样本合并后会得到一个数据量巨大的文件，在后续数据分析与聚类运算时，会占用大量计算机运行时间与空间；

（2）其次，现有技术完全以样本特征作为聚类分析的唯一标准，对样本来源不做区分，导致分类后的样本群丧失了平台本身的特点，导致多平台样本的分类较为混乱。

发明内容

为了改善上述问题，本发明提供了一种基于多平台样本的数据分类方法及装置。

基于本发明实施例的第一方面，提供一种基于多平台样本的数据分类方法，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述方法包括：

采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

可选地，将每个业务平台的N个样本数据合并为一个待处理数据文件，包括：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数。

可选地，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，包括：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1。

可选地，采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，包括：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数。

可选地，将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签，包括：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

基于本发明实施例的第二方面，提供一种基于多平台样本的数据分类装置，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述装置包括：

数据采集模块，用于采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

模型建立模块，用于以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

数据处理模块，用于将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

矩阵计算模块，用于计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

样本聚类模块，用于采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

可选地，数据处理模块，用于：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数。

可选地，数据处理模块，用于：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1。

可选地，样本聚类模块，用于：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数。

可选地，样本聚类模块，用于：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

本发明实施例所提供的基于多平台样本的数据分类方法及装置：

首先采集每个业务平台的N个样本数，其次以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签建立每个业务平台对应的机器学习模型，然后将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，进而计算所述目标数据文件中的预估概率值对应的相关性系数得到相关性系数矩阵，最后采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

如此，没有对合并样本进行聚类运算，能够极大减少对计算机运行内存的消耗，减少多平台样本分类所需的运行时。进一步地，由于以模型预估概率计算的相关系数矩阵为数据基础，以平台为最小聚类单位，使得样本分类能够结合平台与特征两个维度，使多平台样本的分类不会丧失平台自身特点，也不会得出非常混乱的结果。此外，由于本技术以平台为最小聚类单位，即使平台数过多导致计算机无法承担数据合并的内存压力，可以通过对各个平台抽取相同比例的样本组合为合并数据用以分析模型相关性。仍然能够达到对多平台样本进行准确分类的目的。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的一种基于多平台样本的数据分类方法的流程图。

图2为本发明实施例所提供的一种基于多平台样本的数据分类装置的功能模块框图。

图3为本发明实施例所提供的一种数据分类服务器的硬件结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

发明人经调查和研究发现，现有技术主要包括以下四个步骤。

步骤一，输入数据。根据终端应用软件或网页获取的N个平台的用户数据并输入到模型环境。

步骤二，数据合并。将这N个平台的用户数据纵向合并为一个数据。纵向合并的例子：第一个数据为m1*n，第二个数据为m2*n，纵向合并后的数据为（m1+m2）*n。

步骤三，数据聚类。对步骤二中合并的数据聚类为3类并对每个样本增加一个类别标签（0,1,2）。

步骤四：样本类别输出。按照类别标签分别输出多平台分类后的样本。即类别标签为0的样本集、类别标签为1的样本集、类别标签为2的样本集。

进一步地，发明人还发现现有技术存在以下技术问题：

技术问题一：由于现有技术是对多平台样本直接混合为一个大样本，这导致最终的分类只能完全以样本特征作为聚类分析的唯一标准，对样本来源不做出区分，导致分类后的样本群丧失了平台本身的特点，导致多平台样本的分类较为混乱。

技术问题二：现有技术对合并后的样本直接利用聚类算法（比如kmeans算法），这会对内存与计算资源消耗巨大。尤其是当平台数较多或者样本量较大时，现有技术在对多平台样本合并后会得到一个数据量巨大的文件，在后续数据分析与聚类运算时，会占用大量计算机运行时间与空间。

为改善上述目的，请首先参阅图1，提供了基于多平台样本的数据分类方法，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述方法包括以下步骤S110-步骤S150。

步骤S110，采集每个业务平台的N个样本数据。

其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数。以互联网金融领域为例，自变量包括合规的互联网金融用户还款意愿、还款能力类；还款意愿类信息主要判断欺诈风险，如：身份造假等；还款能力类信息如：个人资质、消费行为，交易行为，出行行为，多重申请等。因变量则为还款行为类信息，比如第1期逾期天数是否超过10天，若超过则因变量为1，否则，因变量为0。

步骤S120，以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型。

其中，所述机器学习模型为分类器；其中多平台样本的特征包括互联网金融用户的还款意愿类特征，比如是否身份造假、是否为高逾期风险客群，还包括还款能力类特征，比如水平水平、消费行为、出行行为等特征，因变量为还款行为类特征，本发明中以第1期逾期天数是否超过10天作为因变量。另外，由于本发明对于多平台样本的分类主要是基于特征与平台维度，只要保证每一个样本建模时参数一致，至于采用何种参数都不会影响特征本身的属性与样本之间的相关性，因此本发明以XGBoost算法的默认参数作为分类器。具体操作为：以第一个样本为建模样本，以M个特征为模型特征、以1个因变量为分类器标签，训练分类器；依次类推，分别建立X个模型，并分别保存这X个模型。

步骤S130，将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件。

步骤S140，计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵。

例如，具体计算方法为利用python中的corr（‘spearman’）函数（其它可以计算该系数矩阵的软件或函数均可）。

步骤S150，采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

可以理解，基于上述步骤S110-步骤S150，首先采集每个业务平台的N个样本数，其次以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签建立每个业务平台对应的机器学习模型，然后将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，进而计算所述目标数据文件中的预估概率值对应的相关性系数得到相关性系数矩阵，最后采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

如此，没有对合并样本进行聚类运算，能够极大减少对计算机运行内存的消耗，减少多平台样本分类所需的运行时。进一步地，由于以模型预估概率计算的相关系数矩阵为数据基础，以平台为最小聚类单位，使得样本分类能够结合平台与特征两个维度，使多平台样本的分类不会丧失平台自身特点，也不会得出非常混乱的结果。此外，由于本技术以平台为最小聚类单位，即使平台数过多导致计算机无法承担数据合并的内存压力，可以通过对各个平台抽取相同比例的样本组合为合并数据用以分析模型相关性。仍然能够达到对多平台样本进行准确分类的目的。

在一种可以替换的实施例中，步骤S130所描述的将每个业务平台的N个样本数据合并为一个待处理数据文件，具体包括以下步骤：将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数。进一步地，步骤S130所描述的采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，具体可以包括以下步骤所描述的内容：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1。

在上述基础上，删除各个样本的主键列得到X*N的目标数据文件列表，该目标数据文件列表中只包含各个分类器对样本的预估概率值。如果平台数量非常大导致合并多平台数据后即使只是用构建的N个分类器依次预估概率，对计算机的运行时间与空间都是巨大压力的话，可以对每个平台随机抽取相同比例的样本组合成合并数据（比如对各个平台抽取该平台样本量的10%），这是已有技术仅以样本为最小聚类单位时难以实现的。

在一个具体的实施方式中，步骤S150所描述的采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，具体包括：以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数。

进一步地，为了确保对聚类样本群进行聚类的准确性，将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签，具体可以包括以下步骤S151-步骤S154所描述的内容。

步骤S151，获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据。

步骤S152，在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的的样本特征数据划分所述可追溯性特征标签下。

步骤S153，在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤。

步骤S154，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

如此，通过执行上述步骤S151-步骤S154，能够确保对聚类样本群进行聚类的准确性。

基于上述同样的发明构思，请结合参阅图2，提供了一种基于多平台样本的数据分类装置200，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述装置包括：

数据采集模块210，用于采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

模型建立模块220，用于以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

数据处理模块230，用于将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

矩阵计算模块240，用于计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

样本聚类模块250，用于采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

可选地，数据处理模块230，用于：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数。

可选地，数据处理模块230，用于：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1。

可选地，样本聚类模块250，用于：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数。

可选地，样本聚类模块250，用于：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

在上述基础上，请结合参阅图3，提供了一种数据分类服务器300的硬件结构示意图，所述数据分类服务器300包括互相之间通信的处理器310和存储器320，所述处理器310通过从所述存储器320中调取计算机程序，并运行所述计算机程序实现如图1所示的方法。

综上，在应用上述方法、装置以及数据分类服务器对应的技术方案时，首先采集每个业务平台的N个样本数，其次以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签建立每个业务平台对应的机器学习模型，然后将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，进而计算所述目标数据文件中的预估概率值对应的相关性系数得到相关性系数矩阵，最后采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配。

如此，没有对合并样本进行聚类运算，能够极大减少对计算机运行内存的消耗，减少多平台样本分类所需的运行时。进一步地，由于以模型预估概率计算的相关系数矩阵为数据基础，以平台为最小聚类单位，使得样本分类能够结合平台与特征两个维度，使多平台样本的分类不会丧失平台自身特点，也不会得出非常混乱的结果。此外，由于本技术以平台为最小聚类单位，即使平台数过多导致计算机无法承担数据合并的内存压力，可以通过对各个平台抽取相同比例的样本组合为合并数据用以分析模型相关性。仍然能够达到对多平台样本进行准确分类的目的。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (2)

1.一种基于多平台样本的数据分类方法，其特征在于，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述方法包括：

采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配；

其中，将每个业务平台的N个样本数据合并为一个待处理数据文件，包括：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数；

其中，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件，包括：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1；

其中，采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，包括：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数；

其中，将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签，包括：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

2.一种基于多平台样本的数据分类装置，其特征在于，应用于数据分类服务器，所述数据分类服务器与X个业务平台通信连接，X为正整数，所述装置包括：

数据采集模块，用于采集每个业务平台的N个样本数据；其中，每个样本数据包括M个特征自变量和1个特征因变量，N和M均为正整数；

模型建立模块，用于以每个业务平台的N个样本数据中的每个样本数据中的M个特征自变量为模型特征并以该业务平台的N个样本数据中的每个样本数据中的特征因变量为机器学习模型的类别标签，建立每个业务平台对应的机器学习模型；其中，所述机器学习模型为分类器；

数据处理模块，用于将每个业务平台的N个样本数据合并为一个待处理数据文件，采用已建立的X个机器学习模型对所述待处理数据文件进行处理，得到目标数据文件；其中，所述目标数据文件中包括所述样本数据的预估概率值；

矩阵计算模块，用于计算所述目标数据文件中的预估概率值对应的相关性系数，得到相关性系数矩阵；

样本聚类模块，用于采用预设聚类算法对所述相关性系数矩阵进行聚类，得到聚类样本群以及所述聚类样本群对应的聚类标签，将所述聚类标签分别与每个业务平台的N个样本数据进行一一匹配；

其中，数据处理模块，用于：

将每个业务平台的N个样本数据进行纵向合并，得到X*i的待处理数据文件列表；其中，X表示所述待处理数据文件列表的行数，i=M+1表示所述待处理数据文件列表的列数；

其中，数据处理模块，用于：

将所述待处理数据文件列表中的M个合并特征输入到第一个机器学习模型，使第一个机器学习模型对所述M个合并特征进行预估概率值的计算，以形成X*2的基准数据文件列表；其中，X*2的基准数据文件列表中的第一列为各个样本数据的主键，第二列为第一个机器学习模型的预估概率值；

将所述M个合并特征输入到第二个机器学习模型中，使第二个机器学习模型对所述M个合并特征进行预估概率值的计算得到第二个机器学习模型对应的预估概率值，并将第二个机器学习模型对应的预估概率值添加到X*2的基准数据文件列表中得到X*3的基准数据文件列表；

以此类推，得到X*j的目标数据文件列表；其中，j=N+1；

其中，样本聚类模块，用于：

以所述相关性系数矩阵的每行为一个目标样本，每列为一个待聚类特征，将所述相关性系数矩阵划分为N个待聚类样本；

将所述N个待聚类样本输入到kmeans聚类模型中，得到所述kmeans聚类模型输出的聚类样本群以及所述聚类样本群对应的聚类标签；其中，聚类样本群的数量为设定个数；

其中，样本聚类模块，用于：

获取N个待聚类样本中的当前待聚类样本的样本特征分布队列以及各样本特征数据；

在根据所述样本特征分布队列确定出所述N个待聚类样本中的当前待聚类样本中包含有可追溯性特征标签的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度，确定N个待聚类样本中的当前待聚类样本在非可追溯性特征标签下的各样本特征数据与N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的各样本特征数据之间的数据关联度，并将N个待聚类样本中的当前待聚类样本在所述非可追溯性特征标签下的与在所述可追溯性特征标签下的样本特征数据相关联的样本特征数据划分所述可追溯性特征标签下；

在N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下包含有多个离散样本特征数据的情况下，根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度确定N个待聚类样本中的当前待聚类样本的非可追溯性特征标签下的各离散样本特征数据之间的数据关联度，并根据所述各离散样本特征数据之间的数据关联度对非可追溯性特征标签下的各离散样本特征数据进行过滤；

根据N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据以及N个待聚类样本中的当前待聚类样本在所述可追溯性特征标签下的样本特征数据的数据识别度为上述过滤获得的剩余样本特征数据设置划分标识，并根据所述划分标识将至少部分剩余样本特征数据划分到所述可追溯性特征标签下；获得所述kmeans聚类模型输出的当前待聚类样本以及所述当前待聚类样本对应的聚类标签，以此类推得到N个待聚类样本对应的聚类样本群以及所述聚类样本群对应的聚类标签。

Images