CN112149700A - 特征漂移幅度的识别方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供一种特征漂移幅度的识别方法、装置、设备和存储介质，该方法中，设备按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本，根据极端梯度提升模型对每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标，根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度，基于模型对特征漂移的幅度进行识别，简单易用，且准确度较高。

Description

特征漂移幅度的识别方法、装置、设备和存储介质

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种特征漂移幅度的识别 方法、装置、设备和存储介质。

背景技术

机器学习可以用于多种场景，比如目前互联网中的推荐系统，搜索系统 等。机器学习过程中需要使用到机器学习模型，而为了训练到更准确地模型， 需要对采集得到的数据中的特征进行各种指标的识别。特征漂移是指特征随 着时间而变化，目前常用的技术方案中，对特征漂移的识别方式主要是基于 分布的方式进行检测，人工的对采集的各种类型的特征进行处理，根据经验 获得一些指标来实现漂移的检测。

然而，由于数据的场景的复杂性，通过人工经验对数据进行分析识别特 征漂移不仅耗时交大，而且准确度不高。

发明内容

本申请实施例提供一种特征漂移幅度的识别方法、装置、设备和存储 介质，以解决由于数据的场景的复杂性，通过人工经验对数据进行分析识别 特征漂移不仅耗时交大，而且准确度不高的问题。

本申请第一方面提供一种特征漂移幅度的识别方法，包括：

按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样 本；

根据极端梯度提升(eXtreme Gradient Boosting，xgboost)模型对每个子 数据样本进行训练，得到每个特征在每个时间段中的重要性指标；

根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度。

在一种具体实现方式中，所述根据每个特征在不同时间段中的重要性指 标，获取所述特征的漂移幅度，包括：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化 的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

在一种具体实现方式中，所述按照时间序列，将预先获取到的数据样本 进行划分，得到多个子数据样本之前，所述方法还包括：

采集获取所述数据样本，所述数据样本中包括至少一个特征，以及每个 特征的时间信息。

在一种具体实现方式中，所述按照时间序列，将预先获取到的数据样 本进行划分，得到多个子数据样本，包括：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数 据样本进行划分，得到所述多个子数据样本。

本申请第二方面提供一种特征漂移幅度的识别装置，包括：

划分模块，用于按照时间序列，将预先获取到的数据样本进行划分，得 到多个子数据样本；

处理模块，用于根据极端梯度提升模型对每个子数据样本进行训练，得 到每个特征在每个时间段中的重要性指标；

获取模块，用于根据每个特征在不同时间段中的重要性指标，获取所述 特征的漂移幅度。

可选的，所述获取模块具体用于：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化 的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

可选的，所述装置还包括：

采集模块，用于采集获取所述数据样本，所述数据样本中包括至少一个 特征，以及每个特征的时间信息。

可选的，所述划分模块具体用于：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数 据样本进行划分，得到所述多个子数据样本。

本申请第三方面提供一种电子设备，包括：处理器、存储器以及计算机 程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程 序实现第一方面任一项提供的特征漂移幅度的识别方法。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介 质存储有计算机程序，所述计算机程序用于实现第一方面任一项提供的特征 漂移幅度的识别方法。

本申请实施例提供的特征漂移幅度的识别方法、装置、设备和存储介质， 设备按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样 本，根据xgboost模型对每个子数据样本进行训练，得到每个特征在每个时间 段中的重要性指标，根据每个特征在不同时间段中的重要性指标，获取特征 的漂移幅度，基于模型对特征漂移的幅度进行识别，简单易用，且准确度较 高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的特征漂移幅度的识别方法实施例一的流程图；

图2为本申请提供的特征漂移幅度的识别方法实施例二的流程图；

图3为本申请提供的特征漂移幅度的识别装置实施例一的结构示意图；

图4为本申请提供的特征漂移幅度的识别装置实施例二的结构示意图；

图5为本申请提供的电子设备实体的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申 请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其它实施例，都属于本申请保护的范围。

特征漂移指的是特征随着时间而变化，目前检测特征漂移的主要方案 是通过人工对采集的各种类型的特征进行识别处理，然后通过分布的方式 进行检测，即根据经验获得一些指标来实现漂移的检测，然而，在大数据 分析过程中，数据的场景复杂，数据量较大，通过人工经验对数据进行分 析识别特征漂移不仅耗时交大，而且准确度不高。

针对上述问题，本申请提供一种特征漂移幅度的识别方法，该方案通过 对获取到的数据的样本按照时间进行划分，通过极端梯度提升模型进行训练 识别，得到每个类型的特征的漂移幅度，下面通过几个具体的实施例对该方 案进行详细描述。

图1为本申请提供的特征漂移幅度的识别方法实施例一的流程图，如图 1所示，该特征漂移幅度的识别方法可以应用在服务器、云服务器、电脑等 对数据进行分析处理的电子设备中，具体可以包括以下步骤：

S101：按照时间序列，将预先获取到的数据样本进行划分，得到多个子 数据样本。

在本步骤中，在对数据进行分析处理，或者进行模型训练的过程中，首 先需要采集大量的数据样本，根据需求采集至少一个类型的特征，在采集特 征数据的时，需要获取每个特征值对应的时间信息，即采集到的数据样本中 包含多个类型的特征数据，以及每个特征数据对应的时间信息。

在获取到数据样本之后，按照每个特征数据的时间信息，按照一定的时 间顺序以及间隔将该数据样本进行划分，也就是按照一定的时间序列将数据 样本分割成为多个时间段对应的子数据样本，每个子数据样本中包括多个类 型的特征数据。

S102：根据极端梯度提升(eXtreme Gradient Boosting，xgboost)模型对 每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标。

xgboost是boosting算法的其中一种。boosting算法的思想是将许多弱分 类器集成在一起形成一个强分类器。因为xgboost是一种提升树模型，所以它 是将许多树模型集成在一起，形成一个很强的分类器。

xgboost算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树， 每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当训练 完成得到k棵树，要预测一个样本的分数，就是根据这个样本的特征，在每 棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只 需要将每棵树对应的分数加起来就是该样本的预测值。

在本步骤中，电子设备在将数据样本按照时间序列划分为多个子数据样 本之后，针对每个子数据样本，可以采用该xgboost模型对其进行训练，能够 得到该子数据样本中的每个类型特征的重要性指标，遍历每个子数据样本， 则能够得到每个类型的特征在每个时间段中的重要性指标。

S103：根据每个特征在不同时间段中的重要性指标，获取特征的漂移幅 度。

在本步骤中，根据上一步获取到的每个类型的特征在不同时间段的重要 性指标，能够获取到每个类型的特征随着时间推进时候特征的变化的偏差， 然后确定每个类型的特征的漂移幅度。

在该步骤的一种具体实现中，电子设备可以根据每个特征在不同时间段 中的重要性指标，获取每个特征随时间变化的偏差，然后对每个特征的偏差 进行排序，得到每个特征的漂移幅度。

本实施例提供的特征漂移幅度的识别方法，电子设备按照时间序列，将 预先获取到的数据样本进行划分，得到多个子数据样本，根据xgboost模型对 每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标，根 据每个特征在不同时间段中的重要性指标，获取特征的漂移幅度，基于模型 对特征漂移的幅度进行识别，简单易用，且准确度较高。

图2为本申请提供的特征漂移幅度的识别方法实施例二的流程图，如图 2所示，在上述实施例的基础上，该特征漂移幅度的识别方法的一种具体实 现方案中，包括以下步骤：

在前述步骤S101之前，该方案还包括：

S104：采集获取数据样本，所述数据样本中包括至少一个特征，以及每 个特征的时间信息。

在本步骤中，对于需要进行分析处理的特征，实时获取按照一定的周期 进行采集，采集过程中在获取各个类型的特征数据的同时，需要记录每次获 取特征数据的时间信息，例如：对用户的特征数据进行采集，采集每个用户 的性别，年龄，收入等特征，举例来说，在每次采集用户的收入的同时间， 可以记录采集时间例如20**年6月19日，更详细一点可以记录到详细的时 刻，例如16时56分。

在特征的采集过程中，关于特征的时间信息具体需要记录到什么程度可 以根据实际情况进行设置。

通过上述方式采集数据样本之后，按照每个特征数据对应的时间信息进 行划分，具体如下。

相应的，步骤S101中按照时间序列，将预先获取到的数据样本进行划分， 得到多个子数据样本可以具体实现为：

S1011：根据每个特征的时间信息，按照预设时间间隔按照时间序列 将数据样本进行划分，得到多个子数据样本。

在本步骤中，在获取到数据样本之后，按照每个特征数据的时间信息， 按照一定的时间顺序以及一定的时间间隔将该数据样本进行划分，分割成为 多个时间段对应的子数据样本，每个子数据样本中包括多个类型的特征数据。

具体的，以用户的特征数据为例：可以按照一年，一个月或者一周等时 间间隔，将采集到的所有的用户特征数据进行划分，例如划分成为：2011年 对应的一个子数据样本，2012年对应的一个子样本集合……2019年对应的一 个子样本集合；其中每个子样本集合中包括用户在这一年的性别，身高，体 重，收入等类型的特征。

在该方案的具体实现中，建议以一个评估周期作为一个时间间隔进行划 分。

后续的步骤跟前述实施例一中一致，具体实现如下：

S102：根据xgboost模型对每个子数据样本进行训练，得到每个特征在 每个时间段中的重要性指标。

在本步骤中，电子设备在将数据样本按照时间序列划分为多个子数据样 本之后，针对每个子数据样本，可以采用该xgboost模型对其进行训练，能够 得到该子数据样本中的每个类型特征的重要性指标。

遍历每个子数据样本，则能够得到每个类型的特征在每个时间段中的重 要性指标。

可以理解的是，数据特征的重要性指标的值越高，表明该数据特征越重 要，随着重要性得分的降低，重要程度逐渐减小。

示例性的，除了可以采用xgboost模型，还可以采用是采用与本实施例的 业务数据相同类型的数据训练得到的重要性分析模型，因而，在本实施例中， 针对每个子数据样本，可以将获取到的特征数据的输入到该重要性分析模型 中，利用该重要性分析模型对特征数据的各数据特征进行分析处理，得到重 要性指标。

这里的重要性指标可以是每个特征的占比，特征的均值、特征的方差值、 或者特征的均方差，也可以是其他指标，具体本方案不做限制。

S103：根据每个特征在不同时间段中的重要性指标，获取特征的漂移幅 度。

在本步骤中，根据上一步获取到的每个类型的特征在不同时间段的重要 性指标，能够获取到每个类型的特征随着时间推进时候特征的变化的偏差， 然后确定每个类型的特征的漂移幅度。

具体的，电子设备可以根据每个特征在不同时间段中的重要性指标，获 取每个特征随时间变化的偏差，然后对每个特征的偏差进行排序，得到每个 特征的漂移幅度。

该方案的含义是通过对比每个时间段中每个特征的重要性占比，得到特 征随着时间变化的偏差值，然后按照时间循序或者按照该特征类型的偏差进 行排序之后，可以得到每个类型的特征的漂移幅度。

上述实施例提供的特征漂移幅度的识别方法，是一种基于模型的特征漂 移方法，能够自动的学习到特征的漂移幅度，整个过程中无需人工干预，基 于模型对特征漂移的幅度进行识别，简单易用，且准确度较高。

同时，采用xgboost模型进行子数据样本的训练，能够防止过拟合，目标 函数优化利用了损失函数关于待求函数的二阶导数。同时，该xgboost模型还 支持并行化，虽然树与树之间是串行关系，但是同层级节点可并行。具体的 对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。 训练速度快。

在该方案的处理过程中，由于xgboost模型添加了对稀疏数据的处理，因 此对于一些比较稀疏的特征数据能够进行比较准确的处理，当预测结果已经 很好的时候可以提前停止建树，加快训练速度。同时支持设置样本权重，可 以通过调整权重可以去更加关注一些样本，能够应用在各种技术领域。

图3为本申请提供的特征漂移幅度的识别装置实施例一的结构示意图， 如图3所示，该特征漂移幅度的识别装置10包括：

划分模块11，用于按照时间序列，将预先获取到的数据样本进行划分， 得到多个子数据样本；

处理模块12，用于根据极端梯度提升模型对每个子数据样本进行训练， 得到每个特征在每个时间段中的重要性指标；

获取模块13，用于根据每个特征在不同时间段中的重要性指标，获取所 述特征的漂移幅度。

本实施例提供的特征漂移幅度的识别装置，用于执行前述任一方法实施 例中提供的技术方案，其实现原理和技术效果类似，按照时间序列，将预先 获取到的数据样本进行划分，得到多个子数据样本，根据xgboost模型对每个 子数据样本进行训练，得到每个特征在每个时间段中的重要性指标，根据每 个特征在不同时间段中的重要性指标，获取特征的漂移幅度，基于模型对特 征漂移的幅度进行识别，简单易用，且准确度较高。

在上述实施例的基础上，一种具体的实施方式中，所述获取模块13具体 用于：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化 的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

图4为本申请提供的特征漂移幅度的识别装置实施例二的结构示意图， 如图4所示，在上述实施例的基础上，该特征漂移幅度的识别装置10还包括：

采集模块14，用于采集获取所述数据样本，所述数据样本中包括至少一 个特征，以及每个特征的时间信息。

可选的，所述划分模块11具体用于：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数 据样本进行划分，得到所述多个子数据样本。

上述任一实施例提供的特征漂移幅度的识别装置，用于执行前述方法实 施例中的电子设备侧的技术方案，其实现原理和技术效果类似，在此不再赘 述。

图5为本申请提供的电子设备实体的结构示意图，如图5所示该电子设备 20，包括：处理器21、存储器22以及计算机程序；所述计算机程序存储在所 述存储器22中，所述处理器21执行所述计算机程序实现前述任一方法实施例 中电子设备侧的特征漂移幅度的识别方法的技术方案。

可选地，存储器22既可以是独立的，也可以跟处理器21集成在一起。

当所述存储器22是独立于处理器21之外的器件时，所述电子设备还可 以包括：

总线23，用于连接所述处理器21以及所述存储器22。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储 有计算机程序，所述计算机程序用于实现前述任一方法实施例中电子设备侧 的特征漂移幅度的识别方法的技术方案。

在上述电子设备的具体实现中，应理解，处理器可以是中央处理单元(英 文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字 信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英 文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可 以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施 例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器 中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可 读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而 前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、 RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetic tape)、软盘(英 文：floppy disk)、光盘(英文：optical disc)及其任意组合。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对 其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种特征漂移幅度的识别方法，其特征在于，包括：

按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本；

根据极端梯度提升模型对每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标；

根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度。

2.根据权利要求1所述的方法，其特征在于，所述根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度，包括：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

3.根据权利要求1或2所述的方法，其特征在于，所述按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本之前，所述方法还包括：

采集获取所述数据样本，所述数据样本中包括至少一个特征，以及每个特征的时间信息。

4.根据权利要求3所述的方法，其特征在于，所述按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本，包括：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数据样本进行划分，得到所述多个子数据样本。

5.一种特征漂移幅度的识别装置，其特征在于，包括：

划分模块，用于按照时间序列，将预先获取到的数据样本进行划分，得到多个子数据样本；

处理模块，用于根据极端梯度提升模型对每个子数据样本进行训练，得到每个特征在每个时间段中的重要性指标；

获取模块，用于根据每个特征在不同时间段中的重要性指标，获取所述特征的漂移幅度。

6.根据权利要求5所述的装置，其特征在于，所述获取模块具体用于：

根据每个特征在不同时间段中的重要性指标，获取每个特征随时间变化的偏差；

对每个特征的偏差进行排序，得到每个特征的漂移幅度。

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

采集模块，用于采集获取所述数据样本，所述数据样本中包括至少一个特征，以及每个特征的时间信息。

8.根据权利要求7所述的装置，其特征在于，所述划分模块具体用于：

根据每个特征的时间信息，按照预设时间间隔按照时间序列将所述数据样本进行划分，得到所述多个子数据样本。

9.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现权利要求1至4任一项所述的特征漂移幅度的识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求1至4任一项所述的特征漂移幅度的识别方法。

Images