CN111242519B - 用户特征数据生成方法、装置及电子设备 - Google Patents

Abstract

本公开涉及一种用户特征数据生成方法、装置、电子设备及计算机可读介质。该方法包括：获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；基于所述维度参数将所述用户数据中的多个表格进行关联；将关联后的所述用户数据输入所述用户特征合成模型中；通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。本公开能够快速高效的由用户数据中合成具有高信息量的用户特征数据，还能够根据用户设置控制用户特征数据中的数量和种类。

Description

用户特征数据生成方法、装置及电子设备

技术领域

本发明属于数据处理技术领域，具体涉及适用于金融、商业或预测目的的数据处理方法及相关的装置、电子设备。具体而言，本发明提出了一种用户特征数据生成方法、装置、电子设备及计算机可读介质，其应用于依靠金融大数据进行金融风险预测。

背景技术

随着互联网、物联网、传感器等技术的快速发展,在生产和生活中产生了大量的数据,人们希望从这些数据中挖掘到有价值的信息。然而其中很多数据呈现出样本数量庞大、特征维度高的特点,这无疑加大了数据挖掘的难度。针对以上问题,研究者们往往通过特征选择的方法删除数据中无关、冗余的特征信息,从而降低特征维度、噪音干扰、算法复杂度,使模型变得简单且易于理解。特征选择在数据挖掘、人工智能、故障诊断等领域中,已经成为一个研究的热点。传统的特征选择算法存在着不足,或是选择的特征子集在进行分类任务时准确率较低,或是选择的特征子集规模较大。

鉴于金融网络服务的特点是用户质量相对较差，适当的风险管理通过两种基本类型的决策为包容性金融奠定了基础，即是否授予新申请人信贷以及如何调整信贷限制。因此，对于提供金融服务的平台而言，关键挑战之一就是确定违约借款人。在金融服务领域，如何根据所有可用数据来计算描述客户行为的特征，尽可能获取高质量的用户特征数据是影响最终风险管理的重要问题。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种用户特征数据生成方法、装置、电子设备及计算机可读介质，能够快速高效的由用户数据中合成具有高信息量的用户特征数据，还能够根据用户设置控制用户特征数据中的数量和种类。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种用户特征数据生成方法，该方法包括：获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；基于所述维度参数将所述用户数据中的多个表格进行关联；将关联后的所述用户数据输入所述用户特征合成模型中；通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

可选地，还包括：基于所述多个用户特征数据对机器学习模型进行训练生成用户风险分析模型。

可选地，还包括：通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

可选地，所述维度参数包括：主体变量维度、客体维度、时间维度、函数维度、条件维度；基于所述维度参数将所述用户数据中的多个表格进行关联，包括：基于所述维度参数中的主体变量维度将所述用户数据中的多个表格进行关联。

可选地，通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，包括：获取所述用户特征合成模型的初始特征；将所述初始特征作为转换链接的起点；基于关联后的所述用户数据生成转换链接的链接单位；通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据。

可选地，通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据，包括：将所述初始特征作为所述转换链接的父节点；由所述用户数据中确定所述父节点的子节点；通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链；基于所述多个马尔科夫链、所述特征种类参数、所述特征数量参数、强化学习收益评估函数确定所述用户特征数据。

可选地，父节点与其对应的子节点之间的状态更改位数为1。

可选地，通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链，包括：基于搜索策略确定马尔科夫链的父节点和子节点；进行多次搜索生成多个马尔科夫链。

可选地，基于所述马尔科夫链和通过所述特征种类参数、所述特征数量参数、强化学习收益评估函数确定所述用户特征数据，包括：通过所述特征种类参数和所述特征数量参数确定马尔科夫链的最大长度；在用户特征合成模型的计算过程中，当所述马尔科夫链达到最大长度时停止本次搜索；通过多次搜索生成多个初始用户特征数据。

可选地，基于所述马尔科夫链和通过所述特征种类参数、所述特征数量参数、强化学习收益评估函数确定所述用户特征数据，包括：计算所述多个初始用户特征数据的平均信息值；基于所述特征种类参数、所述特征数量参数、平均信息值由所述多个初始用户特征数据中提取所述用户特征数据。

根据本公开的一方面，提出一种用户特征数据生成装置，该装置包括：数据模块，用于获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；参数模块，用于基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数和特征数量参数；关联模块，用于基于所述维度参数将所述用户数据中的多个表格进行关联；输入模块，用于将关联后的所述用户数据输入所述用户特征合成模型中；特征模块，用于通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

可选地，还包括：风险分析模块，用于基于所述多个用户特征数据对机器学习模型进行训练生成用户风险分析模型。

可选地，还包括：特征合成模块，用于通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

可选地，所述维度参数包括：主体变量维度、客体维度、时间维度、函数维度和条件维度；所述关联模块，还用于基于所述维度参数中的主体变量维度将所述用户数据中的多个表格进行关联。

可选地，所述特征模块，包括：初始单元，用于获取所述用户特征合成模型的初始特征；起点单元，用于将所述初始特征作为转换链接的起点；单位单元，用于基于关联后的所述用户数据生成转换链接的链接单位；控制单元，用于通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据。

可选地，所述控制单元，还用于将所述初始特征作为所述转换链接的父节点；由所述用户数据中确定所述父节点的子节点；通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链；基于所述多个马尔科夫链和通过所述特征种类参数、所述特征数量参数、强化学习收益评估函数确定所述用户特征数据。

可选地，父节点与其对应的子节点之间的状态更改位数为1。

可选地，所述控制单元，还用于基于搜索策略确定马尔科夫链的父节点和子节点；进行多次搜索生成多个马尔科夫链。

可选地，所述控制单元，还用于通过所述特征种类参数和所述特征数量参数确定马尔科夫链的最大长度；在用户特征合成模型的计算过程中，当所述马尔科夫链达到最大长度时停止本次搜索；通过多次搜索生成多个初始用户特征数据。

可选地，所述控制单元，还用于计算所述多个初始用户特征数据的平均信息值；基于所述特征种类参数、所述特征数量参数、平均信息值由所述多个初始用户特征数据中提取所述用户特征数据。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的用户特征数据生成方法、装置、电子设备及计算机可读介质，获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；基于所述维度参数将所述用户数据中的多个表格进行关联；将关联后的所述用户数据输入所述用户特征合成模型中；通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据的方式，能够快速高效的由用户数据中合成具有高信息量的用户特征数据，还能够根据用户设置控制用户特征数据中的数量和种类。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种用户特征数据生成方法及装置的系统框图。

图2是根据一示例性实施例示出的一种用户特征数据生成方法及装置的框架图。

图3是根据一示例性实施例示出的一种用户特征数据生成方法的流程图。

图4是根据另一示例性实施例示出的一种用户特征数据生成方法的流程图。

图5A是根据另一示例性实施例示出的一种用户特征数据生成方法的示意图，图5B是该实施例中通过元学习器计算之后获取的建模主体的示意图。

图6是根据另一示例性实施例示出的一种用户特征数据生成方法的示意图。

图7是根据一示例性实施例示出的一种用户特征数据生成装置的框图。

图8是根据另一示例性实施例示出的一种用户特征数据生成装置的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

图10是根据一示例性实施例示出的一种计算机可读介质的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种用户特征数据生成方法及装置的系统框图。

如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如金融服务类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的金融服务类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的用户数据进行分析等处理，并将处理结果（例如用户特征数据）反馈给金融服务网站的管理员。

服务器105可例如获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；服务器105可例如基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；基于所述维度参数将所述用户数据中的多个表格进行关联；服务器105可例如将关联后的所述用户数据输入所述用户特征合成模型中；服务器105可例如通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

服务器105可例如基于所述多个用户特征数据对机器学习模型进行训练生成用户风险分析模型。

服务器105可例如通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

服务器105可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本公开实施例所提供的用户特征数据生成方法可以由服务器105执行，相应地，用户特征数据生成装置可以设置于服务器105中。而提供给用户进行金融服务平台浏览的网页端一般位于终端设备101、102、103中。

图2是根据一示例性实施例示出的一种用户特征数据生成方法及装置的框架图。整个框架如图2所示，其中有2个核心部分，分别是元学习器和搜索策略。

元学习器是经过传统训练的模型，担负着预处理的角色，可以加快计算速度并减少下游搜索策略的搜索空间。在本公开中通过元学习器预先筛选出主体变量，可以在后续的特征推导工作中，将计算转变为获取多个主体变量的最优解的典型的搜索问题。

其中，数据集可由金融服务平台提供，用户行为数据记录了用户与平台之间的交互及其相关属性，如下表所示。事件ID是这些记录的全局唯一索引，但不用于检索。由于拥有数百万的活动用户，因此行为数据量巨大，定位一条特定的线路很难也不明智。“日期时间”列保留此事件发生时的时间戳，即用户采取此操作的时间。“事件类型”存储在事件名称列中，“性别”列代表用户性别。除了这些列，还构建了许多其他元字段，以提供对不同类型的事件和用户的详细描述。原始数据量太大，无法直接使用，通常根据专家领域知识由行和列中的对部分数据进行抽样。

可通过三个主要步骤从关系数据库中完成功能工程，即数据收集，数据转换和功能选择。其主要工作是有效组织关系数据表，然后穷尽潜在特征。可将波动特征分解为5个组成部分，它们是主体，客体，函数，时间和条件，如图3所示，并带有一个实际示例。

主体,是想要描绘的用户或用户的一些基础数据，待分析的维度，由元学习器从行为数据中选择，例如用户ID，身份证归属地，设备号，年龄区间等都可以作为备选主体。

客体，待计算的指标，全部列，是用来描述主体的证据。

时间，回溯时长，根据业务需求指定，例如一小时，一周，半年；

函数，用于汇聚的函数，人工指定，例如计数，求和，均值，方差，最大最小值，中位数；

条件，数据类型为类别型的列，通常可以使用类别列，例如“事件名称等于抽奖”，“应用区域等于北京”或“年龄大于40”，因此非常灵活。

特征推导过程将转换为用相应的枚举选项填充这些特征。这种做法将特征结构，可解释性和计算逻辑结合在一起。由于每个特征可能都有大量的候选者，因此不可能在合理的资源限制下遍历所有候选者。例如，如果每个组件具有10个潜在的枚举选项，则特征总数将为10⁵。因此，认为可以通过给定评估机制的反馈来自适应地调整搜索策略。然后，引入一个带有待分析样本及其标签的训练集，在此基础上，能够通过信息值评估计算出的特征，从而找到更好的特征。该信息值是一种流行的筛选器，用于选择用于二进制分类的预测变量。这样，避免了训练模型并使搜索策略以模型独立的方式进行。

图4是根据一示例性实施例示出的一种用户特征数据生成方法的流程图。用户特征数据生成方法40至少包括步骤S402至S410。

如图4所示，在S402中，获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格。其中，用户数据中的一个表格可存储用户的登陆信息，用户数据中的另一个表格可存储用户的借款信息，再一个表格可存储用户的还款信息等等。

在S404中，基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；可例如，还包括：通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

特征参数中的维度参数代表了该用户特征合成模型的主体变量的数量，具体主体变量的数量多少会影响模型计算的时间。特征种类参数、特征数量参数代表了最终期望得到的用户特征的数量和种类。其中，特征数量为每个特征种类参数中特征的数量。

可例如，期待得到的用户特征种类为3类，特征数量为2，则最终得到的用户特征为6种。

在S406中，基于所述维度参数将所述用户数据中的多个表格进行关联，包括：基于所述维度参数中的主体变量将所述用户数据中的多个表格进行关联。

其中，两张表之间“关联”可参考类比父子之间的关联。这是一种一对多的关联：每个父亲可以有多个儿子。对表来说，每个父亲对应一张父表中的一行，但是子表中可能有多行对应于同一张父表中的多个儿子。例如，在用户数据集中，clients (用户)数据框是loans（负担） 数据框的一张父表。每个客户只对应 clients 表中的一行，但是可能对应loans 表中的多行。同样，loans 表是 payments （支付）表的一张父表，因为每项贷款可以有多项支付。父亲通过共享变量与儿子相关联。当执行聚合操作的时候，根据父变量对子表进行分组，并计算每个父亲的儿子的统计量。

为了形式化特征工具中的关联规则，仅需指定连接两张表的变量。clients 表和loans 表通过 client_id（用户ID） 变量连接，同时 loans 表和 payments 表通过 loan_id （负担ID）变量连接。通过以上的制定，该实体集现在包含三个实体（表），以及将这些表连接在一起的关联规则。

在S408中，将关联后的所述用户数据输入所述用户特征合成模型中。

在S410中，通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

可包括：获取所述用户特征合成模型的初始特征；将所述初始特征作为转换链接的起点；基于关联后的所述用户数据生成转换链接的链接单位；通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据。

如上文所述，期待得到的用户特征种类为Q类，特征数量为X，则最终转换链接的长度可为：

L=αQX。

其中，α为转换链接调节系数，其具体的数值可由历史数据经过多次验证确定。

通过调整转换链接的长度以控制其搜索能力，转换链接的最终状态将因不同的初始状态而不同。可例如通过特征种类参数和特征数量参数确定转换链接的长度为10，那么在用户特征模型的计算过程中，在转换链接的节点数量达到10之后，即使此时没有得到本次转换链接的最终解，或者最优值，也要停止继续计算本次的转换链接。通过这种方法能够大大压缩转换链接的长度进而压缩最后生成的用户特征数据。

根据本公开的用户特征数据生成方法，能够快速高效的由用户数据中合成具有高信息量的用户特征数据，还能够根据用户设置控制用户特征数据中的数量和种类。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

在一个实施例中，还包括：通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。具体可例如：为历史用户数据确定标签，其中，所述历史用户数据中包括多个存储用户行为数据的表格，所述标签包括正向标签与负向标签；由所述历史用户数据中确定至少一个主体变量；基于所述至少一个主体变量将所述历史用户数据中的多个表格进行关联；通过关联后的所述历史用户数据对强化学习模型进行训练；基于训练后的所述强化学习模型生成所述用户特征合成模型，所述用户特征合成模型用于自动提取用户特征。

更具体的，可例如：获取训练完毕的元学习器；基于所述元学习器在所述历史用户数据中确定所述至少一个主体变量和所述至少一个主体变量对应的离散参数值。元学习器，可在广泛的学习任务中执行，然后从这种经验（“元数据”,meta-data）中学习，从而比其他方法更快的学习新任务。首先，需要收集描述先前学习任务和学习模型的元数据。这些元数据包括用于训练模型的精确的算法配置（包括超参数设置、pipeline(管道)组合和/或神经网络结构），所得到的模型的评估（如精确度和训练时间），以及任务本身的可测量属性（即元特征（meta-features））。其次，需要从这个先前的元数据中学习，以提取和传递用于指导搜索用在新任务上的最佳模型的知识。在本公开中，可使用常见的元学习器模型对历史用户数据进行学习，提取出主体变量和主体变量对应的参数值。

元模型可以用于生成k个最可信的基础数据供用户选择，用户可从中提取出多个主体变量，具体主体变量的数量多少会影响后续用户特征模型训练的时间。其中，主体变量可例如为用户的年龄，主体变量对应的离散参数值可为第一组（20-25），第二组（26-28），第三组（29-33），第四组（34-40），第五组（40-50）。

图5是根据另一示例性实施例示出的一种用户特征数据生成方法的流程图。图5所示的流程是对图4所示的流程中S410“ 通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据”的详细描述。

如图5所示，在S502中，将所述初始特征作为所述转换链接的父节点。特征推导工作被转换为用其对应的枚举选项填充每个组件，这可以看作是典型的搜索问题。为了形成马尔可夫链，将转换链接构建为顺序决策过程，其中每个节点表示通过对其父节点执行某些操作而获得的特征。每个转换链接都是用于要素工程问题的候选解决方案。从随机特征开始，通过转换链接，期望获得具有较高信息价值的特征。

在S504中，由所述用户数据中确定所述父节点的子节点。父节点与其对应的子节点之间的状态更改位数为1。尽管通过重复聚合操作可以使这种速度特征变得更深，但根据专家经验，在实际应用中1深度完全足够有效。还可将时间段的右侧作为决策时间，这意味着对于时间间隔部分，只需要考虑时间段的长度。

在S506中，通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链。包括：基于搜索策略确定马尔科夫链的父节点和子节点；进行多次搜索生成多个马尔科夫链。

更进一步的，给定随机速度特征，可以用每个分量的相应值表示。可使用类似（a1;b1; c1; d1; e1）的元组来表示速度特征，并且使用（F1; F2）来表示速度+特征，其中F1代表分子，F2代表分母。

行动：在每个步骤中，对于速度要素，代理都会选择父节点的一个组件，并将其值更改为另一个选项，从而产生一个新的特征作为子节点。至于速度+特征，则将动作应用于形成子节点的父节点的分母部分，如（F1; F2）

奖励：在父节点上执行任意操作后，确切知道子节点将是什么，并在信息值iv =（iv_child-iv_parent）中获得两个特征之间的差异作为奖励。基于模型的方式。

在以上定义下，代理基于当前状态与环境进行交互，以获取更多奖励。在没有任何约束的情况下，可能采取的行动的数量是不受限制的，这对于强化学习来说是很难解决的。

在本公开中，由于限制父节点，一个动作只能更改一个组件。 可能的有效状态转换类似于（a1; b1; c1; d1; e1）！ （a1; b1; c1; d1*; e1），其中d1*替换为d1。这种限制有几个好处，因为它迫使代理以较小的步长探索整个空间，这有助于收敛，将动作空间限制为适当的大小，并相对保持子节点的可解释性。

在S508中，计算所述多个初始用户特征数据的平均信息值。包括：通过所述特征种类参数和所述特征数量参数确定马尔科夫链的最大长度；在用户特征合成模型的计算过程中，当所述马尔科夫链达到最大长度时停止本次搜索；通过多次搜索生成多个初始用户特征数据。

在S510中，基于所述特征种类参数、所述特征数量参数、平均信息值由所述多个初始用户特征数据中提取所述用户特征数据。

随着训练过程的进行，模型会通过大量尝试来学习选择适当的操作，以将普通功能转换为良好功能。在训练过程之后，将随机初始化一组功能并将其设置为转换链接的起点。通过探索转换链接，可以在最终状态下生成最优功能。

在一个具体的实施例中，可在某金融服务平台上中抽样了100000个用户，注册时间分布在3个月内。所有这些用户都有一个或多个贷款记录，具体取决于成功贷款的数量。每个记录可以进一步由贷款时间，贷款金额和还款时间组成。贷款历史记录用于标记默认用户。更具体地说，课将逾期30天还款的用户定义为默认借方，而其他用户则保留为普通用户。

其中，用户特征可描述如下：

主体	客体	时间	函数	条件	详细
						用户	事件ID	一周	distinct	夜间	用户一周内在夜间的不同操作的次数
年龄区间	借款金额	一年	avg	无	用户所在年龄区间一年内的平均借款金额

通过元学习器计算之后，获取的建模主体如图5B所示：

通过本公开中的用户特征合成模型进行计算，可使用每个转换链接的最后状态的信息值来评估学习效果。在训练过程的开始阶段，特征生成过程可以看作是随机的，两种特征的平均信息值都在0.005附近。随着训练的进行，最终状态的平均信息值逐渐增加并收敛。对于速度特征，最终的平均信息值上升到0.018，而速度+的信息值接近0.02。从解释和结构两方面来看，速度+特征的预测能力略高于速度特征是合理的。对于这两种特征，与随机策略相比，本公开提出的方法带来了近4倍的改进。

图6显示了不同方法的速度特征的平均信息值。可知人为设计特征的平均信息值为0.011，而本公开提出的方法提取出的用户特征的信息值可以达到0.018。而且通过调整转换链接的长度以控制其搜索能力，转换链接的最终状态将因不同的初始状态而不同。因此，该方法可以产生相对丰富的特征，具有良好的预测能力。

在本公开中提出了一个新的用户特征提取框架，通过强化学习自动从原始数据中生成用户特征，以帮助改善下游分类器的默认预测。特别地，首先为自动特征推导框架定义形式内容，该架构将特征结构，其解释和计算逻辑结合在一起。然后，通过构建转换链接并将其视为顺序决策过程，将特征生成问题重新表述为强化学习。

通过对消费金融中的违约预测进行了有效的实践。实验表明，本公开中的方法不仅可以改善工作人员的工作量，而且可以避免传统遗传算法获取用户特征时遇到的局部最优问题。

而且，为了将操作空间限制为适当的大小，本公开中的方法限制对于父节点的变更，一个操作只能更改一个参数。使得在保证特征合成效果的同时，加快了模型的收敛速度。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU 执行的计算机程序。在该计算机程序被CPU 执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图7是根据一示例性实施例示出的一种用户特征数据生成装置的框图。如图7所示，用户特征数据生成装置70包括：数据模块702，参数模块704，关联模块706，输入模块708，特征模块710。

数据模块702用于获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；

参数模块704用于基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；

关联模块706用于基于所述维度参数将所述用户数据中的多个表格进行关联；所述维度参数包括：主体变量维度、客体维度、时间维度、函数维度、条件维度；所述关联模块706还用于基于所述维度参数中的主体变量将所述用户数据中的多个表格进行关联。

输入模块708用于将关联后的所述用户数据输入所述用户特征合成模型中；

特征模块710用于通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。所述特征模块710包括：初始单元，用于获取所述用户特征合成模型的初始特征；起点单元，用于将所述初始特征作为转换链接的起点；单位单元，用于基于关联后的所述用户数据生成转换链接的链接单位；控制单元，用于通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据。

图8是根据另一示例性实施例示出的一种用户特征数据生成装置的框图。如图8所示，用户特征数据生成装置80包括：风险分析模块802，特征合成模块804。

风险分析模块802用于基于所述多个用户特征数据对机器学习模型进行训练生成用户风险分析模型。

特征合成模块804用于通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

根据本公开的用户特征数据生成装置，能够快速高效的由用户数据中合成具有高信息量的用户特征数据，还能够根据用户设置控制用户特征数据中的数量和种类。

图9是根据一示例性实施例示出的一种电子设备的框图。

下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件（包括存储单元920和处理单元910）的总线930、显示单元940等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图4，图5中所示的步骤。

所述存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元（ROM）9203。

所述存储单元920还可以包括具有一组（至少一个）程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备900’（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图10所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本公开实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数、特征数量参数；基于所述维度参数将所述用户数据中的多个表格进行关联；将关联后的所述用户数据输入所述用户特征合成模型中；通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种用户特征数据生成方法，其特征在于，包括：

获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；

基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数和特征数量参数；

基于所述维度参数将所述用户数据中的多个表格进行关联；

将关联后的所述用户数据输入所述用户特征合成模型中；

通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

2.如权利要求1所述的方法，其特征在于，还包括：

基于所述多个用户特征数据对机器学习模型进行训练生成用户风险分析模型。

3.如权利要求1所述的方法，其特征在于，还包括：

通过带有标签的历史用户数据对强化学习模型进行训练，生成所述用户特征合成模型。

4.如权利要求1所述的方法，其特征在于，所述维度参数包括：主体变量维度、客体维度、时间维度、函数维度和条件维度；

基于所述维度参数将所述用户数据中的多个表格进行关联，包括：

基于所述维度参数中的主体变量维度将所述用户数据中的多个表格进行关联。

5.如权利要求1所述的方法，其特征在于，通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，包括：

获取所述用户特征合成模型的初始特征；

将所述初始特征作为转换链接的起点；

基于关联后的所述用户数据生成转换链接的链接单位；

通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据。

6.如权利要求5所述的方法，其特征在于，通过所述特征种类参数和所述特征数量参数对所述转换链接进行控制以生成所述用户特征数据，包括：

将所述初始特征作为所述转换链接的父节点；

由所述用户数据中确定所述父节点的子节点；

通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链；

基于所述多个马尔科夫链、所述特征种类参数、所述特征数量参数、强化学习收益评估函数确定所述用户特征数据。

7.如权利要求6所述的方法，其特征在于，通过搜索策略和所述父节点和所述子节点生成多个马尔科夫链，包括：

基于搜索策略确定马尔科夫链的父节点和子节点；

进行多次搜索生成多个马尔科夫链。

8.一种用户特征数据生成装置，其特征在于，包括：

数据模块，用于获取用户数据，其中，所述用户数据中包括多个存储用户行为数据的表格；

参数模块，用于基于用户特征合成模型确定特征参数，所述特征参数包括维度参数、特征种类参数和特征数量参数；

关联模块，用于基于所述维度参数将所述用户数据中的多个表格进行关联；

输入模块，用于将关联后的所述用户数据输入所述用户特征合成模型中；

特征模块，用于通过所述特征种类参数和所述特征数量参数对所述用户特征合成模型的计算过程进行控制以生成用户特征数据，其中，所述用户特征合成模型用于自动提取用户特征数据。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images