CN110852444A - 用于确定机器学习模型的衍生变量的方法及装置 - Google Patents

用于确定机器学习模型的衍生变量的方法及装置 Download PDF

Info

Publication number
CN110852444A
CN110852444A CN201910961560.6A CN201910961560A CN110852444A CN 110852444 A CN110852444 A CN 110852444A CN 201910961560 A CN201910961560 A CN 201910961560A CN 110852444 A CN110852444 A CN 110852444A
Authority
CN
China
Prior art keywords
variable
variables
transferable
derived
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910961560.6A
Other languages
English (en)
Inventor
叶捷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201910961560.6A priority Critical patent/CN110852444A/zh
Publication of CN110852444A publication Critical patent/CN110852444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书的实施例提供了一种用于确定机器学习模型的衍生变量的方法及装置，在该方法中，在针对机器学习模型的基础变量集中确定各个基础变量的可转移变量集，进而根据基础变量和对应的多个可转移变量生成机器学习模型的多个候选衍生变量，从而基于变量转移奖赏从多个候选衍生变量中确定机器学习模型的目标衍生变量。

Description

用于确定机器学习模型的衍生变量的方法及装置
技术领域
本说明书的实施例涉及互联网技术领域，具体地，涉及一种用于确定机器学习模型的衍生变量的方法及装置。
背景技术
随着智能化技术的进步，在人工干预机器学习模型的基础上不断发展，形成了自动机器学习模型。自动机器学习模型也被称为智能进化机器学习模型，其在学习过程中不需要人为的干预和控制，能够自主地、不断地完成智能进化的过程。
在自动机器学习的过程中，较为关键一步便是衍生新的衍生变量。在目前的自动机器学习模型中，一般是通过将基础变量库中所有基础变量逐一进行尝试组合，从而生成衍生变量。但是，基础变量库中变量的数量是非常众多的，导致建模效率不高，并使得所生成的衍生变量存在不稳定或性能低下的情况，而无法满足机器学习模型的入模要求。
发明内容
鉴于上述问题，本说明书的实施例提供了一种用于确定机器学习模型的衍生变量的方法及装置，利用该方法及装置，基于变量转移奖赏从基础变量集中将变量转移所对应的基础变量进行衍生，使得所确定的目标衍生变量能够匹配于较高的变量转移奖赏，保障了所确定的针对机器学习模型的衍生变量的性能，并且变量转移是针对可转移变量集而发生的，还提高了建模效能。
根据本说明书的实施例的一个方面，提供了一种用于确定机器学习模型的衍生变量的方法，包括：确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量；根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的至少一个候选衍生变量；确定与所述至少一个候选衍生变量对应的变量转移奖赏；以及基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。
可选地，根据上述方面的一个示例，所述变量是velocity变量。
可选地，根据上述方面的一个示例，所述velocity变量的变量维度包括主体、客体、函数、时间窗和限制条件。
可选地，根据上述方面的一个示例，所述变量转移奖赏是基于变量的变量性能指标来确定的。
可选地，根据上述方面的一个示例，所述变量性能指标包括变量的信息值。
可选地，根据上述方面的一个示例，所述变量转移奖赏根据下述公式确定出：
reward＝IV(V衍生)-max(IV(V1),IV(V2))，
其中，变量V1是基础变量，V2是可转移变量，V衍生是基于变量V1和V2得到的候选衍生变量，以及IV(Vi)用于表示变量Vi的信息值。
可选地，根据上述方面的一个示例，根据各个基础变量以及对应的至少一个可转移变量，生成所述机器学习模型的至少一个候选衍生变量包括：针对各个基础变量，对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，以生成该基础变量的至少一个候选衍生变量。
可选地，根据上述方面的一个示例，所述规定运算操作包括除法运算。
可选地，根据上述方面的一个示例，所述基础变量集中的变量被定义为状态迁移图中的状态，以及所述变量转移策略是状态迁移策略。
可选地，根据上述方面的一个示例，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量包括：针对各个基础变量，基于变量转移奖赏最大化策略，从与该基础变量对应的至少一个候选衍生变量中确定出与该基础变量对应的至少一个衍生变量。
可选地，根据上述方面的一个示例，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量包括：从所述至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为所述机器学习模型的目标衍生变量。
根据本说明书的实施例的另一个方面，提供了一种用于确定机器学习模型的衍生变量的装置，包括：可转移变量确定单元，确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量；候选衍生变量生成单元，根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的候选衍生变量；变量转移奖赏确定单元，确定与所述至少一个候选衍生变量对应的变量转移奖赏；以及目标衍生变量确定单元，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。
可选地，根据上述方面的一个示例，所述变量是velocity变量。
可选地，根据上述方面的一个示例，所述velocity变量的变量维度包括主体、客体、函数、时间窗和限制条件。
可选地，根据上述方面的一个示例，针对各个基础变量，所述候选衍生变量生成单元对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，以生成该基础变量的至少一个候选衍生变量。
可选地，根据上述方面的一个示例，所述基础变量集中的变量被定义为状态迁移图中的状态，以及所述变量转移策略是状态迁移策略。
可选地，根据上述方面的一个示例，所述目标衍生变量确定单元基于变量转移奖赏最大化策略，从与各个基础变量对应的候选衍生变量中确定出与该基础变量对应的目标衍生变量。
可选地，根据上述方面的一个示例，所述目标衍生变量确定单元从所述至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为所述机器学习模型的目标衍生变量。
根据本说明书的实施例的另一方面，还提供一种计算设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于确定机器学习模型的衍生变量的方法。
根据本说明书的实施例的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于确定机器学习模型的衍生变量的方法。
附图说明
通过参照下面的附图，可以实现对于本说明书的实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本发明实施例的进一步理解，并且构成说明书的实施例的一部分，与下面的具体实施方式一起用于解释本说明书的实施例，但并不构成对本说明书的实施例的限制。在附图中：
图1示出了适于应用在本说明书的实施例的一示例的变量转移示意图；
图2示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的方法的一示例的流程图；
图3示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的方法的一示例的流程图；
图4示出了适于应用在本说明书的实施例的基于状态迁移奖赏最大化策略的一示例的状态迁移示意图；
图5示出了适于应用在本说明书的实施例的基于状态迁移奖赏阈值比较策略的一示例的状态迁移示意图；
图6示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的装置的一示例的结构框图；
图7示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的计算设备的一示例的硬件结构图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书的实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
此外，如本文中使用的，术语“变量”可以表示单维度变量或多维度变量，例如单维度变量可以是诸如“身高”、“职业”或“性别”之类的具有单个维度的变量，以及多维度变量可以是诸如“用户属性-购物平台信息-时间窗-购物行为”、“用户属性-借贷平台信息-时间窗-借贷行为”之类的具有多个维度的变量。术语“变量转移”可以被用来描述从一个变量向另一个变量(在下文中也被称为“可转移变量”)进行转移或组合的动作。术语“强化学习”表示以“试错”的过程进行学习的方式，通过与环境交互而获得的奖赏来指导行为，以确定对应具有较大奖赏的行为。
应理解的是，在对机器学习模型进行建模时，需要基于已有的基础变量来生成新的衍生变量，并且机器学习模型所使用的衍生变量的变量性能指标的优劣往往会直接影响到最终的机器学习模型的工作性能。这里，变量性能指标例如可以是用来衡量诸如变量预测能力、变量业务可解释性、变量简单性、变量健壮性和不同变量之间的相关性之类的变量性能。另外，常用来衡量变量预测能力的变量性能指标包括变量信息值(IV,informationvalue)。
图1示出了适于应用在本说明书的实施例的一示例的变量转移示意图。
如图1所示，该变量转移示意图中涉及由多个变量f1～fn所组成的基础变量集，在不同基础变量之间可能会发生变量转移，例如a1表示从f1到f2的变量转移，a2表示从f2到f1的变量转移，a3表示从f1到f3的变量转移，等等。这里，可以基于变量转移策略来发生对应的变量转移，并且每一变量转移策略可以分别用来发生不同的变量转移。示例性地，基于针对基础变量f1的变量转移策略，可发生变量转移a2或a3。另外，每一变量转移分别对应于因变量转移所产生的一个候选衍生变量。示例性地，针对变量转移a2，基于f1和f2来生成衍生变量。
在本说明书的实施例的一个示例中，针对一个基础变量所能够转移到的另一个变量(也被称为可转移变量)的变量范围可能是受限制或有条件的，例如f1～f3中的任一者都不会与f4～fn之间发生变量转移，而针对变量f1可以转移到的变量是f2和f3，等等。
如上文中所提到的，变量业务可解释性是变量(包括衍生变量)一项重要的变量性能指标。在本说明书的实施例的一个示例中，可转移变量可以是基础变量集中与所指定的基础变量相差不超过预定数目个(例如，一般情况下为一个)变量维度值的变量。以变量维度“时间窗”进行示例性说明，基础变量中的变量维度“时间窗”所对应的变量维度值是“1天”，而相应的可转移变量中变量维度“时间窗”所对应的变量维度值是“1周”、“1个月”等。由此，使得因变量转移所生成的衍生变量能够突出在存在相差变量维度值的变量维度(例如时间窗)上的信息突变效果，具有较高的业务可解释性。
在一些实施方式中，每一变量转移具有对应的变量转移奖赏，且各个变量转移奖赏可以是基于预设的变量转移奖赏函数而确定。通常情况下，若变量转移奖赏越大，则可认为该变量转移越有价值，例如相应的衍生变量的性能就越好。示例性地，针对变量f1，能够发生从变量f1到变量f2和f3的变量转移，即，变量转移a1和a3。若变量转移a1所对应的变量转移奖赏大于a3所对应的变量转移奖赏，则表示变量转移a1更有价值。
在一些应用场景下，图1中所描述的变量转移示意图可以是状态迁移图(未示出)，此时图1中的每一个变量(f1～fn)被定义为状态迁移图中的状态(state)，变量转移对应于状态迁移图中不同状态之间的迁移，以及变量转移策略对应于状态迁移策略。另外，可依据该状态迁移图确定对应较大的(或最大的)状态迁移奖赏的状态迁移，进而确定相应的目标衍生变量，更多细节将在下文中展开。
应理解的是，于此所描述的变量转移(或状态迁移)的示例仅用于解释说明的目的，而并不旨在对变量转移的限制，下文各个实施例可以是针对上述任意一种实施方式中的变量转移而进行的操作。
现在结合附图来描述本说明书的实施例的用于确定机器学习模型的衍生变量的方法及装置。
图2示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的方法(下文也称为衍生变量确定方法)200的一示例的流程图。
在块210中，确定机器学习模型的基础变量集中的各个基础变量的可转移变量集。
这里，机器学习模型具有包括多个可使用的基础变量(例如对应f1～fn)的基础变量集，基于变量衍生方式和不同的基础变量来确定相应的衍生变量。这里，基础变量V1可以是在基础变量集中任意的基础变量，其可以是被预先指定或被逐步随机指定的基础变量。在确定了基础变量(例如，将f1确定为V1)之后，还需要确定基础变量所能够转移到的在基础变量集中的可转移变量集(例如，将{f2,f4}确定为对应的可转移变量集)。由此，针对基础变量，在相对于基础变量集更小范围的可转移变量集中进行变量转移，提高了建模效率。
如上面所描述的，基础变量可以是单维度变量或多维度变量，并且每一变量维度下可以具有多个变量维度值，例如在“时间窗”下具有诸如“1个月”、“1周”和“1天”之类的多个变量维度值。
接着，在块220中，根据各个基础变量以及至少一个对应的可转移变量，生成机器学习模型的至少一个候选衍生变量。
需说明的是，针对基础变量存在多个可转移变量时，基础变量可以与可转移变量集中所有的可转移变量分别组合以生成相应的多个候选衍生变量。或者，针对基础变量的多个可转移变量，基础变量也可以仅与可转移变量集中一部分的可转移变量进行组合以生成至少一个候选衍生变量。
另外，由基础变量和可转移变量生成候选衍生变量所采用的变量衍生方式可以是多样化的，在此应不加限制。在一些实施方式中，针对各个基础变量，对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，例如乘法运算、除法运算、加法运算或减法运算等，以生成针对该基础变量的至少一个候选衍生变量。示例性地，基于除法运算所得到的衍生变量为V1/V2，而基于减法运算所得到的衍生变量为V1-V2。但需说明的是，由于加法和减法都属于线性运算，而基于线性运算所产生的衍生变量的性能相对于基础变量一般不会发生较大的改进，所以加法和减法运算可能不会被采用。
接着，在块230中，确定与至少一个候选衍生变量对应的变量转移奖赏。
这里，可以应用预设的变量转移奖赏函数而确定与候选衍生变量相对应的变量转移奖赏。在本实施例的一个示例中，可以基于与变量转移所对应的变量的变量性能指标来确定上述的变量转移奖赏。示例性地，可以计算候选衍生变量的变量性能指标，并将该变量性能指标作为变量转移奖赏，或者将该候选衍生变量的变量性能指标与对应基础变量和可转移变量中变量性能指标中较大者之间的差值作为变量转移奖赏，等等。
接着，在块240中，基于变量转移奖赏，从所得到的至少一个候选衍生变量中确定机器学习模型的目标衍生变量。
示例性地，从上述的至少一个候选衍生变量中确定对应变量转移奖赏较高的候选衍生变量来作为目标衍生变量。
在一些实施方式中，针对各个基础变量，基于变量转移奖赏最大化策略，从与该基础变量对应的至少一个候选衍生变量中确定出与该基础变量对应的目标衍生变量。具体地，将基础变量与对应的可转移变量集中的各个可转移变量分别进行变量转移。进而，确定由各个变量转移所产生的候选衍生变量分别所对应的变量转移奖赏，并将对应最大的变量转移奖赏的候选衍生变量确定为目标衍生变量。这样，针对每一个基础变量都会对应产生相应的一个具有最佳变量性能指标的目标衍生变量。
在一些情况下，基础变量与对应的各个可转移变量所产生的所有的候选衍生变量的变量性能可能都较低，此时所有由该基础变量所生成的候选衍生变量都不应被作为待入模(或待选入机器学习模型)的目标衍生变量。在一些实施方式中，为了保障各个目标衍生变量的性能指标，还可以从至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为机器学习模型的目标衍生变量。此时，针对一个基础变量的目标衍生变量的数量可被确定为相应的一个或多个，具体细节将在下文中展开描述。
在本说明书的实施例中，在基础变量集中基础变量与可转移变量之间基于变量转移策略进行变量转移以得到候选衍生变量，并基于变量转移奖赏从多个候选衍生变量中确定待入模的目标衍生变量。由此，保障了依据基础变量集所自动产生的衍生变量具有较高性能，并也提升了建模效能。
图3示出了根据本说明书的实施例的衍生变量确定方法300的一示例的流程图。
在块310中，基于基础变量集中的各个变量分别定义状态迁移图中的各个状态。
具体地，可以利用基础变量集(例如f1～fn)中的每一个基础变量分别来定义状态迁移图中的各个状态(例如S1～Sn)。
需说明的是，基础变量集中的各个变量可以采用具有多变量维度的velocity变量，其相比于单维度变量能被应用在更多的应用业务场景中。示例性地，单维度的变量“职业”或“性别”的表达信息有限，其只能表达在该维度上的信息，而无法表达诸如“用户一周内在A购物平台交易的金额总和”的信息，但由velocity变量就能较佳地表达该信息。示例性地，velocity变量包括例如主体、客体、函数、时间窗和限制条件这五个变量维度，在针对“用户一周内在A购物平台的交易金额总和”的velocity变量中，主体为“用户”，客体为“金额”，函数为“求和”，时间窗为“一周”，以及限制条件为“A购物平台交易”。另外，在这五个变量维度都被定义后，可以完成对一个velocity变量的定义。
相应地，在velocity变量集中具有多个预定义的velocity变量，这些velocity变量之间在一个或多个变量维度上存在不同的变量维度值。示例性地，一方面，两个velocity变量之间仅在针对“时间窗”上存在不同的变量维度值，分别为“一周”和“一天”。另一方面，两个velocity变量之间在针对“时间窗”、“客体”、“限制条件”等多个变量维度上都存在不同的变量维度值。
接着，在块320中，在多个状态中随机指定状态，并确定针对该状态的可迁移状态集。
示例性地，确定状态所对应的基础变量(即，velocity变量)，并在基础变量集中确定与该velocity变量中的多个变量维度值相差不超过预定数目个(例如仅一个)变量维度值的velocity变量，以此确定相应的变量集和可迁移状态集。示例性地，在velocity变量V1和可迁移状态所指示的变量之间仅在变量维度“时间窗”上的变量维度值存在差异，例如velocity变量表示“用户一天内在A购物平台的交易金额总和”，而可迁移状态所指示的变量V2表示“用户一周内在A购物平台的交易金额总和”。相应地，状态迁移策略为pf(V1)＝V2，也就是从velocity变量V1所指示的状态可基于状态迁移策略pf迁移到变量V2所指示的状态。
接着，在块330中，基于状态迁移策略在所指定的状态与至少一个对应的可迁移状态之间发生状态迁移，并生成相对应的至少一个候选衍生变量。
在本实施例的一个示例中，将所指定的状态所对应的velocity变量和可迁移状态所指示的变量进行除法运算，以生成对应的候选衍生变量V衍生，即V衍生＝V1/V2。
这里，为了突出因相差的变量维度值所产生的变量效果的突变性，推荐采用除法运算来生成候选衍生变量，其优于按照例如乘法或减法的其他运算方式所生成的候选衍生变量。示例性地，当变量所表示的涵义是“用户在时间窗内在购物平台的交易金额总和”，所指定的状态所指示的velocity变量(也就是分子变量)V1表示“用户1天内在A购物平台的交易金额总和”，对应的可迁移状态所指示的变量(也就是分母变量)V2表示“用户1周内在A购物平台的的交易金额总和”，此时，通过除法操作所得到的候选衍生变量V衍生＝V1/V2可表示“星期几购物平台的交易金额占比”。需说明的是，当将所指定的状态和可迁移状态的迁移顺序进行调换时，相应所产生的衍生变量及其所具有的涵义也会相应地发生变化，例如V衍生＝V2/V1表示“A购物平台的交易增长率”。
接着，在块340中，确定与至少一个候选衍生变量对应的状态迁移奖赏(或变量转移奖赏)。
在一些实施方式中，状态迁移奖赏可根据下述公式确定出：
reward＝IV(V衍生)-max(IV(V1),IV(V2))
其中，变量V1是指定的状态所指示的变量(或基础变量)，V2是可迁移状态所指示的变量(或可转移变量)，V衍生是基于变量V1和V2得到的候选衍生变量，以及IV(Vi)用于表示变量Vi的信息值。需说明的是，对于各个变量的信息值的确定方式应不加限制，例如可以采用已有的或潜在的信息值计算模块来计算变量Vi所对应的信息值IV(Vi)。
接着，在块350中，基于状态迁移奖赏，从至少一个候选衍生变量中确定针对所指定的状态的目标衍生变量。
这里，可以使用状态迁移奖赏最大化策略或状态迁移奖赏阈值比较策略，并依据状态迁移奖赏来从至少一个候选衍生变量中确定目标衍生变量。
接着，在块360中，重复进行如块320～块350中的操作。示例性地，通过多次重新随机选择的状态(例如，每次所随机选择的状态可以是非重复的)，并确定相应的针对各个状态所指示的变量的目标衍生变量，由此找到适于由机器学习模型所使用的多个(或所有的)目标衍生变量。
图4示出了适于应用在本说明书的实施例的基于状态迁移奖赏最大化策略的一示例的状态迁移示意图。图5示出了适于应用在本说明书的实施例的基于状态迁移奖赏阈值比较策略的一示例的状态迁移示意图。
如图4和5所示，通过实施状态迁移奖赏最大化策略或状态迁移奖赏阈值比较策略来确定目标衍生变量。此时，基于不同的状态迁移策略分别发生不同状态迁移。示例性地，基于针对状态S1的不同的状态迁移策略，能够发生从状态S1到状态S2的状态迁移m1，或者从状态S1到状态S3的状态迁移m3。并且，基于针对状态S3的不同的状态迁移策略，能够发生从状态S3到状态S4的状态迁移m4，或者从状态S3到状态S5的状态迁移m5，等等。另外，可以计算对应于不同的状态迁移的状态迁移奖赏，例如针对m1的r1，针对m2的r2，等等。
如图4所示，在通过实施状态迁移奖赏最大化策略来确定目标衍生变量时，基于状态和对应具有最大状态迁移奖赏r的可迁移状态所指示的变量，从而确定目标衍生变量。具体地，针对状态S1对应不同状态迁移m1和m3所对应的奖赏r1和r3分别是2和8，针对状态S3对应不同状态迁移m4和m5所对应的奖赏r4和r5分别是7和5。此时，可以由S1和S3所指示的变量来确定针对状态S1的目标衍生变量，并可以由S3和S4所指示的变量来确定针对状态S3的目标衍生变量。
如图5所示，在通过状态迁移奖赏阈值比较策略来确定目标衍生变量时，基于状态和对应状态迁移奖赏r大于预定奖赏阈值的可迁移状态所指示的变量，从而确定目标衍生变量。示例性地，若预定奖赏阈值为4.5，则大于对应预定奖赏阈值的迁移奖赏为r3、r4和r5。此时，可以由S1和S3所指示的变量来确定针对状态S1的目标衍生变量。另外，可以由S3和S4所指示的变量，和由S3和S5所指示的变量，来确定针对状态S3的目标衍生变量。
应理解的是，在不同的状态迁移奖赏策略(例如状态迁移奖赏最大化策略和状态迁移奖赏阈值比较策略)下所确定的针对同一状态的目标衍生变量可能是不一样的。另外，可以根据实际建模需求条件来配置适宜的状态迁移策略。
在一些实施方式中，可以由强化学习设备或智能体(Agent)来进行上述的如图3-5所描述的基于状态迁移图来确定机器学习模型的目标衍生变量的过程，从而以强化学习的方式高效地寻找到针对机器学习模型的具有较高性能的衍生变量。
图6示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的装置(下文中称为衍生变量确定装置)的一示例的结构框图。
如图6所示，衍生变量确定装置600包括可转移变量确定单元610、候选衍生变量生成单元620、变量转移奖赏确定单元630和目标衍生变量确定单元640。
可转移变量确定单元610确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量。可转移变量确定单元610的操作可以参照上面参考图2描述的块210的操作。
候选衍生变量生成单元620根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的候选衍生变量。候选衍生变量生成单元620的操作可以参照上面参考图2描述的块220的操作。
变量转移奖赏确定单元630确定与所述至少一个候选衍生变量对应的变量转移奖赏。变量转移奖赏确定单元630的操作可以参照上面参考图3描述的块230的操作。
目标衍生变量确定单元640基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。目标衍生变量确定单元640的操作可以参照上面参考图2描述的块240的操作。
进一步地，所述变量是velocity变量。
进一步地，所述velocity变量的变量维度包括主体、客体、函数、时间窗和限制条件。关于velocity变量及其相应操作的说明，可参照上面参考图3所描述的各个块的操作。
进一步地，针对各个基础变量，候选衍生变量生成单元620对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，以生成该基础变量的至少一个候选衍生变量。
进一步地，目标衍生变量确定单元640基于变量转移奖赏最大化策略，从与各个基础变量对应的候选衍生变量中确定出与该基础变量对应的目标衍生变量。
进一步地，目标衍生变量确定单元640从所述至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为所述机器学习模型的目标衍生变量。
在本说明书实施例的一个示例中，所述基础变量集中的变量被定义为状态迁移图中的状态，以及所述变量转移策略是状态迁移策略。关于状态迁移图及其相应操作的说明，可参照上面参考图3中各个块所描述的操作。
如上参照图1到图6，对根据本说明书的用于确定机器学习模型的衍生变量的方法及装置的实施例进行了描述。在以上对方法实施例的描述中所提及的细节，同样适用于本说明书的装置的实施例。上面的用于确定机器学习模型的衍生变量的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
图7示出了根据本说明书的实施例的用于确定机器学习模型的衍生变量的计算设备700的一示例的硬件结构图。如图7所示，计算设备700可以包括至少一个处理器710、存储器(例如非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线760连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量；根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的至少一个候选衍生变量；确定与所述至少一个候选衍生变量对应的变量转移奖赏；以及基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。
应该理解，在存储器720中存储的计算机可执行指令当执行时使得至少一个处理器710进行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。
在本说明书的实施例中，计算设备700可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解，上面说明书的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (20)

1.一种用于确定机器学习模型的衍生变量的方法，包括：
确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量；
根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的至少一个候选衍生变量；
确定与所述至少一个候选衍生变量对应的变量转移奖赏；以及
基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。
2.如权利要求1所述的方法，其中，所述变量是velocity变量。
3.如权利要求2所述的方法，其中，所述velocity变量的变量维度包括主体、客体、函数、时间窗和限制条件。
4.如权利要求1所述的方法，其中，所述变量转移奖赏是基于变量的变量性能指标来确定的。
5.如权利要求4所述的方法，其中，所述变量性能指标包括变量的信息值。
6.如权利要求5所述的方法，其中，所述变量转移奖赏根据下述公式确定出：
reward＝IV(V衍生)-max(IV(V1),IV(V2))，
其中，变量V1是基础变量，V2是可转移变量，V衍生是基于变量V1和V2得到的候选衍生变量，以及IV(Vi)用于表示变量Vi的信息值。
7.如权利要求1所述的方法，其中，根据各个基础变量以及对应的至少一个可转移变量，生成所述机器学习模型的至少一个候选衍生变量包括：
针对各个基础变量，对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，以生成该基础变量的至少一个候选衍生变量。
8.如权利要求7所述的方法，其中，所述规定运算操作包括除法运算。
9.如权利要求1所述的方法，其中，所述基础变量集中的变量被定义为状态迁移图中的状态，以及所述变量转移策略是状态迁移策略。
10.如权利要求1所述的方法，其中，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量包括：
针对各个基础变量，基于变量转移奖赏最大化策略，从与该基础变量对应的至少一个候选衍生变量中确定出与该基础变量对应的目标衍生变量。
11.如权利要求1所述的方法，其中，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量包括：
从所述至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为所述机器学习模型的目标衍生变量。
12.一种用于确定机器学习模型的衍生变量的装置，包括：
可转移变量确定单元，确定机器学习模型的基础变量集中的各个基础变量的可转移变量集，所述可转移变量集中的各个可转移变量是所述基础变量集中的变量，并且与对应的基础变量相差不超过预定数目个变量维度值，所述基础变量可通过变量转移策略转移到对应的可转移变量；
候选衍生变量生成单元，根据各个基础变量以及至少一个对应的可转移变量，生成所述机器学习模型的候选衍生变量；
变量转移奖赏确定单元，确定与所述至少一个候选衍生变量对应的变量转移奖赏；以及
目标衍生变量确定单元，基于所述变量转移奖赏，从所述至少一个候选衍生变量中确定所述机器学习模型的目标衍生变量。
13.如权利要求12所述的装置，其中，所述变量是velocity变量。
14.如权利要求13所述的装置，其中，所述velocity变量的变量维度包括主体、客体、函数、时间窗和限制条件。
15.如权利要求12所述的装置，其中，针对各个基础变量，所述候选衍生变量生成单元对该基础变量和至少一个对应的可转移变量分别执行规定运算操作，以生成该基础变量的至少一个候选衍生变量。
16.如权利要求12所述的装置，其中，所述基础变量集中的变量被定义为状态迁移图中的状态，以及所述变量转移策略是状态迁移策略。
17.如权利要求12所述的装置，其中，所述目标衍生变量确定单元基于变量转移奖赏最大化策略，从与各个基础变量对应的候选衍生变量中确定出与该基础变量对应的目标衍生变量。
18.如权利要求12所述的装置，其中，所述目标衍生变量确定单元从所述至少一个候选衍生变量中确定出所对应的变量转移奖赏大于预定转移奖赏阈值的候选衍生变量，作为所述机器学习模型的目标衍生变量。
19.一种计算设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到11中任一所述的方法。
20.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到11中任一所述的方法。
CN201910961560.6A 2019-10-11 2019-10-11 用于确定机器学习模型的衍生变量的方法及装置 Pending CN110852444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910961560.6A CN110852444A (zh) 2019-10-11 2019-10-11 用于确定机器学习模型的衍生变量的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910961560.6A CN110852444A (zh) 2019-10-11 2019-10-11 用于确定机器学习模型的衍生变量的方法及装置

Publications (1)

Publication Number Publication Date
CN110852444A true CN110852444A (zh) 2020-02-28

Family

ID=69597231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910961560.6A Pending CN110852444A (zh) 2019-10-11 2019-10-11 用于确定机器学习模型的衍生变量的方法及装置

Country Status (1)

Country Link
CN (1) CN110852444A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461892A (zh) * 2020-03-31 2020-07-28 支付宝(杭州)信息技术有限公司 用于风险识别模型的衍生变量选择方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461892A (zh) * 2020-03-31 2020-07-28 支付宝(杭州)信息技术有限公司 用于风险识别模型的衍生变量选择方法和装置

Similar Documents

Publication Publication Date Title
Todorov Efficient computation of optimal actions
Bao et al. PSO-MISMO modeling strategy for multistep-ahead time series prediction
Lim et al. Generalizing surrogate-assisted evolutionary computation
Wang et al. Integer-ordered simulation optimization using R-SPLINE: Retrospective search with piecewise-linear interpolation and neighborhood enumeration
US11436056B2 (en) Allocation of shared computing resources using source code feature extraction and clustering-based training of machine learning models
CN110046799B (zh) 决策优化方法及装置
TW202234236A (zh) 用以最佳化邊緣網路中的資源之方法、系統、製品及設備
CN109635990B (zh) 一种训练方法、预测方法、装置、电子设备及存储介质
JP2007528538A (ja) フォーカスした文法を使用する生成的プログラミングシステム及び方法
CN109313720A (zh) 具有稀疏访问的外部存储器的增强神经网络
US20210383173A1 (en) System and method for increasing efficiency of gradient descent while training machine-learning models
George-Williams et al. Extending the survival signature paradigm to complex systems with non-repairable dependent failures
US10410140B1 (en) Categorical to numeric conversion of features for machine learning models
Kalagarla et al. Model-free reinforcement learning for optimal control of Markov decision processes under signal temporal logic specifications
Berthold et al. On the algorithmic solution of optimization problems subject to probabilistic/robust (probust) constraints
CN110852444A (zh) 用于确定机器学习模型的衍生变量的方法及装置
US9378469B2 (en) Optimization of system control based on solving multi-point boundary value problems
Bielecki et al. Estimation of execution time for computing tasks
Faia et al. Dynamic fuzzy estimation of contracts historic information using an automatic clustering methodology
US20240104366A1 (en) Multiplexed graph neural networks for multimodal fusion
US20220138786A1 (en) Artificial intelligence (ai) product including improved automated demand learning module
JP7310941B2 (ja) 推定方法、推定装置及びプログラム
Tribastone Efficient optimization of software performance models via parameter-space pruning
Santner et al. Some criterion-based experimental designs
Sun An influence diagram based cloud service selection approach in dynamic cloud marketplaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228