CN108022123B - 一种业务模型的自动调整方法及装置 - Google Patents

一种业务模型的自动调整方法及装置 Download PDF

Info

Publication number
CN108022123B
CN108022123B CN201610973518.2A CN201610973518A CN108022123B CN 108022123 B CN108022123 B CN 108022123B CN 201610973518 A CN201610973518 A CN 201610973518A CN 108022123 B CN108022123 B CN 108022123B
Authority
CN
China
Prior art keywords
model
service
loss function
samples
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610973518.2A
Other languages
English (en)
Other versions
CN108022123A (zh
Inventor
张海洋
方昊
张侦
李贵军
吴瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xingyun Digital Technology Co Ltd
Original Assignee
Nanjing Xingyun Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xingyun Digital Technology Co Ltd filed Critical Nanjing Xingyun Digital Technology Co Ltd
Priority to CN201610973518.2A priority Critical patent/CN108022123B/zh
Publication of CN108022123A publication Critical patent/CN108022123A/zh
Application granted granted Critical
Publication of CN108022123B publication Critical patent/CN108022123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明实施例公开了一种业务模型的自动调整方法及装置,涉及大数据技术领域,能够节省技术人员的时间和精力。本发明包括:根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式;从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从数据源提取的变量导入业务模型运行,并获取业务模型运行的监控指标,监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数;当根据监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本;根据所得到的样本确定损失函数,并根据所确定的损失函数更新业务模型中所用的参数。本发明适用于自动调整业务模型。

Description

一种业务模型的自动调整方法及装置
技术领域
本发明涉及大数据技术领域,尤其涉及一种业务模型的自动调整方法及装置。
背景技术
随着互联网技术和大数据技术的快速发展,在线交易、在线金融业务的市场呈现出爆炸式增长,这些在线业务中采用的精准营销活动也越来越多。目前精准营销活动的会员名单是通过技术人员针对各业务线建立营销模型,然后对会员打分并取排名靠前的会员作为营销对象。并且随着目标人群的不断变化,模型的精度也受到影响,当模型性能下降较多时,需要人工重新训练模型。
而针对目前大量精准营销活动需要模型的支持,且模型的调整将会成为常态的情况下,尤其是当模型的数量越来越多,模型更新的频率越来越高时,为了保证模型的精度,需要频繁地对各类精准营销活动的模型进行重新训练,就算是在模型特征没有发生较大调整的情况下,海量的模型维护工作也会耗费技术人员大量的时间和精力。
发明内容
本发明的实施例提供一种业务模型的自动调整方法及装置,能够节省技术人员的时间和精力。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明的实施例提供的方法,包括:根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式;
从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI);
当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本;
根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数。
结合第一方面,在第一方面的第一种可能的实现方式中,所述进行数据抽样得到的样本,包括:
采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本。
结合第一方面,在第一方面的第二种可能的实现方式中,所述进行数据抽样得到的样本,包括:
将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本;
将从各个部分中随机抽取得到的样本组成所述进行数据抽样得到的样本。
结合第一方面,在第一方面的第三种可能的实现方式中,所述进行数据抽样得到的样本,包括:
所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本;
从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本。
结合第一方面,在第一方面的第四种可能的实现方式中,所述进行数据抽样得到的样本,包括:
从所设定的目标相关联的变量类型中,确定预设的变量类型;
依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本。
结合第一方面,在第一方面的第五种可能的实现方式中,所述根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数,包括:
所述根据所得到的样本得到损失函数的参数梯度的负方向,所述损失函数为最小平方误差MSE损失函数;
根据所述损失函数的参数梯度的负方向,扫描全部样本并更新所述业务模型中所用的参数中所用的参数。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,包括:
根据所述损失函数的参数梯度的负方向,随机选取一批样本并更新所述业务模型中所用的参数中所用的参数。
结合第一方面的第五种可能的实现方式,在第七种可能的实现方式中,包括:
根据所述损失函数迭代指定次数,得到收敛后的参数值,作为更新后的所述业务模型中所用的参数中所用的参数。
第二方面,本发明的实施例提供的装置,包括:包括:
模型管理单元,用于根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式;
提取单元,用于从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI);
取样单元,用于当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本;
更新单元,用于根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数。
结合第二方面,在第二方面的第一种可能的实现方式中,所述取样单元,具体用于采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本;或者,将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本;并将从各个部分中随机抽取得到的样本组成所述进行数据抽样得到的样本;
或者,将所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本;并从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本;
或者,从所设定的目标相关联的变量类型中,确定预设的变量类型;并依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本。
本发明实施例提供的业务模型的自动调整方法及装置,通过对业务系统运行时的各个指标奖项监控,及时识别需要更新的业务模型,并自动进行新样本抽取,模型参数更新等过程。从而将业务系统运行中的最新的特性数据反馈给模型,并自动完成模型的自动调整,提高业务模型的维护效率。尤其是当模型较多,更新较频繁时,节省技术人员的时间和精力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图;
图2为本发明实施例提供的业务模型的自动调整方法的流程示意图;
图3为本发明实施例提供的业务模型的具体实例的执行过程的示意图;
图4为本发明实施例提供的业务模型的具体实例的梯度下降路径的示意图;
图5为本发明实施例提供的业务模型的自动调整装置的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本实施例所提及的方法流程,具体可以在一种如图1所示架构的系统中执行,其中包括:业务系统、分析服务器、数据库系统等。
业务系统具体可以是用于在线交易业务、金融业务或者物流业务等业务系统,比如:可以包括但不限于:在线购物平台、商品的价格管理系统、寻源系统、库存系统、促销系统、购物车管理系统、会员管理系统、自营店系统和订单系统等。
分析服务器具体可以是单独作成的服务器设备,比如:机架式、刀片、塔式或者机柜式的服务器设备,也可以采用工作站、大型计算机等具备较强计算能力硬件设备。分析服务器也可以是由多个服务器设备组成的服务器集群。分析服务器可以设置在室内空间中,比如:用于监控业务系统运行的监控中心,或者可以与业务系统集成在同一套硬件设备中,比如同一套服务器组网同时承担上述业务系统的功能和分析服务器的功能。分析服务器用于执行本实施例所提供的方法流程。
数据库系统具体可以是单独作成的,用于数据的管理、存储的服务器设备,也可以是由多个服务器设备组成的服务器集群。在数据库系统的硬件设备上运行数据库,用于管理并存储分析服务器获取并发送的视频数据、行为数据等数据。具体可以采用常用的网状数据库(Network Database)、关系数据库(Relational Database)、树状数据库(Hierarchical Database)、面向对象数据库(Object-oriented Database)等数据库架构。用于记录访问业务系统的用户的行为数据、用户的访问数据、历史数据等业务数据。
本发明实施例提供一种业务模型的自动调整方法,如图2所示,包括:
S1、根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式。
其中,业务模型具体可以是用于精准营销的业务系统中所采用的营销模型。
数据源具体指的是用于存储各个业务系统的用户的行为数据、用户的访问数据、历史数据等业务数据的存储设备,比如如图1所示的数据库系统。也可以是集成在各个业务系统的硬件设备中的存储器,比如业务系统的服务器中的磁盘、磁盘阵列、闪存等。
可以根据由技术人员所设定的与业务系统中目标相关联的变量类型,从业务系统运行时记录的历史数据、用户的访问数据、行为数据等数据中符合这些变量类型的数据,作为与业务目标有关联的特征数据,并根据这些特征数据采用机器学习算法建立初步的业务模型。并记录:从业务系统中筛选得到数据时的筛选条件,对于筛选得到的各个特征数据的处理方式,和所建立的初步的业务模型的权值矩阵W等。
S2、从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标。
其中,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI)。在本实施例中,监控指标可以根据具体的业务系统的类型设定,并不限定与上述一种或几种的组合。
具体的,在将所述业务模型部署至业务系统中或者对应于该业务系统的测试平台上后,可以通过Hive平台,关联与模型相关的数据源,采用建模时所记录的各类型的变量的处理方式对各个变量进行加工,所述进行加工包括:变量的异常值处理,缺失值处理等。并可以通过Python语言,定期将从所述数据源提取的变量导入所述业务模型,并运行部署至业务系统中或者对应于该业务系统的测试平台的业务模型(比如通过测试工具的模型程序运行业务模型),并对业务模型的运行结果进行监控得到监控指标。
S3、当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本。
其中,当所设定的对应一个业务系统的核心的监控指标出现预警时,分析服务器将会触发模型自动调整算法。并在进行模型自动调整之前进行数据抽样(所抽样的数据可以来源自各个业务系统在运行时直接记录下的业务数据,也可称为原始数据),以便于选取具有代表性的样本是后面进行模型调整优劣的关键。
在本实施例中,所述进行数据抽样得到的样本的具体方式,可以包括:采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本。例如:根据研究目的选定总体,通过随机原则采用不放回抽取方法,从总体中随机抽取一定数量的样本。由于对于抽取误差的计算也比较方便,对于中小型促销活动或者定时优惠券发放等规模较小但是刷新频率较高的业务系统,可以采用该抽样方式,以便于快速计算样本的抽取误差。
或者,所述进行数据抽样得到的样本,包括:将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本。并将从各个部分中随机抽取得到的样本组成所述进行数据抽样得到的样本。例如:先将总体(所述业务模型的运行结果的总和)等分成n个部分,然后再从每个部分随机抽取一个样本,将抽取的结果组成最后的抽取样本。这种方法简单,可以得到一个按比例分配的样本,抽取误差较小,适用于数据分布有周期趋势或者单调趋势以外的业务系统。
或者,所述进行数据抽样得到的样本,包括:所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本。并从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本。例如:先将总体划分为k个群组,每个群组包含m个样本,再随机抽取n个群,被抽到的群的全部样本组成最后的抽取样本。适用于存在较大规模的现场调查的业务系统中。
或者,所述进行数据抽样得到的样本,包括:从所设定的目标相关联的变量类型中,确定预设的变量类型。并依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本。例如:先将总体按某种特征分成若干层,再从每一层内随机抽取一定数量的样本。从而控制了抽取误差,在抽取时应尽量使层内差别小而层间差别大。可以应用于存在权限划分规则或者层级划分规则的业务系统,比如:存在等级划分的会员系统。
S4、根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数。
其中,若构建模型的损失函数采用如平方误差等最小平方误差MSE损失函数,则分析服务器可以在进行模型的调整过程中,模型参数可以通过其损失函数关于参数梯度的负方向进行更新。在模型经过上述过程的调整后,分析服务器再次计算各项核心监控指标,并检测本次更新是否满足实际需求。如果已经达到要求,分析服务器将会将本次更新的过程记录到日志中,并依此更新业务系统中所运行的业务模型的各个参数的权值矩阵。如果仍未达到要求,系统将重复上一步骤,直到满足需求或者达到一定次数为止。
由于在实际工作当中,模型的精度往往与业务定义紧密相关,由于各业务线的目标不同,客户群不同,具体的业务模式也不同。因此,往往会针对各业务线建立有针对性的模型。随着业务线的增多,模型的数量也在增长。而针对目前大量精准营销活动需要模型的支持,且模型的调整将会成为常态的情况下,尤其是当模型的数量越来越多,模型更新的频率越来越高时,为了保证模型的精度,需要频繁地对各类精准营销活动的模型进行重新训练,就算是在模型特征没有发生较大调整的情况下,海量的模型维护工作也会耗费技术人员大量的时间和精力。
而在本实施例中,通过对业务系统运行时的各个指标奖项监控,及时识别需要更新的业务模型,并自动进行新样本抽取,模型参数更新等过程。从而将业务系统运行中的最新的特性数据反馈给模型,并自动完成模型的自动调整,提高业务模型的维护效率,例如:如图3所示的,当初始的业务模型上线后,通过定期对模型进行评价,当发现模型性能不满足要求时,将会自动进行模型的更新。模型的更新依赖自身机制,无需人工介入。从而实现模型更新机制的快速化,流程化,自动化,能够实时对线上模型进行自动调整,以便模型能快速适应新客户群的特征,尤其是当模型较多,更新较频繁时,节省技术人员的时间和精力,从而降低人力成本,同时也将提高模型精度及营销活动的效果。
在本实施例中,所述根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数,包括:
所述根据所得到的样本得到损失函数的参数梯度的负方向,所述损失函数为最小平方误差MSE损失函数。
本实施例中采用的梯度下降法可以有两种方式:随机梯度下降法和批量梯度下降法,批量梯度下降法是扫描全部样本后再进行参数更新,而随机梯度下降法则随机选取一批样本进行参数的更新,两种梯度下降法的下降路径可以如图4所示。具体包括:根据所述损失函数的参数梯度的负方向,扫描全部样本并更新所述业务模型中所用的参数中所用的参数。或者,根据所述损失函数的参数梯度的负方向,随机选取一批样本并更新所述业务模型中所用的参数中所用的参数。
可选的,在本实施例中,对于采用小批量样进行模型更新的场景中,也可以采用mini-batch的方式,包括:
具体的,本实施例了中所采用的损失函数可以表示为
Figure BDA0001144095690000111
其中,θ表示特征,x表示特征矩阵,y表示标签,hθ表示激活函数,θj表示第j个特征参数,α表示梯度步长,m表示样本数量,j表示需要更新的第j个特征参数,通过对该公式进行一定次数的迭代,参数将逐渐收敛。并根据所述损失函数迭代指定次数,得到收敛后的参数值,作为更新后的所述业务模型中所用的参数中所用的参数。其中,梯度步长的大小决定了梯度下降的速度,越大的步长则学习速度也越快,但同时振荡往返也会加剧,有时反而使得速度变慢,同时若梯度步长太小,也会使得速度变慢,而容易陷入局部极小。举例来说,在本实施例中,参数更新公式可以表示为:
Figure BDA0001144095690000112
其中,θi表示第i个特征参数,J(θ)表示求偏导数,
Figure BDA0001144095690000121
表示求导数。
在本实施例中,通过对业务系统运行时的各个指标奖项监控,及时识别需要更新的业务模型,并自动进行新样本抽取,模型参数更新等过程。从而将业务系统运行中的最新的特性数据反馈给模型,并自动完成模型的自动调整,提高业务模型的维护效率。从而实现模型更新机制的快速化,流程化,自动化,能够实时对线上模型进行自动调整,以便模型能快速适应新客户群的特征,尤其是当模型较多,更新较频繁时,节省技术人员的时间和精力,从而降低人力成本,同时也将提高模型精度及营销活动的效果。
本发明实施例还提供一种业务模型的自动调整装置,可以运行在如图1所示的分析服务器上,该自动调整装置如图5所示,包括:
模型管理单元,用于根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式。
提取单元,用于从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI)。
取样单元,用于当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本。
更新单元,用于根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数。
其中,所述取样单元,具体用于采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本。或者,将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本。并将从各个部分中随机抽取得到的样本组成所述进行数据抽样得到的样本。
或者,将所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本。并从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本。
或者,从所设定的目标相关联的变量类型中,确定预设的变量类型。并依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本。
在本实施例中,通过对业务系统运行时的各个指标奖项监控,及时识别需要更新的业务模型,并自动进行新样本抽取,模型参数更新等过程。从而将业务系统运行中的最新的特性数据反馈给模型,并自动完成模型的自动调整,提高业务模型的维护效率。从而实现模型更新机制的快速化,流程化,自动化,能够实时对线上模型进行自动调整,以便模型能快速适应新客户群的特征,尤其是当模型较多,更新较频繁时,节省技术人员的时间和精力,从而降低人力成本,同时也将提高模型精度及营销活动的效果。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种业务模型的自动调整方法,其特征在于,包括:
根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式;
从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI);
当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本;
根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数;
所述进行数据抽样得到的样本,包括:采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本;
或者,针对数据分布有周期趋势或者单调趋势以外的业务系统,所述进行数据抽样得到的样本,包括:将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本;
或者,针对大规模的现场调查的业务系统,所述进行数据抽样得到的样本,包括:所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本;并从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本;
或者,针对存在权限划分规则或者层级划分规则的业务系统,所述进行数据抽样得到的样本,包括:从所设定的目标相关联的变量类型中,确定预设的变量类型;并依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本;
其中,分析服务器计算各项核心监控指标,并检测本次更新是否满足实际需求,如果已经达到要求,分析服务器将会将本次更新的过程记录到日志中,并依此日志更新业务系统中所运行的业务模型的各个参数的权值矩阵。
2.根据权利要求1所述的方法,其特征在于,所述根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数,包括:
所述根据所得到的样本得到损失函数的参数梯度的负方向,所述损失函数为最小平方误差MSE损失函数;
根据所述损失函数的参数梯度的负方向,扫描全部样本并更新所述业务模型中所用的参数中所用的参数。
3.根据权利要求2所述的方法,其特征在于,包括:
根据所述损失函数的参数梯度的负方向,随机选取一批样本并更新所述业务模型中所用的参数中所用的参数。
4.根据权利要求2所述的方法,其特征在于,包括:
根据所述损失函数迭代指定次数,得到收敛后的参数值,作为更新后的所述业务模型中所用的参数中所用的参数。
5.一种业务模型的自动调整装置,其特征在于,包括:
模型管理单元,用于根据与业务系统中所设定的目标相关联的变量类型,建立业务模型,并记录各类型的变量的处理方式;
提取单元,用于从与业务模型相关的数据源提取变量,根据所记录的各类型的变量的处理方式,将从所述数据源提取的变量导入所述业务模型运行,并获取所述业务模型运行的监控指标,所述监控指标至少包括:实际销售转化率、模型误差或模型稳定性指数(PSI);
取样单元,用于当根据所述监控指标判定需要触发模型自动更新时,进行数据抽样并得到样本;
更新单元,用于根据所得到的样本确定损失函数,并根据所确定的损失函数更新所述业务模型中所用的参数;
所述取样单元,具体用于采用不放回抽取的方式,从所述业务模型的运行结果中随机抽取指定数量的样本;或者,将所述业务模型的运行结果等分成n个部分,并从每个部分中随机抽取一个样本;并将从各个部分中随机抽取得到的样本组成所述进行数据抽样得到的样本;
或者,将所述业务模型的运行结果划分为k个群组,其中,每个群组包含m个样本;并从k个群组中随机抽取n个群组,将被抽到的群组的全部样本组成所述进行数据抽样得到的样本;
或者,从所设定的目标相关联的变量类型中,确定预设的变量类型;并依据所述预设的变量类型,将所述业务模型的运行结果划分成指定数量的层级,并从每一层内随机抽取样本,组成所述进行数据抽样得到的样本;
其中,分析服务器计算各项核心监控指标,并检测本次更新是否满足实际需求,如果已经达到要求,分析服务器将会将本次更新的过程记录到日志中,并依此日志更新业务系统中所运行的业务模型的各个参数的权值矩阵。
CN201610973518.2A 2016-11-04 2016-11-04 一种业务模型的自动调整方法及装置 Active CN108022123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610973518.2A CN108022123B (zh) 2016-11-04 2016-11-04 一种业务模型的自动调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610973518.2A CN108022123B (zh) 2016-11-04 2016-11-04 一种业务模型的自动调整方法及装置

Publications (2)

Publication Number Publication Date
CN108022123A CN108022123A (zh) 2018-05-11
CN108022123B true CN108022123B (zh) 2021-12-07

Family

ID=62083644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610973518.2A Active CN108022123B (zh) 2016-11-04 2016-11-04 一种业务模型的自动调整方法及装置

Country Status (1)

Country Link
CN (1) CN108022123B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213597A (zh) * 2018-08-01 2019-01-15 平安科技(深圳)有限公司 资源分配方法、装置、计算机设备及计算机可读存储介质
CN109934615B (zh) * 2019-01-22 2021-07-13 中信银行股份有限公司 基于深度稀疏网络的产品营销方法
CN111652379B (zh) * 2020-05-29 2024-04-16 京东城市(北京)数字科技有限公司 模型管理方法、装置、电子设备及存储介质
CN113610657B (zh) * 2021-10-10 2021-12-24 江苏四方精密钢管有限公司 一种钢管制品的推广销售方法及系统
CN116842238B (zh) * 2023-07-24 2024-03-22 右来了(北京)科技有限公司 基于大数据分析的企业数据可视化实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933011A (zh) * 2014-03-18 2015-09-23 日本电气株式会社 关系模型的确定方法及装置
CN104992233A (zh) * 2015-05-29 2015-10-21 上海计算机软件技术开发中心 一种基于svm的科技服务业产出预测方法
CN105825393A (zh) * 2015-01-09 2016-08-03 阿里巴巴集团控股有限公司 一种基于计量模型的决策方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054847B2 (en) * 2001-09-05 2006-05-30 Pavilion Technologies, Inc. System and method for on-line training of a support vector machine
FR2962831A1 (fr) * 2010-07-16 2012-01-20 Act750 Procede d'estimation du risque d'attrition
US9299010B2 (en) * 2014-06-03 2016-03-29 Raytheon Company Data fusion analysis for maritime automatic target recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933011A (zh) * 2014-03-18 2015-09-23 日本电气株式会社 关系模型的确定方法及装置
CN105825393A (zh) * 2015-01-09 2016-08-03 阿里巴巴集团控股有限公司 一种基于计量模型的决策方法和装置
CN104992233A (zh) * 2015-05-29 2015-10-21 上海计算机软件技术开发中心 一种基于svm的科技服务业产出预测方法

Also Published As

Publication number Publication date
CN108022123A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN108022123B (zh) 一种业务模型的自动调整方法及装置
JP6344395B2 (ja) 払出量予測装置、払出量予測方法、プログラム、及び、払出量予測システム
CN110730099B (zh) 基于历史流量数据时间序列的流量预测方法
JP6459968B2 (ja) 商品推薦装置、商品推薦方法、及び、プログラム
CN109767012A (zh) 用以生成资产工作范围运行的设备、存储介质和方法
CN111368089A (zh) 一种基于知识图谱的业务处理方法及装置
CN103646086A (zh) 一种垃圾文件的清理方法和装置
WO2015166637A1 (ja) メンテナンス時期決定装置、劣化予測システム、劣化予測方法および記録媒体
CN109918313B (zh) 一种基于GBDT决策树的SaaS软件性能故障诊断方法
US10963802B1 (en) Distributed decision variable tuning system for machine learning
CN111340063A (zh) 一种磨煤机数据异常检测方法
CN111027629A (zh) 基于改进随机森林的配电网故障停电率预测方法及系统
CN113868953B (zh) 工业系统中多机组运行优化方法、装置、系统及存储介质
JPWO2015040791A1 (ja) 発注量決定装置、発注量決定方法、プログラム、及び、発注量決定システム
CN113506050A (zh) 员工绩效的评估方法、装置、电子设备及可读存储介质
CN109978575B (zh) 一种挖掘用户流量经营场景的方法及装置
CN108205714A (zh) 基于平均故障间隔时间的服务备件需求预测方法和装置
US20150088789A1 (en) Hierarchical latent variable model estimation device, hierarchical latent variable model estimation method, supply amount prediction device, supply amount prediction method, and recording medium
CN111242368A (zh) 一种基于场景推演的物流配送调度算法
CN110766100A (zh) 轴承故障诊断模型构建方法、诊断方法及电子设备
CN114897204A (zh) 一种海上风电场短期风速预测方法和装置
CN106779245B (zh) 基于事件的民航需求预测方法和装置
CN110161986A (zh) 用于为工厂自动实施过程失败模式和效果分析的方法和系统
CN113610225A (zh) 质量评估模型训练方法、装置、电子设备及存储介质
CN117150389B (zh) 模型训练方法、运营商号卡激活预测方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Applicant after: SUNING.COM Co.,Ltd.

Address before: 210042 Suning Headquarters, No. 1 Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Applicant before: SUNING COMMERCE GROUP Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210728

Address after: Room 834, Yingying building, 99 Tuanjie Road, yanchuangyuan, Jiangbei new district, Nanjing, Jiangsu 210000

Applicant after: Nanjing Xingyun Digital Technology Co.,Ltd.

Address before: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Applicant before: SUNING.COM Co.,Ltd.

GR01 Patent grant
GR01 Patent grant