CN110766465A - 金融产品评估方法及其验证方法、装置 - Google Patents

金融产品评估方法及其验证方法、装置 Download PDF

Info

Publication number
CN110766465A
CN110766465A CN201911016359.7A CN201911016359A CN110766465A CN 110766465 A CN110766465 A CN 110766465A CN 201911016359 A CN201911016359 A CN 201911016359A CN 110766465 A CN110766465 A CN 110766465A
Authority
CN
China
Prior art keywords
index data
financial product
technical index
preset time
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911016359.7A
Other languages
English (en)
Inventor
周治翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaixin Financial Technology Service Jiangsu Co Ltd
Original Assignee
Kaixin Financial Technology Service Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaixin Financial Technology Service Jiangsu Co Ltd filed Critical Kaixin Financial Technology Service Jiangsu Co Ltd
Priority to CN201911016359.7A priority Critical patent/CN110766465A/zh
Publication of CN110766465A publication Critical patent/CN110766465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种金融产品评估方法及其验证方法、装置、计算机设备和存储介质。所述方法包括：通过获取预处理后的第一预设时间内的金融产品的第一技术指标数据，进而将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；再获取预处理后的第二预设时间内的金融产品的第二技术指标数据；最后将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。采用本方法能够提高分类效果及计算效率，增加评估过程中数据的可读性。

Description

金融产品评估方法及其验证方法、装置
技术领域
本申请涉及金融技术领域，特别是涉及一种金融产品评估方法及其验证方法、装置、计算机设备和存储介质。
背景技术
随着数据挖掘技术的不断发展，已广泛应用到金融产品投资中，尤其是在分类预测场景、回归预测场景、商品推荐场景中的应用，为企业在面临营销活动没有针对性、市场活动预算有限、客户流程加剧等问题时提供了有效的用户分类解决方案。
当前针对金融行业营销场景中的分类问题，主要以传统的逻辑回归为核心算法。逻辑回归算法主要将线性回归的结果通过sigmod函数映射到0到1之间，映射的结果可以看作是数据样本点属于某一类的概率，如果结果越接近0或者1，说明分类结果的可信度越高。
然而，目前的方法，存在效率低下或浪费资源等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种金融产品评估方法及其验证方法、装置、计算机设备和存储介质。
一种金融产品评估方法，所述方法包括：
获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
在其中一个实施例中，所述获取预处理后的第一预设时间内的金融产品的第一技术指标数据包括：
获取预处理前的第一预设时间内的金融产品的第一技术指标数据；
对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维，得到预处理后的第一预设时间内的金融产品的第一技术指标数据。
在其中一个实施例中，所述对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维包括：
采用dummyVars函数对所述预处理前的第一预设时间内的金融产品的第一技术指标数据进行二进制转化，得到转化后的第一预设时间内的金融产品的第一技术指标数据；
采用preProcess函数对转化后的第一预设时间内的金融产品的第一技术指标数据进行缺失值的填充，得到完整的第一预设时间内的金融产品的第一技术指标数据；
采用cor函数计算完整的第一预设时间内的金融产品的第一技术指标数据之间的相关性以及第一技术指标数据与金融产品目标指标的相关性，得到第一技术指标数据之间的相关性所对应的第一相关度和第一技术指标数据与应变量的相关性所对应的第二相关度；
若所述第一技术指标数据中的指标数据的第一相关度大于第一预设阈值，和/或，所述第一技术指标数据中的指标数据与应变量之间的第二相关度大于第二预设阈值，则去除所述完整的第一预设时间内的金融产品的第一技术指标数据中的指标数据。
在其中一个实施例中，所述将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型包括：
获取初始分类模型；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据作为输入数据输入初始分类模型，得到输出数据；
采用xgb.importance函数对所述输出数据进行筛选，得到筛选后的输出数据；
重复将筛选后的输出数据作为输入数据输入分类模型，直至所述分类模型的迭代次数达到预设迭代阈值，确定训练好的分类模型。
一种金融产品评估方法的验证方法，所述方法包括：
获取第二技术指标数据对应的用户评分；
对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
一种金融产品评估装置，所述装置包括：
第一技术指标数据获取模块，用于获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
模型训练模块，用于将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
第二技术指标数据获取模块，用于获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
用户评分确定模块，用于将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
一种金融产品评估方法的验证装置，所述装置包括：
用户评分获取模块，用于获取第二技术指标数据对应的用户评分；
评分排序模块，用于对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
数据划分模块，用于将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
响应率比例计算模块，用于计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
上述金融产品评估方法及其验证方法、装置、计算机设备和存储介质，通过获取预处理后的第一预设时间内的金融产品的第一技术指标数据，进而将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；再获取预处理后的第二预设时间内的金融产品的第二技术指标数据；最后将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。通过分类模型对金融产品目标指标进行评分，可提高分类效果及计算效率，扩大不同的金融产品目标指标的应用性，且增加评估过程中数据的可读性。
附图说明
图1为一个实施例中一种金融产品评估方法的应用环境图；
图2为一个实施例中一种金融产品评估方法的流程示意图；
图3为一个实施例中步骤S1的流程示意图；
图4为一个实施例中预处理前的第一技术指标数据示意图；
图5为一个实施例中步骤S12的流程示意图；
图6为一个实施例中步骤S2的流程示意图；
图7为另一个实施例中一种金融产品评估方法的验证方法的流程示意图；
图8为一个实施例中一种金融产品评估装置的结构框图；
图9为一个实施例中一种金融产品评估方法的验证装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种金融产品评估方法，可以应用于如图1所示的应用环境中。其中，终端90通过网络与服务器91进行通信。终端90获取预处理后的第一预设时间内的金融产品的第一技术指标数据，并将所述预处理后的第一预设时间内的金融产品的第一技术指标数据传输至服务器91，服务器91将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；终端90再获取预处理后的第二预设时间内的金融产品的第二技术指标数据，并将所述预处理后的第二预设时间内的金融产品的第二技术指标数据传输至服务器91，服务器91将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。其中，终端90可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器91可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种金融产品评估方法，以该方法应用于图1中的服务器91为例进行说明，包括以下步骤：
步骤S1：获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
步骤S2：将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
步骤S3：获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
步骤S4：将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
在步骤S1-S4中，初始分类模型主要采用XGboost(极值梯度提升)算法，此算法通过一个弱学习算法，从初始训练集中训练出一个弱学习器，根据弱学习器的表现对训练样本分布进行调整，使得先前弱学习做错的样本在后续训练中受到关注，用于训练下一个学习器，如此反复学习，得到一系列弱学习器，构成一个强学习器，是集成学习的一类。
XGboost应用场景：作为当前热门的分类算法，它已经广泛应用到金融及快消行业(例如阿里、美赞臣)营销场景中的活动响应预测、客户流失预警、交叉销售中，针对当前市场活动预算有限、活动针对性不强、客户购买产品单一等问题提供了高效率的机器学习方法。相比较其他分类方法的优点：引入正则化项，控制了模型的复杂度。从贝叶斯方差角度考虑，正则项降低了模型的方差，防止模型过拟合，当样本存在缺失值，能自动学习分裂方向。相比较其他分类方法的缺点：采用level-wise生成决策树，同时分裂同一层的叶子，从而进行多线程优化，不容易过拟合，但很多叶子节点的分裂增益较低，没必要进行跟进一步的分裂，这就带来了不必要的开销。
XGboost包可在Rstudio中直接加载，XGboost包主体部分如下所示：
xgb.train(params＝list(),data,nrounds,watchlist＝list(),obj＝NULL,feval＝NULL,verbose＝1,print_every_n＝1L,early_stopping_rounds＝NULL,maximize＝NULL,save_period＝NULL,save_name＝"xgboost.model",xgb_model＝NULL,callbacks＝list(),…)；
xgboost(data＝NULL,label＝NULL,missing＝NA,weight＝NULL,params＝list(),nrounds,verbose＝1,print_every_n＝1L,early_stopping_rounds＝NULL,maximize＝NULL,save_period＝0,save_name＝"xgboost.model",xgb_model＝NULL,callbacks＝list(),…)。
第一技术指标对初始分类模型进行训练，第二技术数据指标通过训练好的分类模型，获得第二技术指标数据对应的用户评分。
上述金融产品评估方法，通过获取预处理后的第一预设时间内的金融产品的第一技术指标数据，进而将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；再获取预处理后的第二预设时间内的金融产品的第二技术指标数据；最后将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。通过分类模型对金融产品目标指标进行评分，可提高分类效果及计算效率，扩大不同的金融产品目标指标的应用性，且增加评估过程中数据的可读性。
在其中一个实施例中，参见图3和图4，所述步骤S1包括：
步骤S11：获取预处理前的第一预设时间内的金融产品的第一技术指标数据。
具体地，预处理前的第一预设时间内的金融产品的第一技术指标数据指与金融产品目标指标相关的数据，包括三大类，第一类是项目相关指标，第二类是外部指标，第三类是用户行为指标(即用户属性及投资行为指标)。其中，项目相关指标包括项目发布数量、项目发布金额、项目发布频率、项目期限和项目利率；外部指标包括上证指数和房地产价格指数，可从新浪财经和国家统计局官网中获取；用户行为指标包括性别、年龄、投资项目数量、投资金额及利率、投资频次、余额和回款。
第一预设时间指连续的一段时间，如6个月、8个月或2年等，具体时间根据需求进行设定。对于第一技术指标数据需要进行预处理，才能使用，以增强数据的有效性。
例，获取连续21个月的第一技术指标数据，时间周期为2017年7月至2019年3月，以每个月的月初作为时间观测点的项目相关指标、用户行为指标及外部指标，指标数据选取截止每月观测点的平台所有投资非定投项目用户，总共172万条数据，指标的归集和衍生指标的加工都通过SQL语句在MySQL中实现，之后将样本数据集保存为csv格式导入Rstudio中，以备下一步数据的清洗和预处理。数据清洗指将获取的所有指标数据进行拆分，即以观测时间指标将样本数据拆分成2017-07至2018-12(指标数据集一)、2019-01至2019-03(指标数据集二)两部分，将观测点用户未来一个月是否单笔投资30W(0/1)作为金融产品目标指标。因为2017-07至2018-12的指标数据是用来训练初始分类模型的主要数据，但经过数据探查，指标数据集一中用户响应率(未来一个月单笔投资30W用户占比)小于1％，导致欠采样(undersampling)，所以需要保留所有正样本(观测点后一个月单笔投资过30W的用户数据)，减少负样本的数据量(观测点后一个月未单笔投资30W的用户数据)，将用户响应率提升至1％。随后将新指标数据(即预处理前的第一预设时间内的金融产品的第一技术指标数据)用sample函数进行随机取样，70％的训练集作为建模型，30％的验证集作为验证集。应用集为2019-01至2019-03作为时间观测点的三个月的数据(即预处理前的第二预设时间内的金融产品的第二技术指标数据中的部分)，保持不变。第一技术指标数据和第二技术指标数据(包括第一技术指标数据和应用集数据)的预处理过程相同，具体见对第一技术指标数据的预处理过程，第二数据指标数据的预测就不再赘述。
步骤S12：对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维，得到预处理后的第一预设时间内的金融产品的第一技术指标数据。
具体地，数据转化指将文本、数字以及其他形式表示的指标数据转化成计算机可识别的数据，便于后期模型训练以及验证。数据填充指在数据导入的过程中难免遇到指标数据丢失或不完整的情况，对对应指标数据进行补充的过程。数据降维指为了降低数据之间的相关度以及防止模型过拟合，将部分指标数据进行剔除的过程。
在其中一个实施例中，参见图5，所述步骤S12包括：
步骤S121：采用dummyVars函数对所述预处理前的第一预设时间内的金融产品的第一技术指标数据进行二进制转化，得到转化后的第一预设时间内的金融产品的第一技术指标数据；
步骤S122：采用preProcess函数对转化后的第一预设时间内的金融产品的第一技术指标数据进行缺失值的填充，得到完整的第一预设时间内的金融产品的第一技术指标数据；
步骤S123：采用cor函数计算完整的第一预设时间内的金融产品的第一技术指标数据之间的相关性以及第一技术指标数据与金融产品目标指标的相关性，得到第一技术指标数据之间的相关性所对应的第一相关度和第一技术指标数据与应变量的相关性所对应的第二相关度；
步骤S124：若所述第一技术指标数据中的指标数据的第一相关度大于第一预设阈值，和/或，所述第一技术指标数据中的指标数据与应变量之间的第二相关度大于第二预设阈值，则去除所述完整的第一预设时间内的金融产品的第一技术指标数据中的指标数据。
在步骤S121-S124中，二进制转化指将指标数据(例如用户类别包含两个文本值)转化成两个0/1变量，便于机器学习。缺失值填充是用preProcess函数，采用medianImpute方法用选用数据集中对应变量的中值来填充样本的缺失值。变量降维是去除相关性较高的指标，在Rstudio中，可通过cor函数计算指标数据之间及指标数据和金融产品目标指标之间的相关性。例，若指标数据之间相关性大于75％，和/或，指标数据和金融产品目标指标之间的相关性大于90％，为防止模型过拟合，将满足以上任意一种类型的指标数据进行剔除。
通过上述预处理过程，得到的指标数据可用于后期模型的训练以及验证。
在其中一个实施例中，参见图6，所述步骤S2包括：
步骤S21：获取初始分类模型；
步骤S22：将所述预处理后的第一预设时间内的金融产品的第一技术指标数据作为输入数据输入初始分类模型，得到输出数据；
步骤S23：采用xgb.importance函数对所述输出数据进行筛选，得到筛选后的输出数据；
步骤S24：重复将筛选后的输出数据作为输入数据输入分类模型，直至所述分类模型的迭代次数达到预设迭代阈值，确定训练好的分类模型。
在步骤S21-S24中，初始分类模型训练主要分为两个重要步骤：第一，初始分类模型训练。模型相关参数的设置，调用xgb.train，xgb.train接口比xgboost接口更灵活，多了watchlist用来查看输出,在params中需要设定5个重要参数，第一个是objective参数，即选择XGboost的模型类型，在当前预测场景中，需要选用binary:logistic，即二分类逻辑回归；第二个是eval_metric，即模型拟合目标，设置为auc，第三个是eta，即学习率，设置为0.1,第三个是subsample，即采样率，设置为0.8，第四个是colsample_bylevel，即列采样率，设置为0.8,第五个是max_depth，即树的最大深度，用来防止过拟合，设置为4，以上参数值的设置是基于函数推荐的参数选择范围不断调整而得，基本参数设置完之后，将设置完的参数以及通过xgb.DMatrix转化后建模集和验证集写入函数中，设置early_stopping_rounds，即初始分类模型停止训练的阈值(即预设迭代阈值)，此处设置为10，即连续10轮迭代中模型的效果没有提升就选择停止学习。最终通过xgb.importance函数对输出数据进行筛选，得到50个指标数据，用于在下一步模型拟合中继续删选验证。
第二，分类模型拟合。在模型的拟合过程中，也通过xgb.train函数，但在参数选择上，为了防止模型的过拟合需要增加三个参数，第一个是gamma，用于判断节点分裂，损失函数减小值只有大于等于gamma节点才分裂，设置值为1，第二个是lambda，即L2正则化，也用于控制模型过拟合，设置值为2，第三个是alpha，即L1正则化，增加该值会让模型更加收敛，设置值为1。在模型停止训练后，可以将最佳迭代次数best_iteration重新带入到xgboost函数中，得出训练好的分类模型及输出数据，训练好的分类模型可以通过xgb.save函数保存在本地，更进一步可以通过xgb.model.dt.tree对保存的模型进行解析，生成可读的规则，规则中说明最终拟合出多少提升数，并且在每个树中每个变量在什么点分裂成不同的枝，以及在最终的页节点上用户的得分情况，根据解析的Excel文档，并在MYSQL中可以写成SQL代码，实现为每个用户打分。
本申请文件还提供一种金融产品评估方法的验证方法，参见图7，所述方法包括：
步骤S5：获取第二技术指标数据对应的用户评分；
步骤S6：对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
步骤S7：将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
步骤S8：计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
在步骤S5-S8中，运用已转化为SQL代码的XGboost模型，在模型建立集、验证集和应用集上对每个用户样本进行评分，按评分从高到低排序，之后将三个数据集数据划分成十等分，计算每个等分中响应率比例，以验证实际发生购买30W的用户在前几个等分中占比是否越高。运用ggplot函数，将三个数据集中每个等分正样本的响应率呈现在一张图表中，观察三张曲线的重合效果，以判断模拟的泛化能力，如果三条线的重合程度越高，说明模型拟合效果越强。
本发明技术方案带来的有益效果：
1、将金融行业营销场景中的分类问题打包成完整的解决方案，集合指标梳理及准备、数据清洗、模型建立、模型验证四个重点过程，具备可推广性。
2、根据模型能够对金融产品目标指标(用户投资30W的概率)进行评分，基于模型验证结果，评分前10％的用户的响应率是样本平均响应率的9倍，大大提高营销活动的针对性。
3、能够有效减少步骤二的复杂度，让数据集不需要较完善的数据清洗过程也能够达到优良的分类效果。并且步骤三的运算效率高，基于算法能自动选择最优参数，同时，无需基于SAS Enterprise等收费软件，在开源RStudio和Python上都能实现。
4、能够直接输出验证结果Excel，增强结果的可读性。
应该理解的是，虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种金融产品评估装置，包括：第一技术指标数据获取模块10、模型训练模块20、第二技术指标数据获取模块30和用户评分确定模块40，其中：
第一技术指标数据获取模块10，用于获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
模型训练模块20，用于将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
第二技术指标数据获取模块30，用于获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
第二技术指标数据获取模块40，用于将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
在其中一个实施例中，所述第一技术指标数据获取模块10包括：
预处理前第一技术指标数据获取模块101，用于获取预处理前的第一预设时间内的金融产品的第一技术指标数据；
预处理模块102，用于对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维，得到预处理后的第一预设时间内的金融产品的第一技术指标数据。
在其中一个实施例中，所述预处理模块102包括：
数据转化模块1021，用于采用dummyVars函数对所述预处理前的第一预设时间内的金融产品的第一技术指标数据进行二进制转化，得到转化后的第一预设时间内的金融产品的第一技术指标数据；
数据填充模块1022，用于采用preProcess函数对转化后的第一预设时间内的金融产品的第一技术指标数据进行缺失值的填充，得到完整的第一预设时间内的金融产品的第一技术指标数据；
数据降温模块1023，用于采用cor函数计算完整的第一预设时间内的金融产品的第一技术指标数据之间的相关性以及第一技术指标数据与金融产品目标指标的相关性，得到第一技术指标数据之间的相关性所对应的第一相关度和第一技术指标数据与应变量的相关性所对应的第二相关度；
判断模块1024，用于若所述第一技术指标数据中的指标数据的第一相关度大于第一预设阈值，和/或，所述第一技术指标数据中的指标数据与应变量之间的第二相关度大于第二预设阈值，则去除所述完整的第一预设时间内的金融产品的第一技术指标数据中的指标数据。
在其中一个实施例中，所述模型训练模块20包括：
初始分类模型获取模块201，用于获取初始分类模型；
初始分类模型训练模块202，用于将所述预处理后的第一预设时间内的金融产品的第一技术指标数据作为输入数据输入初始分类模型，得到输出数据；
数据筛选模块203，用于采用xgb.importance函数对所述输出数据进行筛选，得到筛选后的输出数据；
迭代模块204，用于重复将筛选后的输出数据作为输入数据输入分类模型，直至所述分类模型的迭代次数达到预设迭代阈值，确定训练好的分类模型。
本申请文件还提供一种金融产品评估方法的验证装置，如图9所示，所述装置包括：
用户评分获取模块50，用于获取第二技术指标数据对应的用户评分；
评分排序模块60，用于对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
数据划分模块70，用于将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
响应率比例计算模块80，用于计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
关于一种金融产品评估装置以及一种金融产品评估方法的验证装置的具体限定可以参见上文中对于一种金融产品评估方法和一种金融产品评估方法的验证方法的限定，在此不再赘述。上述一种金融产品评估装置以及一种金融产品评估方法的验证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储金融产品评估数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种金融产品评估方法和一种金融产品评估方法的验证方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取第二技术指标数据对应的用户评分；
对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取第二技术指标数据对应的用户评分；
对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种金融产品评估方法，其特征在于，所述方法包括：
获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
2.根据权利要求1所述的方法，其特征在于，所述获取预处理后的第一预设时间内的金融产品的第一技术指标数据包括：
获取预处理前的第一预设时间内的金融产品的第一技术指标数据；
对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维，得到预处理后的第一预设时间内的金融产品的第一技术指标数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述预处理前的第一预设时间内的金融产品的第一技术指标数据依次进行数据转化、数据填充以及数据降维包括：
采用dummyVars函数对所述预处理前的第一预设时间内的金融产品的第一技术指标数据进行二进制转化，得到转化后的第一预设时间内的金融产品的第一技术指标数据；
采用preProcess函数对转化后的第一预设时间内的金融产品的第一技术指标数据进行缺失值的填充，得到完整的第一预设时间内的金融产品的第一技术指标数据；
采用cor函数计算完整的第一预设时间内的金融产品的第一技术指标数据之间的相关性以及第一技术指标数据与金融产品目标指标的相关性，得到第一技术指标数据之间的相关性所对应的第一相关度和第一技术指标数据与应变量的相关性所对应的第二相关度；
若所述第一技术指标数据中的指标数据的第一相关度大于第一预设阈值，和/或，所述第一技术指标数据中的指标数据与应变量之间的第二相关度大于第二预设阈值，则去除所述完整的第一预设时间内的金融产品的第一技术指标数据中的指标数据。
4.根据权利要求1所述的方法，其特征在于，所述将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型包括：
获取初始分类模型；
将所述预处理后的第一预设时间内的金融产品的第一技术指标数据作为输入数据输入初始分类模型，得到输出数据；
采用xgb.importance函数对所述输出数据进行筛选，得到筛选后的输出数据；
重复将筛选后的输出数据作为输入数据输入分类模型，直至所述分类模型的迭代次数达到预设迭代阈值，确定训练好的分类模型。
5.一种金融产品评估方法的验证方法，其特征在于，所述方法包括：
获取第二技术指标数据对应的用户评分；
对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
6.一种金融产品评估装置，其特征在于，所述装置包括：
第一技术指标数据获取模块，用于获取预处理后的第一预设时间内的金融产品的第一技术指标数据；
模型训练模块，用于将所述预处理后的第一预设时间内的金融产品的第一技术指标数据输入初始分类模型，确定训练好的分类模型，其中，所述分类模型对所述预处理后的第一预设时间内的金融产品的第一技术指标数据进行至少一次迭代；
第二技术指标数据获取模块，用于获取预处理后的第二预设时间内的金融产品的第二技术指标数据；
用户评分确定模块，用于将预处理后的第二预设时间内的金融产品的第二技术指标数据输入训练好的分类模型，得到所述第二技术指标数据对应的用户评分。
7.一种金融产品评估方法的验证装置，其特征在于，所述装置包括：
用户评分获取模块，用于获取第二技术指标数据对应的用户评分；
评分排序模块，用于对所述第二技术指标数据对应的用户评分按照分数高低进行排序，得到排序后的用户评分；
数据划分模块，用于将所述排序后的用户评分按照预设份数进行划分，得到预设份数的评分集；
响应率比例计算模块，用于计算所述预设份数中每份评分集的响应率比例，并根据所述响应率比例验证用户购买所述金融产品的概率。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4或5中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5中任一项所述的方法的步骤。
CN201911016359.7A 2019-10-24 2019-10-24 金融产品评估方法及其验证方法、装置 Pending CN110766465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911016359.7A CN110766465A (zh) 2019-10-24 2019-10-24 金融产品评估方法及其验证方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911016359.7A CN110766465A (zh) 2019-10-24 2019-10-24 金融产品评估方法及其验证方法、装置

Publications (1)

Publication Number Publication Date
CN110766465A true CN110766465A (zh) 2020-02-07

Family

ID=69333505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911016359.7A Pending CN110766465A (zh) 2019-10-24 2019-10-24 金融产品评估方法及其验证方法、装置

Country Status (1)

Country Link
CN (1) CN110766465A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754317A (zh) * 2020-06-16 2020-10-09 曹明洲 一种金融投资数据测评方法及系统
CN113420836A (zh) * 2021-07-30 2021-09-21 平安资产管理有限责任公司 基于分类模型的目标产品分类方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665355A (zh) * 2018-05-18 2018-10-16 深圳壹账通智能科技有限公司 金融产品推荐方法、装置、设备和计算机存储介质
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
CN109426891A (zh) * 2018-05-31 2019-03-05 国信优易数据有限公司 一种高送转电子金融产品的预测系统及方法
CN109767039A (zh) * 2019-01-14 2019-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 技术交易的数据处理方法、装置、计算机设备和存储介质
CN110189191A (zh) * 2019-05-05 2019-08-30 苏宁易购集团股份有限公司 一种基于实时模型的金融产品推荐方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665355A (zh) * 2018-05-18 2018-10-16 深圳壹账通智能科技有限公司 金融产品推荐方法、装置、设备和计算机存储介质
CN109426891A (zh) * 2018-05-31 2019-03-05 国信优易数据有限公司 一种高送转电子金融产品的预测系统及方法
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
CN109767039A (zh) * 2019-01-14 2019-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 技术交易的数据处理方法、装置、计算机设备和存储介质
CN110189191A (zh) * 2019-05-05 2019-08-30 苏宁易购集团股份有限公司 一种基于实时模型的金融产品推荐方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754317A (zh) * 2020-06-16 2020-10-09 曹明洲 一种金融投资数据测评方法及系统
CN113420836A (zh) * 2021-07-30 2021-09-21 平安资产管理有限责任公司 基于分类模型的目标产品分类方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN109960725B (zh) 基于情感的文本分类处理方法、装置和计算机设备
CN109902753B (zh) 用户推荐模型训练方法、装置、计算机设备和存储介质
CN108491406B (zh) 信息分类方法、装置、计算机设备和存储介质
CN110188272A (zh) 一种基于用户背景的社区问答网站标签推荐方法
JP6819355B2 (ja) レコメンデーション生成
CN110569356A (zh) 基于智能面试交互系统的面试方法、装置和计算机设备
Hong et al. Screening ideas in the early stages of technology development: A word2vec and convolutional neural network approach
CN114612251A (zh) 风险评估方法、装置、设备及存储介质
CN110766465A (zh) 金融产品评估方法及其验证方法、装置
CN114519508A (zh) 基于时序深度学习和法律文书信息的信用风险评估方法
WO2023134072A1 (zh) 违约预测模型的生成方法、装置、设备及存储介质
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
CN112819024A (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
Huang et al. Using social network sentiment analysis and genetic algorithm to improve the stock prediction accuracy of the deep learning-based approach
CN112464660B (zh) 文本分类模型构建方法以及文本数据处理方法
CN111079894B (zh) Bp神经网络模型构建、商家评价方法与装置
CA3092332A1 (en) System and method for machine learning architecture for interdependence detection
CN117114901A (zh) 基于人工智能的投保数据处理方法、装置、设备及介质
CN116843483A (zh) 一种车险理赔方法、装置、计算机设备及存储介质
Zhang et al. Credit risk control algorithm based on stacking ensemble learning
CN113706258B (zh) 基于组合模型的产品推荐方法、装置、设备及存储介质
US20140324524A1 (en) Evolving a capped customer linkage model using genetic models
US20140324523A1 (en) Missing String Compensation In Capped Customer Linkage Model
US20210133853A1 (en) System and method for deep learning recommender

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207