CN112700270A - 评分数据处理方法、装置、设备及存储介质 - Google Patents

评分数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112700270A
CN112700270A CN202011589893.XA CN202011589893A CN112700270A CN 112700270 A CN112700270 A CN 112700270A CN 202011589893 A CN202011589893 A CN 202011589893A CN 112700270 A CN112700270 A CN 112700270A
Authority
CN
China
Prior art keywords
value
sample
initial index
model
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011589893.XA
Other languages
English (en)
Other versions
CN112700270B (zh
Inventor
樊巧云
赵雨
陆天珺
方海贝
谷建泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011589893.XA priority Critical patent/CN112700270B/zh
Publication of CN112700270A publication Critical patent/CN112700270A/zh
Application granted granted Critical
Publication of CN112700270B publication Critical patent/CN112700270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)

Abstract

本公开公开了一种评分数据处理方法、装置、设备及存储介质，该方法包括：获取样本实际数据、总分和初始指标分组数量；根据总分和初始指标分组数量计算样本的模型预测值；根据模型预测值和样本实际数据，计算样本的目标泛函值；在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分，从而可以得到具有一定准确性的评分数据，进而实现了对人群的精准定位以及提高了准确率。

Description

评分数据处理方法、装置、设备及存储介质
技术领域
本公开涉及数据业务领域，具体涉及一种评分数据处理方法、装置、设置及存储介质。
背景技术
目前，人们擅长利用机器学习算法建立评分卡模型，对运营商连续的话费账单数据、上网数据、年龄等各种基本数据进行分析，方便对用户精准定位，进而精准营销。
然而，传统的评分卡模型对指标的处理是采用传统单一的分组结合评分加权的方式，导致用户评分分散、模型输出数据的连续性不够，也容易造成过度拟合的问题，从而致使无法满足用户精确定位和取数要求。
发明内容
本公开实施例的目的是提供一种评分数据处理方法、装置、设备及存储介质，解决现有的评分数据处理方法存在的人群定位、取数不准确的问题。
第一方面，本发明实施例提供了一种评分数据处理方法，方法包括：获取样本实际数据、总分和初始指标分组数量；根据总分和初始指标分组数量计算样本的模型预测值；根据模型预测值和样本实际数据，计算样本的目标泛函值；在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分。
在第一方面的一些可实现方式中，包括：在目标泛函值不满足预设条件的情况下，根据目标泛函值，更新初始指标分组数量；根据总分和更新后的初始指标分组数量计算样本的模型预测值。
在第一方面的一些可实现方式中，样本实际数据包括征信网站、运营商自有红、黑名单数据以及第三方合作方提供的数据。
在第一方面的一些可实现方式中，根据总分和初始指标分组数量计算样本的模型预测值，包括：根据初始指标分组数量对指标数据进行分割，得到初始指标分组；按照初始指标分组数量取总分的平均获得各个初始指标分组下的初始指标评分；根据初始指标分组和初始指标评分建立评分卡模型配置表；根据评分卡模型配置表对样本进行查分匹配，得到样本各个指标的初始指标评分，累加样本各个指标的初始指标评分，得到样本的模型预测值。
在第一方面的一些可实现方式中，在目标泛函值不满足预设条件的情况下，根据目标泛函值，更新初始指标分组数量，包括：计算目标泛函值关于初始指标分组数量的一阶导数值；根据一阶导数值更新初始指标分组数量。
在第一方面的一些可实现方式中，预设条件包括计算目标泛函值的预设最大次数,或当目标泛函值小于第一预设阈值时停止，或目标泛函的变化量小于第二预设阈值。
在第一方面的一些可实现方式中，对样本的模型预测值进行平滑处理，得到最终评分，包括：获取初始分组与评分关系、高斯平滑函数和高斯平滑窗口；根据初始分组与评分关系和高斯平滑函数计算卷积；根据高斯平滑窗口和卷积生成与样本对应的第一模型预测值；基于预设阈值过滤与样本对应的第一模型预测值，得到第二模型预测值；计算第二模型预测值平均值作为最终评分。
在第一方面的一些可实现方式中，基于预设阈值过滤与样本对应的第一模型预测值，得到第二模型预测值，包括；确定样本所属的取值范围；根据取值范围，利用过滤器删除在预设阈值之外的第一模型预测值得到第二模型预测值。
第二方面，本发明实施例提供一种评分数据处理装置，该装置可以包括：获取模块，用于获取样本实际数据、总分和初始指标分组数量；计算模块，用于根据总分和初始指标分组数量计算样本的模型预测值；计算模块，还用于根据模型预测值和样本实际数据，计算样本的目标泛函值；处理模块，用于在目标泛函值满足迭代停止条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分。
第三方面，本发明实施例中提供一种评分数据处理设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面的任一项实施例中所示的评分数据处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的任意一项实施例中所示的评分数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本发明实施例在获取样本实际数据、总分和初始指标分组数量之后，根据总分和初始指标分组数量计算样本的模型预测值，再根据样本的模型预测值和样本实际数据计算样本的目标泛函值，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分，从而可以得到具有一定准确性的评分数据，进而实现对人群的精准定位以及提高了准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种评分数据处理方法在Spark下实现的流程示意图；
图2是本发明实施例提供的一种评分数据处理方法的流程示意图；
图3是本发明实施例提供的另一种评分数据处理方法的流程示意图；
图4是本发明实施例提供的一种评分数据处理方法在Spark下实现的发散过程示意图；
图5是本发明实施例提供的一种评分数据方法在Spark下实现的过滤过程示意图；
图6本发明实施例提供的一种评分数据方法在Spark下实现的聚合过程示意图；
图7是本发明实施例提供的一种传统评分数据处理方法实施例的示意图；
图8是本发明实施例提供的一种基于本发明的评分数据处理方法实施例的示意图；
图9是本发明实施例提供的一种评分数据处理装置的结构示意图；
图10是本发明实施例提供的一种评分数据处理设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本发明，而不是限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在众多模型算法中，作为一种过程简单、模型训练过程易理解的算法，评分卡建模方法成为一种被广泛采用的机器学习训练算法。结合对分组段的文字解释、等级分析等文字描述，能够输出较为直观易理解的输出，该算法在精准营销、风控等模型中具有较好的应用。因此，利用运营商连续的话费账单数据、年龄等基础数据以及上网行为数据等，采用机器学习算法进行模型训练，能够有力支撑金融机构等的精准营销和风控业务的开展。
但是在现有的评分卡模型分组较粗的情况下，模型输出分数连续性往往不够，也不够准确。例如，在征信体系中，如果将年龄分为5组，在全量评分应用过程中所有人评分则分为5组，在实际应用过程中，用户群体的区分能力往往不足，无法满足人群精确定位和取数要求。
针对评分离散，区分度不足的问题，常用的处理方法为加密指标分组的间隔，例如，在用户基础年龄数据中，将年龄细分为十余组，因此模型能够输出较为细分的模型。然而，在实际应用中，由于模型与单指标分布存在复杂的非线性关系，单一的加密指标分组容易导致严重的过拟合问题。
针对上述指标分组问题，本方案提出一种评分数据处理方法，通过对分组内和分组间评分的高斯平滑处理，实现用户评分的较为连续且准确的输出，从而保证在组内用户评分具有一定的区分能力和一定的准确性，应用该方案的处理方式，避免了加密指标分组导致的过拟合问题。该评分数据处理方法主要在Spark环境下进行，对高斯平滑过程采用Spark Map和Reduce过程进行改进。应用效果表明，该方案中方法能够有效提升算法输出结果的连续性，输出结果的准确率也有进一步的提升。
此外，由于运营商大数据的体量巨大，需要处理的样本数据量也在百万数据量左右，如果将高斯平滑函数与指标分组与评分关系的卷积直接在spark下实现，会导致大量数据混洗问题，编程难度和计算量都会大打折扣。而传统的Spark方案需要在全量评分配置指标上计算更新量，在本场景中基于窗口平滑问题中会导致较大的存储和计算资源浪费。针对该问题，该方案给出一种基于窗口发散的高斯平滑的在Spark下实现的评分数据处理方法，该方法的具体过程如图1所示，根据获取的分组与评分关系和高斯平滑函数得到发散的第一模型预测值，该过程是将卷积中的从周围数据取值过程改造成为从当前点向四周发散数据，并用filter过程对第一模型预测值进行剪边，即去除边界的无效值，reduce过程取出无效值后的得到第二模型预测值进行累加取平均，得到最终评分。
综上所述，为了解决传统评分数据处理中人群定位、取数不准确的问题，本发明实施例提供了一种评分数据处理方法、装置、设备及计算机可读存储介质。
下面结合附图对本发明实施例提供技术方案进行描述。
图2是本发明实施例提供的一种评分数据处理方法的流程示意图。
如图2所示，该方法的执行主体可以是服务器，该评分数据处理方法可以包括以下步骤：
S201，获取样本实际数据、总分和初始指标分组数量。
样本实际数据是指所采集样本的实际评分，其中，样本实际数据包括征信网站、运营商自有的红、黑名单数据以及第三方合作方提供的数据。总分可以包括一分满分制、十分满分制和百分满分制等，此处不做过多限定。例如，对运营商自有的红、黑名单数据采用一分满分制，则黑名单人员以0分为标识，红名单人员以1分为标识。
初始指标分组数量是指用于衡量样本的指标的分组数量。例如，统计不同年龄段的消费水平时，用于衡量一个样本的指标有年龄指标和消费指标，若年龄指标的初始指标分组数量为5，消费指标的初始指标分组数量为10,则将年龄指标数据分为5组，消费指标数据分为10组。
S202，根据总分和初始指标分组数量计算样本的模型预测值。
样本的模型预测值是指根据总分和初始指标分组数量确定的关于样本的评分值，即根据总分和初始指标分组数量得到每一个指标下的每一个初始指标分组的初始指标分组评分，针对一个样本，将该样本属于每一个指标下的初始指标分组的初始指标评分加起来得到该样本的模型预测值。在一个实施例中，衡量样本的指标有年龄指标和消费指标，总分是100分。年龄分为两组，分为(20,50]和(50,80]这两组，其中，(20,50]的初始指标评分为20分，(50,80]的初始指标评分是30分，消费也分为两组，高消费初始指标分组和低消费初始指标分组，其中这两组的初始指标评分都为25分，则一个年龄25岁的高消费的样本的模型预测值是45分。
S203，根据模型预测值和样本实际数据，计算样本的目标泛函值。
在一些实施例中，目标泛函值可以是指模型预测值和样本实际数据之差的平方和。目标泛函值越高，说明模型预测值和样本实际数据的一致性越低，误差越大；目标泛函值越低，说明模型预测值和样本实际数据的一致性越高，误差越小，准确率越高。在极端情况下，模型预测值和样本实际值完全一致，则目标泛函值为0。
计算目标泛函值的公式如下：
Figure BDA0002866729650000071
其中，uobs为样本实际值，即从征信网站、运营商自有的红、黑名单数据以及第三方合作方获得的数据，ucal为模型预测值，即通过总分和初始指标分组数量确定的样本的评分值，NS为正整数，m为初始指标分组数量，Sn为模型预测值的方差。
S204，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分。
当目标泛函值满足预设条件时，则对样本的模型预测值进行平滑处理，得到最终评分；当目标泛函值不满足预设条件时，则根据更新后的初始指标分组数量循环执行S202、S203和S204。
在一些实施例中，预设条件可以包括下述三种情况中的一种情况：
a.当达到计算目标泛函值的预设最大次数时停止，这里的预设最大次数为循环执行S202、S203和S204的最大循环次数；
b.当目标泛函值小于第一预设阈值时停止；
c.当目标泛函值的变化量小于第二预设阈值停止。
其中，当计算目标泛函值的预设最大次数不满足预设条件时，在根据更新后的初始指标分组数量继续执行S202、S203和S204，重新计算目标泛函值时为第2次计算目标泛函值。最终评分是针对样本得到的最终评分数据。
作一个示例，当计算目标泛函值的预设最大次数设置为3，则当计算第3次目标泛函值时，目标泛函值满足预设条件后，对样本的模型预测值进行平滑处理，得到最终评分。
作另一个示例，比如，第一预设阈值可以设置为初始目标泛函值的10％，当目标泛函值低于初始目标泛函值的10％时，则目标泛函值满足预设条件，可以对样本的模型预测值进行平滑处理，得到最终评分。
作另一个示例，比如，第二预设阈值可以设置为初始目标泛函值的1％，当目标泛函值的变化量低于初始目标泛函值的1％时，则目标泛函值满足预设条件，可以对样本的模型预测值进行平滑处理，得到最终评分。
本发明实施例的评分数据处理方法，在获取样本实际数据、总分和初始指标分组数量之后，根据总分和初始指标分组数量计算样本的模型预测值，再根据样本的模型预测值和样本实际数据计算样本的目标泛函值，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分，从而可以得到具有一定准确性的评分数据，进而实现对人群的精准定位以及满足了准确取数的要求。
图3是本发明实施例提供的另一种评分数据处理方法的流程示意图。
如图3所示，该评分数据处理方法可以包括以下步骤：
S301，获取样本实际数据、总分和初始指标分组数量。
该步骤与图2中S201的步骤相同，具体请参见S201的描述，在此不加赘述。
S302，根据初始指标分组数量对指标数据进行分割，得到初始指标分组。
确定初始指标分组数量之后，可以将指标数据先进行排序再进行分割，得到初始指标分组，排序方式可以从小到大排序，从大到下排序，也可以按照重要程度进行排序，也可以混乱排序等等，此处不作过多限定。分割方式可以指标数据进行均匀分割，也可以按照权重的方式对指标数据进行不均匀分割，具体分割方式可以依据实际情况而定，此处不作过多限定。
作一个示例，当年龄指标的初始指标数量为5，年龄指标数据为(0，100]时，将年龄指标数据从小到大进行排序，并按照初始分组数量进行等均匀分割，得到初始指标分组，即(0，20]、(20，40]、(40，60]、(60，80]、(80，100]五组
S303，根据初始指标分组数量和总分得到初始指标评分。
初始指标评分是指每个初始指标分组的评分，可以按照初始指标分组数量取总分的平均获得的各个初始指标分组下的初始指标评分。
作一个示例，假设总分为100分，按照年龄指标数据可以分为5组，分别是(0,20]、(20,40]、(40,60]、(60,80]和(80,100]，按照学历指标数据可以分为两组，分别是本科学历及以上和本科学历以下。年龄指标和学历指标的总分都为50分，其中，年龄指标中的(20,40]这分组的初始指标评分为10分，学历指标中的本科学历及以上这一分组的初始指标评分为25分。
S304，根据初始指标分组和初始指标评分建立评分卡模型配置表。
评分卡模型配置表是包含初始指标分组和初始指标评分用于查分匹配的表格。具体的可参见表1评分卡模型配置表。
表1评分卡模型配置表
Figure BDA0002866729650000091
S305，确定样本的模型预测值。
根据评分卡模型配置表对样本进行查分匹配，可以得到样本各个指标的初始指标评分，将得到的各个初始指标评分累加得到样本的模型预测值。例如，对某样本，如果其指标X1位于区间L11-U11之间，则该样本在指标X1得分S11，否则对其他区间依次匹配，直到获得该样本在指标X1的评分。对该样本所有指标进行查表匹配，各个指标的评分和为样本的模型预测值。
S306，计算样本的目标泛函值。具体的可参见S203的内容，在此不加赘述。
S307，判断目标泛函值是否满足预设条件。若是，则继续执行步骤S308，若否，则执行步骤S313。具体地，预设条件可参见S204的具体内容，此处不加赘述。
S308，获取初始分组和评分关系、高斯平滑函数和高斯平滑窗口。
初始分组和评分关系是一个函数，可以表示为F(x)。高斯平滑函数可以表示为：
Figure BDA0002866729650000101
其中，x表示样本，σ表示为标准差。
高斯平滑窗口与实际指标数据的数据尺度有关。
在实际应用过程中，由于不同指标的尺度不同，例如，消费类的数据尺度要远远大于基础数据中的年龄尺度，分组的窗口大小也差异较大，因此在实际应用中，针对不同指标需要对高斯平滑函数参数进行处理；另外在实际卷积过程中需要指定平滑窗口，不同的平滑窗口和高斯函数参数的选择对平滑效果的影响较大。
S309，计算卷积。
卷积是两个变量在某范围内相乘后求和的结果，可以根据初始分组与评分关系和高斯平滑函数计算卷积。
卷积可以表示为：
S(x)＝F(x)*G(x) (3)
其中，F(x)为初始分组与评分关系，G(x)为高斯平滑函数。
S310，生成与样本对应的第一模型预测值。
第一模型预测值并不单纯是一个值，而是根据高斯平滑窗口的长度2n+1(n远远小于F(x)的取值范围)和卷积生成所在样本的2n+1个第一模型预测值。该过程采用Spark过程map过程实现，如图4所示，样本x发散会生成2n+1个第一模型预测值，其中，每一第一模型预测值对应一个目标样本x值；对所有样本x进行上述操作。
S311，确定样本的取值范围。
S312，基于预设阈值得到第二模型预测值。
第二模型预测值是根据和样本的取值范围预设阈值过滤掉无效的第一模型预测值得到的有效值，其中，在样本的取值范围外是指发散过程中，发散得到第一模型预测值对应的样本不存在，预设阈值外是指得到第一模型预测值的一个取值范围，因此由于数据发散过程会导致分组函数向四周扩散问题，每次都采用filter过滤器对边界值进行过滤：对于样本，对样本发散的第一模型预测值按照样本的取值范围和预设阈值采用filter过滤器进行删除，如图5所示，其中虚线对应的数据为样本的取值范围外的第一模型预测值，在filter过程中应将该预设阈值外和样本的取值范围外的第一模型预测值采用过滤器删除。
应该注意的是，在平滑过程中，过滤窗口要略大于第一模型预测值范围，避免第一模型预测值截断导致的扰动问题；在最终输出时过滤窗口与第一模型预测值范围一致，保证第一模型预测值更新前后的一致性。
S313，计算最终评分。
累加第二模型预测值取平均得到最终评分，如图6所示，删除预设阈值外的第一模型预测值得到的第二模型预测值是样本x周围的目标样本x对应的第二模型预测值，将所有的第二模型预测值累加取平均值，即为最终评分。
S314，计算一阶导数值。
一阶导数值指的是目标泛函值关于初始指标分组数量的一阶导数的值。计算一阶导数值的公式如下：
Figure BDA0002866729650000111
其中，m为初始指标分组数量。
S315，根据一阶导数值更新初始指标数量。之后继续执行步骤S302。
根据计算的一阶导数值更新初始指标数量，得到更新后的初始指标分组数量，之后继续执行步骤S302。
对于初始指标的分组的调整，按照现有方案方法，对其优化过程等价于在以目标泛函值为优化目标下的参数搜索过程，常用方法主要为梯度类算法(最速下降、L-BFGS算法)等。
本发明实施例的评分数据处理方法，在获取样本实际数据、总分和初始指标分组数量之后，根据总分和初始指标分组数量计算样本的模型预测值，再根据样本的模型预测值和样本实际数据计算样本的目标泛函值，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分，从而可以得到具有一定准确性的评分数据，进而实现对人群的精准定位以及提高了输出结果的准确率。
在本发明的一些实施例中，在运营商风控模型场景下应用该评分数据处理方法，采用指标包括年龄、消费、交往圈人数以及APP使用次数等，按照传统方案给出的全量人群评分分布如图7所示，图中的曲线不够平滑细致；按照本方案中给出的人群评分分布如图8所示。基于评分数据处理方法得到的评分模型分布更加平滑，更能体现数据的连续性，并且更加符合征信模型应用中右偏的常规规律。在评分数据的准确率上，本方案模型准确率为82％，相比于传统方案(80％)有一定的提升。
图9是本发明实施例提供的一种评分数据处理装置的结构示意图。
如图9所示，该评分数据处理装置800可以包括：获取模块910，计算模块920、处理模块930。
其中，获取模块910，用于获取样本实际数据、总分和初始指标分组数量；计算模块920，根据总分和初始指标分组数量计算样本的模型预测值；计算模块920，根据模型预测值和样本实际数据，计算样本的目标泛函值；处理模块930，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分。
在一些实施例中，处理模块930还用于：在目标泛函值不满足预设条件的情况下，根据目标泛函值，更新初始指标分组数量；根据总分和更新后的初始指标分组数量计算样本的模型预测值。
在一些实施例中，计算模块920还用于：根据初始指标分组数量对指标数据进行分割，得到初始指标分组；按照初始指标分组数量取总分的平均获得各个初始指标分组下的初始指标评分；根据初始指标分组和初始指标评分建立评分卡模型配置表；根据评分卡模型配置表对样本进行查分匹配，得到样本各个指标的初始指标评分，累加样本各个指标的初始指标评分，得到样本的模型预测值。
在一些实施例中，计算模块920还用于：计算目标泛函值关于初始指标分组数量的一阶导数值；根据一阶导数值更新初始指标分组数量。
在一些实施例中，处理模块930还用于：获取初始分组与评分关系、高斯平滑函数和高斯平滑窗口；根据初始分组和评分关系和高斯平滑函数计算卷积；根据高斯平滑窗口和卷积生成与样本对应的第一模型预测值；基于预设阈值过滤与样本对应的第一模型预测值，得到第二模型预测值；计算第二模型预测值平均值作为最终评分。
在一些实施例中，处理模块930还用于：确定样本所属的取值范围；根据取值范围，利用过滤器删除在预设阈值之外的第一模型预测值得到第二模型预测值。
在一些实施例中，样本实际数据包括征信网站、运营商自有红、黑名单数据以及第三方合作方提供的数据。
在一些实施例中，预设条件包括计算目标泛函值的预设最大次数,或当目标泛函值小于第一预设阈值时停止，或目标泛函的变化量小于第二预设阈值。
本发明实施例的评分数据处理方法，在获取样本实际数据、总分和初始指标分组数量之后，根据总分和初始指标分组数量计算样本的模型预测值，再根据样本的模型预测值和样本实际数据计算样本的目标泛函值，在目标泛函值满足预设条件的情况下，对样本的模型预测值进行平滑处理，得到最终评分，从而可以得到具有一定准确性的评分数据，进而实现对人群的精准定位以及提高了输出结果的准确率。
图10是本发明实施例提供的一种评分数据处理设备的结构示意图。
如图10所示，本实施例中的评分数据处理设备1000包括输入设备1001、输入接口1002、中央处理器1003、存储器1004、输出接口1005、以及输出设备1006。其中，输入接口1002、中央处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接，输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接，进而与信息获取设备1000的其他组件连接。
具体地，输入设备1001接收来自外部的输入信息，并通过输入接口1002将输入信息传送到中央处理器1003；中央处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1004中，然后通过输出接口1005将输出信息传送到输出设备1006；输出设备1006将输出信息输出到信息获取设备1000的外部供用户使用。
在一个实施例中，图10所示的评分数据处理设备1000包括：存储器1004，用于存储程序；处理器1003，用于运行存储器中存储的程序，以执行本发明实施例提供的图2或图3所示实施例的方法。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的图2或图3所示实施例的方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体地步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ApplicationSpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种评分数据处理方法，其特征在于，包括：
获取样本实际数据、总分和初始指标分组数量；
根据所述总分和所述初始指标分组数量计算样本的模型预测值；
根据所述模型预测值和所述样本实际数据，计算样本的目标泛函值；
在所述目标泛函值满足预设条件的情况下，对所述样本的模型预测值进行平滑处理，得到最终评分。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标泛函值不满足预设条件的情况下，根据所述目标泛函值，更新所述初始指标分组数量；
根据所述总分和更新后的初始指标分组数量计算样本的模型预测值。
3.根据权利要求1所述的方法，其特征在于，所述样本实际数据包括征信网站、运营商自有红、黑名单数据以及第三方合作方提供的数据。
4.根据权利要求1所述方法，其特征在于，所述根据所述总分和所述初始指标分组数量计算样本的模型预测值，包括：
根据所述初始指标分组数量对指标数据进行分割，得到初始指标分组；
按照所述初始指标分组数量取所述总分的平均获得各个初始指标分组下的所述初始指标评分；
根据所述初始指标分组和所述初始指标评分建立评分卡模型配置表；
根据所述评分卡模型配置表对样本进行查分匹配，得到所述样本各个指标的初始指标评分，累加所述样本各个指标的所述初始指标评分，得到所述样本的模型预测值。
5.根据权利要求2所述的方法，其特征在于，所述在所述目标泛函值不满足预设条件的情况下，根据所述目标泛函值，更新所述初始指标分组数量，包括：
计算所述目标泛函值关于所述初始指标分组数量的一阶导数值；
根据所述一阶导数值更新所述初始指标分组数量。
6.根据权利要求1所述的方法，其特征在于，所述预设条件包括计算所述目标泛函值的预设最大次数,或当所述目标泛函值小于第一预设阈值时停止，或所述目标泛函的变化量小于第二预设阈值。
7.根据权利要求1所述的方法，其特征在于，对所述样本的模型预测值进行平滑处理，得到最终评分，包括：
获取初始分组与评分关系、高斯平滑函数和高斯平滑窗口；
根据所述初始分组与评分关系和所述高斯平滑函数计算卷积；
根据所述高斯平滑窗口和所述卷积生成与所述样本对应的第一模型预测值；
基于预设阈值过滤与所述样本对应的所述第一模型预测值，得到第二模型预测值；
计算所述第二模型预测值平均值作为最终评分。
8.根据权利要求7所述的方法，其特征在于，基于预设阈值过滤与所述样本对应的所述第一模型预测值，得到第二模型预测值，包括；
确定所述样本所属的取值范围；
根据所述取值范围，利用过滤器删除在所述预设阈值之外的所述第一模型预测值得到所述第二模型预测值。
9.一种评分数据处理装置，其特征在于，包括：
获取模块，用于获取样本实际数据、总分和初始指标分组数量；
计算模块，用于根据所述总分和所述初始指标分组数量计算样本的模型预测值；
所述计算模块，还用于根据所述模型预测值和所述样本实际数据，计算样本的目标泛函值；
处理模块，用于在所述目标泛函值满足迭代停止条件的情况下，对所述样本的模型预测值进行平滑处理，得到最终评分。
10.一种评分数据处理设备，其特征在于，所述设备包括：
处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的评分数据处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的评分数据处理方法。
CN202011589893.XA 2020-12-29 2020-12-29 评分数据处理方法、装置、设备及存储介质 Active CN112700270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011589893.XA CN112700270B (zh) 2020-12-29 2020-12-29 评分数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589893.XA CN112700270B (zh) 2020-12-29 2020-12-29 评分数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112700270A true CN112700270A (zh) 2021-04-23
CN112700270B CN112700270B (zh) 2024-04-12

Family

ID=75513080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589893.XA Active CN112700270B (zh) 2020-12-29 2020-12-29 评分数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112700270B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849369A (zh) * 2021-09-22 2021-12-28 上海浦东发展银行股份有限公司 一种评分方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074021A1 (en) * 2013-09-12 2015-03-12 International Business Machines Corporation Generating a training model based on feedback
CN110232678A (zh) * 2019-05-27 2019-09-13 腾讯科技（深圳）有限公司 一种图像不确定度预测方法、装置、设备及存储介质
CN111177644A (zh) * 2019-12-20 2020-05-19 中国移动通信集团江苏有限公司 模型参数的优化方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074021A1 (en) * 2013-09-12 2015-03-12 International Business Machines Corporation Generating a training model based on feedback
CN110232678A (zh) * 2019-05-27 2019-09-13 腾讯科技（深圳）有限公司 一种图像不确定度预测方法、装置、设备及存储介质
CN111177644A (zh) * 2019-12-20 2020-05-19 中国移动通信集团江苏有限公司 模型参数的优化方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"计算机科学2010年第37卷总目次", 计算机科学, no. 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849369A (zh) * 2021-09-22 2021-12-28 上海浦东发展银行股份有限公司 一种评分方法、装置、设备及存储介质
CN113849369B (zh) * 2021-09-22 2024-06-11 上海浦东发展银行股份有限公司 一种评分方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112700270B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN112258093B (zh) 风险等级的数据处理方法及装置、存储介质、电子设备
CN109922032B (zh) 用于确定登录账户的风险的方法、装置、设备及存储介质
CN111309822B (zh) 用户身份识别方法及装置
CN109362084B (zh) 通信业务质量优化的方法、装置、设备和介质
CN109982367A (zh) 移动终端上网用户投诉预测方法、装置、设备及存储介质
CN112907128A (zh) 基于ab测试结果的数据分析方法、装置、设备及介质
CN111191731A (zh) 数据处理的方法、装置、存储介质及电子设备
CN110457387B (zh) 一种应用于网络中用户标签确定的方法及相关装置
CN115296984A (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN112700270A (zh) 评分数据处理方法、装置、设备及存储介质
CN110196805B (zh) 数据处理方法、装置、存储介质和电子装置
CN112269937B (zh) 一种计算用户相似度的方法、系统及装置
CN113869700A (zh) 一种绩效指标预测方法、装置、电子设备和存储介质
CN110083777A (zh) 一种社交网络用户分组方法、装置及服务器
CN111353860A (zh) 产品信息推送方法及系统
CN111026863A (zh) 客户行为预测方法、装置、设备及介质
CN111835541B (zh) 一种流量识别模型老化检测方法、装置、设备及系统
CN112214675B (zh) 用户购机的确定方法、装置、设备及计算机存储介质
CN115312193A (zh) 医学潜在相关指标风险监控系统、方法、终端及存储介质
CN114970495A (zh) 人名消歧方法、装置、电子设备及存储介质
CN110134575B (zh) 一种服务器集群的服务能力计算方法及装置
CN110009170B (zh) 模型评分校正方法、装置及服务器
CN112749998A (zh) 收入信息输出方法、装置、电子设备及计算机存储介质
CN117056663B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN118312657B (zh) 一种基于知识库的智能化大模型分析推荐系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant