CN111144738A - 信息处理方法、装置、计算机设备和存储介质 - Google Patents

信息处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111144738A
CN111144738A CN201911349514.7A CN201911349514A CN111144738A CN 111144738 A CN111144738 A CN 111144738A CN 201911349514 A CN201911349514 A CN 201911349514A CN 111144738 A CN111144738 A CN 111144738A
Authority
CN
China
Prior art keywords
service
model
score
rating
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911349514.7A
Other languages
English (en)
Inventor
陈传栋
叶俊锋
张慧鸿
杨刚
汪海浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiping Financial Operation Service Shanghai Co Ltd
Taiping Finance Technology Services Shanghai Co ltd
Original Assignee
Taiping Financial Operation Service Shanghai Co Ltd
Taiping Finance Technology Services Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiping Financial Operation Service Shanghai Co Ltd, Taiping Finance Technology Services Shanghai Co ltd filed Critical Taiping Financial Operation Service Shanghai Co Ltd
Priority to CN201911349514.7A priority Critical patent/CN111144738A/zh
Publication of CN111144738A publication Critical patent/CN111144738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种信息处理方法、装置、计算机设备和存储介质。所述方法包括:接收业务终端发送的理赔信息,所述理赔信息携带有险种标识;获取与所述险种标识对应的评分卡模型,所述评分卡模型是根据历史理赔信息集合训练生成的;将所述理赔信息输入所述评分卡模型,得到理赔评分;接收审核终端根据所述理赔信息生成的审核评分;根据所述理赔评分和所述审核评分生成评价值,并将所述评价值发送给所述审核终端,其中,所述评价值用于反映所述评分卡模型的性能。采用本方法能够针对模型质量进行监控、预警。

Description

信息处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及信息处理技术领域,特别是涉及一种信息处理方法、装置、计算机设备和存储介质。
背景技术
随着理赔业务量的不断上涨,理赔申请量也随之增加。传统的理赔调查方案需要相关调查人员针对每一件理赔案件的理赔信息进行评估审核,理赔申请量的增加无疑给相关调查人员带来了很大地工作压力,而针对一些毫无意义的理赔案件的调查也会导致人力资源的不必要浪费。为了减少调查人员的工作量,目前可以采用理赔的预测性模型,通过预测性模型对理赔信息进行预测生成预测值,调查人员可以根据预测值再根据自己业务经验对险种进行审查。
但是,通常情况下模型建立后并没有完善的模型管理机制,预测性模型具有衰减性,预测性模型运行结果数据的能力会随着输入数据的更新而降低。因此,目前缺乏一种模型质量的监控、预警的方法。
发明内容
基于此,有必要针对上述技术问题,提供一种能够针对模型质量进行监控、预警的信息处理方法、装置、计算机设备和存储介质。
一种信息处理方法,所述方法包括:
接收业务终端发送的理赔信息,所述理赔信息携带有险种标识;
获取与所述险种标识对应的评分卡模型,所述评分卡模型是根据历史理赔信息集合训练生成的;
将所述理赔信息输入所述评分卡模型,得到理赔评分;
接收审核终端根据所述理赔信息生成的审核评分;
根据所述理赔评分和所述审核评分生成评价值,并将所述评价值发送给所述审核终端,其中,所述评价值用于反映所述评分卡模型的性能。
在其中一个实施例中,所述评分卡模型的生成方法,包括:
获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;
根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征;
根据所述业务参数计算所述评估特征的证据权重;
采用逻辑回归算法根据所述证据权重构建评分卡模型。
在其中一个实施例中,所述根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征,包括:
采用数值计算对所述业务参数进行计算,得到所述业务变量的数值业务权重;
采用线性回归算法对所述业务参数进行计算,得到所述业务变量的回归业务权重;
采用模型树对所述业务参数进行计算,得到所述业务变量的模型树业务权重;
根据所述数值业务权重、所述回归业务权重和所述模型树业务权重对所述业务变量进行筛选,确定评估特征。
在其中一个实施例中,所述根据所述理赔评分和所述审核评分生成评价值,包括:
根据所述理赔评分生成所述评分卡模型的理赔评分分布表,并根据所述审核评分生成审核评分分布表;
计算所述理赔评分分布表和所述审核评分分布表中的各评分组别的分布差距值;
根据所述各评分组别的所述分布差距值计算所述评分卡模型的评价值。
在其中一个实施例中,所述根据所述理赔评分和所述审核评分生成评价值,并将所述评价值发送给所述审核终端,包括:
获取预警阈值;
根据预警阈值和所述评价值进行比对,生成模型警示信息;
将所述评价值和所述模型警示信息发送给所述审核终端。
一种信息处理装置,所述装置包括:
理赔信息接收模块,用于接收业务终端发送的理赔信息,所述理赔信息携带有险种标识;
模型获取模块,用于获取与所述险种标识对应的评分卡模型,所述评分卡模型是根据历史理赔信息集合训练生成的;
评分计算模块,用于将所述理赔信息输入所述评分卡模型,得到理赔评分;
审核评分接收模块,用于接收审核终端根据所述理赔信息生成的审核评分;
评价值生成模块,用于根据所述理赔评分和所述审核评分生成评价值,将所述评价值发送给所述审核终端,其中,所述评价值用于反映所述评分卡模型的性能。
在其中一个实施例中,所述模型获取模块,包括:
历史信息获取单元,用于获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;
变量筛选单元,用于根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征;
证据权重计算单元,用于根据所述业务参数计算所述评估特征的证据权重;
评分卡模型构建单元,用于采用逻辑回归算法根据所述证据权重构建评分卡模型。
在其中一个实施例中,所述模型获取模块,包括:
数值权重计算单元,用于采用数值计算对所述业务参数进行计算,得到所述业务变量的数值业务权重;
回归权重计算单元,用于采用线性回归算法对所述业务参数进行计算,得到所述业务变量的回归业务权重;
模型树权重单元,用于采用模型树对所述业务参数进行计算,得到所述业务变量的模型树业务权重;
特征筛选单元,用于根据所述数值业务权重、所述回归业务权重和所述模型树业务权重对所述业务变量进行筛选,确定评估特征。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述信息处理方法、装置、计算机设备和存储介质,接收业务终端发送的理赔信息,获取与理赔信息的险种标识对应的评分卡模型;将理赔信息输入评分卡模型,得到理赔评分;接收审核终端根据理赔信息生成的审核评分;根据理赔评分和审核评分生成评价值,评价值用于反映所述评分卡模型的性能,实现对模型的异常情况进行实时提醒,方便及时对模型进行优化,保证模型高效稳定运行。
附图说明
图1为一个实施例中信息处理方法的应用场景图;
图2为一个实施例中信息处理方法的流程示意图;
图3为一个实施例中评分卡模型生成方法的流程示意图;
图4为一个实施例中评分卡模型的示意图;
图5为另一个实施例中评估特征筛选步骤的流程示意图;
图6为一个实施例中信息处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的信息处理方法,可以应用于如图1所示的应用环境中。其中,服务器104通过网络与业务终端102、审核终端106进行通信。服务器104接收业务终端102发送的理赔信息,理赔信息携带有险种标识。服务器104获取与险种标识对应的评分卡模型,评分卡模型是根据历史理赔信息集合训练生成的。服务器104将理赔信息输入评分卡模型,得到理赔评分。服务器接收审核终端106根据理赔信息生成的审核评分。服务器104根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端106,其中,评价值用于反映评分卡模型的性能。其中,终端102和审核终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式智能设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种信息处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,接收业务终端发送的理赔信息,理赔信息携带有险种标识。
理赔信息是根据客户的承保信息生成的,携带有险种标识。承保信息是指保险人和被保险人确定合同关系后,需承担保单合同规定的保险责任的相关信息,详细的,包括被保险人姓名、身份证号、承保险种明细、承保险种额度、优惠金额、上浮金额以及保费金额等。理赔信息可以包括被保险人姓名、身份证号、出险原因、出险的险种标识、时间、地点、赔付明细和费用明细、各药品和检查项免赔比例金额以及其它赔付费用等。服务器可以通过网络等接收业务终端发送的理赔信息。
步骤204,获取与险种标识对应的评分卡模型,评分卡模型是根据历史理赔信息集合训练生成的。
评分卡模型是根据历史理赔信息集合训练生成的。历史理赔信息集合中的历史理赔信息是经过数据清洗等处理后的理赔信息。服务器可以获取与险种标识对应的评分卡模型,另外,服务器可以获取与评分卡模型对应的数据清洗算法对理赔信息进行清洗,而后再将清洗后的理赔信息输入评分卡模型中。服务器可以获取所有的历史理赔信息,从历史理赔信息中提取出业务变量和对应的业务参数。服务器可以根据标准差等方法排查业务参数中的异常值,并删除与异常值对应的史理赔信息。服务器也可以确定与缺失值所在业务变量最相关的历史理赔信息的业务参数,并将确定的业务参数代入缺失值所在业务变量,得到清洗后的历史理赔信息。
步骤206,将理赔信息输入评分卡模型,得到理赔评分。
服务器将理赔信息输入评分卡模型,得到理赔评分。评分卡模型存储有与多个评分等级对应的评分规则。服务器根据评分规则对理赔信息中的业务变量和业务参数进行分析,得到与理赔信息对应的理赔评分。服务器可以将理赔信息中的险种按照分数从低到高排序,即、按照风险大小从高风险到低风险排序。在一个实施例中,针对每个险种,服务器还可以显示对其影响度较大的8个影响因子的统计数据,用于让理赔业务人员快速、准确的进行业务判断。
步骤208,接收审核终端根据理赔信息生成的审核评分。
服务器接收审核终端根据理赔信息生成的审核评分。服务器可以将理赔信息发送给审核终端。审核终端显示理赔信息,并接收审核人员根据理赔信息输入的审核评分,审核评分可以是审核人员评估后得到的评分。然后,审核终端将审核评分发送给服务器。
步骤210,根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,其中,评价值用于反映评分卡模型的性能。
服务器根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端。评价值用于反映评分卡模型的性能。评价值可以是用于表征模型衰减程度。服务器可以采用正态分布检验或者基尼系数,根据理赔评分和审核评分计算与模型对应的评价值。服务器可以将评价值发送给审核终端。
上述信息处理方法中,接收业务终端发送的理赔信息,获取与理赔信息的险种标识对应的评分卡模型;将理赔信息输入评分卡模型,得到理赔评分;接收审核终端根据理赔信息生成的审核评分;根据理赔评分和审核评分生成评价值,评价值用于反映评分卡模型的性能,实现对模型的异常情况进行实时提醒,方便及时对模型进行优化,保证模型高效稳定运行。另外,通过评价值,让业务人员客观了解理赔信息的情况,方便快速、准确地进行业务判断。
在一个实施例中,如图3所示,评分卡模型的生成方法,包括以下步骤:
步骤302,获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数。
历史理赔信息集合包含历史理赔信息,历史理赔信息是根据客户的历史承保信息和理赔行为生成的,携带有与险种标识对应的业务变量和对应的业务参数。例如,历史理赔信息可以携带有险种标识、承保时间、理赔地点、理赔时间、赔付明细和费用明细等。服务器获取历史理赔信息集合。
步骤304,根据历史理赔信息对业务变量进行筛选,确定评估特征。
评估特征用于表征影响理赔欺诈的业务变量。服务器根据历史理赔信息对业务变量进行筛选,确定评估特征。服务器可以获取业务流程、业务流程中业务的重要等级以及业务变量等,根据重要等级和业务流程对业务变量进行筛选。业务流程中业务的重要等级可以根据业务流程中该业务的数据的被使用次数α来确定。α值越大,业务变量的重要等级越高。服务器可以根据数值计算、线性回归算法、模型树等任意一至多种算法对重要等级高的业务变量进行评估和筛选,并确定评估特征。
步骤306,根据业务参数计算评估特征的证据权重。
服务器根据业务参数计算评估特征的证据权重(WOE:Weight of Evidence)。
WOE计算公式如下:
Figure BDA0002334313710000071
其中,pyi是历史理赔信息集合中响应客户占所有样本中所有响应客户的比例;pni是历史理赔信息集合中未响应客户占样本中所有未响应客户的比例;#yi是历史理赔信息集合中响应客户的数量;#ni是历史理赔信息集合中未响应客户的数量;#yT是样本中所有响应客户的数量;#nT是样本中所有未响应客户的数量。
步骤308,采用逻辑回归算法根据证据权重构建评分卡模型。
服务器采用逻辑回归算法根据证据权重构建评分卡模型。odds为good用户概率(p)与bad用户概率(1-p)的比值。
Figure BDA0002334313710000072
评分卡设定的分值刻度可以通过将分值表示为比率对数的现行表达式来定义。公式为:
score=A+B*ln(odds)
设置比率为θ0(也就是odds)的特定点分值为P0,比率为2θ0的点的分值为P0+PDO。带入上面公式可得到:
Figure BDA0002334313710000081
求解上述公式,可以得到A、B值:
Figure BDA0002334313710000082
基于逻辑回归算法建模:
假设模型结果为p,根据Logistic Regression计算公式有:
Figure BDA0002334313710000083
经过转换得到:
Figure BDA0002334313710000084
由于上面提到的公式:
Figure BDA0002334313710000085
所以:
ln(odds)=θTx=w0+w1x1+…+wnxn
得到评分卡公式:
score=A+B*(θTx)=A+B*(w0+w1x1+…+wnxn)=(A+B*w0)+B*w1x1+…+B*wnxn
其中,w1,w2,...,wn是Logistic Regression中不同变量x1,x2,...,xn的系数;w0是截距;(A+B*w0)为基础分数,B*w1x1,…,B*wnxn为每个变量对应分配到的分数。
例如,当评分卡模型涉及10个指标:立案时效、险种缴费年度、险种保额、业务年度、险种实际缴费期次、案件出险日期减险种生效时间、案件理赔申请日期减险种生效时间、保障年期类型、标准保障年限或年龄时,服务器得到的评分卡模型可以如图4所示。每个指标的值在不同的区间对应不同的分数,例如:“保障年限类型”指标的值为“按年限保”,则对应的分数为15;当“险种投保金额”指标的值为“15000”,落在区间[12000,10000000000)中,则对应的分数为-206。各个字段的值所对应的规则即为该字段的业务解释。
上述信息处理方法中,对业务变量进行筛选,确定影响理赔欺诈的评估特征,并计算评估特征的证据权重,采用逻辑回归算法构建评分卡模型,通过该评分卡模型可以对理赔信息进行分析并评分,让业务人员客观了解理赔信息的情况,方便快速、准确地进行业务判断。
在另一个实施例中,如图5所示,根据历史理赔信息对业务变量进行筛选,确定评估特征,包括以下步骤:
步骤502,采用数值计算对业务参数进行计算,得到业务变量的数值业务权重。
服务器采用数值计算对业务参数进行计算,得到业务变量的数值业务权重。在一个实施例中,数值计算为计算用于衡量自变量预测能力的IV值(Information Value)。业务变量的参数类别分为Y1,Y2。对于一个待预测的个体A,当判断A属于Y1还是Y2时,假设A的信息总量是I,而所需要的信息就蕴含在自变量C1,C2,C3,……,Cn中。对于其中的一个变量Ci来说,其蕴含的信息越多,那么它对于判断A属于Y1还是Y2的贡献就越大,Ci的信息价值就越大,Ci的IV值就越大,就越应该被选择作为评估特征。对应的IV值计算方式:
Figure BDA0002334313710000091
Figure BDA0002334313710000092
Figure BDA0002334313710000093
其中,pyi是这个组中响应客户占所有样本中所有响应客户的比例;pni是这个组中未响应客户占样本中所有未响应客户的比例;#yi是这个组中响应客户的数量;#ni是这个组中未响应客户的数量;#yT是样本中所有响应客户的数量;#nT是样本中所有未响应客户的数量。
步骤504,采用线性回归算法对业务参数进行计算,得到业务变量的回归业务权重。
服务器采用线性回归算法对业务参数进行计算,得到业务变量的回归业务权重。在一个实施例中,线性回归算法为The Least Absolute Shrinkage and SelectionOperator(Lasso回归算法)。
Lasso的表达式为:
Figure BDA0002334313710000101
其中,β为回归系数;y为因变量;x为自变量;t为约束条件。
当对应的自变量X的系数应取值为0时,代表相应的自变量跟Y关系不大,可以被筛除。当限制参数t越小,或者越大,对回归业务权重的压缩作用就越强。当对这个目标函数求最小时,一些不那么重要的自变量的系数将被压缩为0,从而达到筛选变量的作用。
步骤506,采用模型树对业务参数进行计算,得到业务变量的模型树业务权重。
服务器采用模型树对业务参数进行计算,得到业务变量的模型树业务权重。具体地,模型树可以是XGBOOST算法,XGBOOST是一个加法模型,首先其在目标函数中加入了正则化项:
Figure BDA0002334313710000102
Figure BDA0002334313710000103
其中:L为经验损失函数;
Ω为树的复杂度函数;
其中,泰勒级数为
Figure BDA0002334313710000111
yi(t)是第i个实例在第t次迭代的预测值,需要加入ft来最小化以下目标:
Figure BDA0002334313710000112
服务器可以通过泰勒二阶展开近似来快速优化目标函数:
Figure BDA0002334313710000113
其中:
Figure BDA0002334313710000114
即l的一阶和二阶导数。移除常数项得到:
Figure BDA0002334313710000115
定义Ij={i|q(xi)=j}作为叶子结点j的实例集合。将上式展开为:
Figure BDA0002334313710000116
计算权重公式:
Figure BDA0002334313710000117
带入目标函数得(一阶和二阶导数合并成了一项):
Figure BDA0002334313710000118
这一项算出的值就是第t棵树要优化目标函数,使其尽量小。
XGBOOST在提升树被创建后使用梯度提升算法,可以相对直接地得到每个业务变量的模型树业务权重。模型树业务权重衡量了业务变量在模型中的提升决策树构建中的价值。一个业务变量被用来在模型中多属性地构建决策树,它的重要性就相对越高。
模型树业务权重是通过对数据集中的每个业务变量进行计算,并进行排序得到。在单个决策树中通过每个业务变量分裂点改进性能度量的量来计算业务变量的重要性,由节点负责加权和记录次数。即、一个业务变量对分裂点改进性能度量越大,权值越大;被越多提升树所选择,业务变量越重要。最终将一个业务变量在所有提升树中的结果进行加权求和后然后平均,得到模型树业务权重。
步骤508,根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,确定评估特征。
服务器根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,确定评估特征。服务器可以分别得到基于数值业务权重、回归业务权重、模型树业务权重等三种权重的业务变量的排序,再分别提取三种排序结果中排序在前的业务变量,综合取其并集,得到作为评估特征的业务变量。
上述信息处理方法中,服务器根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,从多角度确定评估特征,提高了业务变量的准确性,进而提高了评分卡模型的准确性。
在一个实施例中,根据理赔评分和审核评分生成评价值,包括以下步骤:根据理赔评分生成评分卡模型的理赔评分分布表,并根据审核评分生成审核评分分布表;计算理赔评分分布表和审核评分分布表中的各评分组别的分布差距值;根据各评分组别的分布差距值计算评分卡模型的评价值。
评分分布表是统计各个评分组别的评分案件数及其占总案件数的比率。评分分布表可直观清晰的观察训练样本和测试样本各个评分组别的案件数分布。服务器根据理赔评分生成评分卡模型的理赔评分分布表,并根据审核评分生成审核评分分布表。群体稳定度指标(PSI)用于衡量评分卡整体在理赔评分分布表和审核评分分布表中样本案件占比的差异程度,当差异程度较大时,服务器判定评分卡模型可能发生了衰减。PSI公式如下:
Figure BDA0002334313710000121
各评分组别的占比差距=测试样本的案件占比-训练样本的案件占比;
占比权重=ln(测试样本的案件占比/训练样本的案件占比)。
服务器可以基于变量稳定度分析来了解是什么变量造成的偏移。各变量的分布差距计算公式如下:
Figure BDA0002334313710000131
服务器根据各评分组别的分布差距值计算评分卡模型的评价值。服务器采用正态分布检验或者基尼系数,根据模型指标参数和样本指标参数计算与模型监控指标对应的指标监控值。服务器可以统计各个评分组别的验证样本中是否为欺诈案件的分布差距,生成用于判断是否为欺诈案件的能力的好坏案件评分分布表。正态分布检验(K-S值:Kolmogorov-Smirnov值)及基尼系数鉴别度指标可用来衡量评分卡模型用于判断案件好坏的能力。当服务器采用K-S值时,在完成一个模型后,服务器可以将理赔信息集合的样本平均分成M组,以好样本占比降序从左到右进行排列,其中第一组的好样本占比最大,坏样本占比最小。这些组别的好坏样本占比进行累加后得到每一组对应的累计的占比。好坏样本的累计占比随着样本的累计而变化,而两者差异最大时得到K-S值。服务器通过不断更新计算K-S值,对模型的效果进行持续且及时的跟进,从而监控模型效果。服务器可以通过提前设定好的评价指标预警值对模型进行监控,例如,当ks值小于0.3时,服务器停止使用生产系统中的模型并立刻从业务需求出发重新更新模型,待模型更新符合质量标准后上传至生产系统;当ks值大于等于0.3小于0.5时,服务器需要更新模型,待模型更新完成符合质量标准后上传至生产系统;当ks值大于等于0.5时,服务器持续监控模型效果。
当服务器采用基尼系数时,服务器将把理赔信息集合的样本评分按照从高到低进行排序,以横轴为累计频次比例,纵轴作为累计坏样本比例,随着累计人数比例的上升,累计坏样本的比例也在上升。如果这个评分的区分能力比较好,那么越大比例的坏样本会集中在越低的分数区间,整个图像形成一个凹下去的形状。所以洛伦兹曲线的弧度越大,基尼系数越大,这个模型区分好坏样本的能力就越强。基尼系数可通过AUC值算出:1/2*Gini+50%=AUC。
鉴别力良好的评分卡模型应呈现出高评分组别有较多的好案件及低评分组别有较多的坏案件的状态,即、好坏概率随着评分的升高而有增加的趋势。
在一个实施例中,根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,包括以下步骤:获取预警阈值;根据预警阈值和评价值进行比对,生成模型警示信息;将评价值和模型警示信息发送给审核终端。
服务器的数据库中可以存储一个或多个阈值。服务器可以获取预警阈值。当存在一个预警阈值,且评价值大于预警阈值时,服务器可以生成“模型已衰减,需要优化”的模型警示信息。当存在多个预警阈值时,第一预警阈值可以用于表示模型已衰减,需要进行优化;第二预警阈值可以用于表示模型已崩溃,需要重新构建。当评价值大于第一预警阈值,小于第二预警阈值时,服务器可以生成“模型已衰减,需要优化”的模型警示信息;当评价值大于第二预警阈值时,服务器可以生成“模型已崩溃,需要重新构建”的模型警示信息。服务器将评价值和模型警示信息发送给审核终端。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种信息处理装置,包括:理赔信息接收模块602、模型获取模块604、评分计算模块606、审核评分接收模块608和评价值生成模块610,其中:
理赔信息接收模块602,用于接收业务终端发送的理赔信息,理赔信息携带有险种标识。
模型获取模块604,用于获取与险种标识对应的评分卡模型,评分卡模型是根据历史理赔信息集合训练生成的。
评分计算模块606,用于将理赔信息输入评分卡模型,得到理赔评分。
审核评分接收模块608,用于接收审核终端根据理赔信息生成的审核评分。
评价值生成模块610,用于根据理赔评分和审核评分生成评价值,将评价值发送给审核终端,其中,评价值用于反映评分卡模型的性能。
在一个实施例中,模型获取模块包括历史信息获取单元、变量筛选单元、证据权重计算单元和评分卡模型构建单元,其中:
历史信息获取单元,用于获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数。
变量筛选单元,用于根据历史理赔信息对业务变量进行筛选,确定评估特征。
证据权重计算单元,用于根据业务参数计算评估特征的证据权重。
评分卡模型构建单元,用于采用逻辑回归算法根据证据权重构建评分卡模型。
在一个实施例中,模型获取模块包括数值权重计算单元、回归权重计算单元、模型树权重单元和特征筛选单元,其中:
数值权重计算单元,用于采用数值计算对业务参数进行计算,得到业务变量的数值业务权重。
回归权重计算单元,用于采用线性回归算法对业务参数进行计算,得到业务变量的回归业务权重。
模型树权重单元,用于采用模型树对业务参数进行计算,得到业务变量的模型树业务权重。
特征筛选单元,用于根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,确定评估特征。
在一个实施例中,评价值生成模块包括分布表生成单元、差距值计算单元和评价值生成单元,其中:
分布表生成单元,用于根据理赔评分生成评分卡模型的理赔评分分布表,并根据审核评分生成审核评分分布表。
差距值计算单元,用于计算理赔评分分布表和审核评分分布表中的各评分组别的分布差距值。
评价值生成单元,用于根据各评分组别的分布差距值计算评分卡模型的评价值。
在一些实施例中,评价值生成模块包括预警阈值获取单元、比对单元和信息发送单元,其中:
预警阈值获取单元,用于获取预警阈值。
比对单元,用于根据预警阈值和评价值进行比对,生成模型警示信息。
信息发送单元,用于将评价值和模型警示信息发送给审核终端。
关于信息处理装置的具体限定可以参见上文中对于信息处理方法的限定,在此不再赘述。上述信息处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储信息处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息处理方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收业务终端发送的理赔信息,理赔信息携带有险种标识;获取与险种标识对应的评分卡模型,评分卡模型是根据历史理赔信息集合训练生成的;将理赔信息输入评分卡模型,得到理赔评分;接收审核终端根据理赔信息生成的审核评分;根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,其中,评价值用于反映评分卡模型的性能。
在一个实施例中,处理器执行计算机程序时实现的评分卡模型的生成方法,包括:获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;根据历史理赔信息对业务变量进行筛选,确定评估特征;根据业务参数计算评估特征的证据权重;采用逻辑回归算法根据证据权重构建评分卡模型。
在一个实施例中,处理器执行计算机程序时实现的根据历史理赔信息对业务变量进行筛选,确定评估特征,包括:采用数值计算对业务参数进行计算,得到业务变量的数值业务权重;采用线性回归算法对业务参数进行计算,得到业务变量的回归业务权重;采用模型树对业务参数进行计算,得到业务变量的模型树业务权重;根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,确定评估特征。
在一个实施例中,处理器执行计算机程序时实现的根据理赔评分和审核评分生成评价值,包括:根据理赔评分生成评分卡模型的理赔评分分布表,并根据审核评分生成审核评分分布表;计算理赔评分分布表和审核评分分布表中的各评分组别的分布差距值;根据各评分组别的分布差距值计算评分卡模型的评价值。
在一个实施例中,处理器执行计算机程序时实现的根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,包括:获取预警阈值;根据预警阈值和评价值进行比对,生成模型警示信息;将评价值和模型警示信息发送给审核终端。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收业务终端发送的理赔信息,理赔信息携带有险种标识;获取与险种标识对应的评分卡模型,评分卡模型是根据历史理赔信息集合训练生成的;将理赔信息输入评分卡模型,得到理赔评分;接收审核终端根据理赔信息生成的审核评分;根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,其中,评价值用于反映评分卡模型的性能。
在一个实施例中,计算机程序被处理器执行时实现的评分卡模型的生成方法,包括:获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;根据历史理赔信息对业务变量进行筛选,确定评估特征;根据业务参数计算评估特征的证据权重;采用逻辑回归算法根据证据权重构建评分卡模型。
在一个实施例中,计算机程序被处理器执行时实现的根据历史理赔信息对业务变量进行筛选,确定评估特征,包括:采用数值计算对业务参数进行计算,得到业务变量的数值业务权重;采用线性回归算法对业务参数进行计算,得到业务变量的回归业务权重;采用模型树对业务参数进行计算,得到业务变量的模型树业务权重;根据数值业务权重、回归业务权重和模型树业务权重对业务变量进行筛选,确定评估特征。
在一个实施例中,计算机程序被处理器执行时实现的根据理赔评分和审核评分生成评价值,包括:根据理赔评分生成评分卡模型的理赔评分分布表,并根据审核评分生成审核评分分布表;计算理赔评分分布表和审核评分分布表中的各评分组别的分布差距值;根据各评分组别的分布差距值计算评分卡模型的评价值。
在一个实施例中,计算机程序被处理器执行时实现的根据理赔评分和审核评分生成评价值,并将评价值发送给审核终端,包括:获取预警阈值;根据预警阈值和评价值进行比对,生成模型警示信息;将评价值和模型警示信息发送给审核终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种信息处理方法,所述方法包括:
接收业务终端发送的理赔信息,所述理赔信息携带有险种标识;
获取与所述险种标识对应的评分卡模型,所述评分卡模型是根据历史理赔信息集合训练生成的;
将所述理赔信息输入所述评分卡模型,得到理赔评分;
接收审核终端根据所述理赔信息生成的审核评分;
根据所述理赔评分和所述审核评分生成评价值,并将所述评价值发送给所述审核终端,其中,所述评价值用于反映所述评分卡模型的性能。
2.根据权利要求1所述的方法,其特征在于,所述评分卡模型的生成方法,包括:
获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;
根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征;
根据所述业务参数计算所述评估特征的证据权重;
采用逻辑回归算法根据所述证据权重构建评分卡模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征,包括:
采用数值计算对所述业务参数进行计算,得到所述业务变量的数值业务权重;
采用线性回归算法对所述业务参数进行计算,得到所述业务变量的回归业务权重;
采用模型树对所述业务参数进行计算,得到所述业务变量的模型树业务权重;
根据所述数值业务权重、所述回归业务权重和所述模型树业务权重对所述业务变量进行筛选,确定评估特征。
4.根据权利要求2所述的方法,其特征在于,所述根据所述理赔评分和所述审核评分生成评价值,包括:
根据所述理赔评分生成所述评分卡模型的理赔评分分布表,并根据所述审核评分生成审核评分分布表;
计算所述理赔评分分布表和所述审核评分分布表中的各评分组别的分布差距值;
根据所述各评分组别的所述分布差距值计算所述评分卡模型的评价值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述理赔评分和所述审核评分生成评价值,并将所述评价值发送给所述审核终端,包括:
获取预警阈值;
根据预警阈值和所述评价值进行比对,生成模型警示信息;
将所述评价值和所述模型警示信息发送给所述审核终端。
6.一种信息处理装置,其特征在于,所述装置包括:
理赔信息接收模块,用于接收业务终端发送的理赔信息,所述理赔信息携带有险种标识;
模型获取模块,用于获取与所述险种标识对应的评分卡模型,所述评分卡模型是根据历史理赔信息集合训练生成的;
评分计算模块,用于将所述理赔信息输入所述评分卡模型,得到理赔评分;
审核评分接收模块,用于接收审核终端根据所述理赔信息生成的审核评分;
评价值生成模块,用于根据所述理赔评分和所述审核评分生成评价值,将所述评价值发送给所述审核终端,其中,所述评价值用于反映所述评分卡模型的性能。
7.根据权利要求6所述的装置,其特征在于,所述模型获取模块,包括:
历史信息获取单元,用于获取历史理赔信息集合,其中,历史理赔信息携带有与险种标识对应的业务变量和对应的业务参数;
变量筛选单元,用于根据所述历史理赔信息对所述业务变量进行筛选,确定评估特征;
证据权重计算单元,用于根据所述业务参数计算所述评估特征的证据权重;
评分卡模型构建单元,用于采用逻辑回归算法根据所述证据权重构建评分卡模型。
8.根据权利要求6所述的装置,其特征在于,所述模型获取模块,包括:
数值权重计算单元,用于采用数值计算对所述业务参数进行计算,得到所述业务变量的数值业务权重;
回归权重计算单元,用于采用线性回归算法对所述业务参数进行计算,得到所述业务变量的回归业务权重;
模型树权重单元,用于采用模型树对所述业务参数进行计算,得到所述业务变量的模型树业务权重;
特征筛选单元,用于根据所述数值业务权重、所述回归业务权重和所述模型树业务权重对所述业务变量进行筛选,确定评估特征。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201911349514.7A 2019-12-24 2019-12-24 信息处理方法、装置、计算机设备和存储介质 Pending CN111144738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349514.7A CN111144738A (zh) 2019-12-24 2019-12-24 信息处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349514.7A CN111144738A (zh) 2019-12-24 2019-12-24 信息处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111144738A true CN111144738A (zh) 2020-05-12

Family

ID=70519753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349514.7A Pending CN111144738A (zh) 2019-12-24 2019-12-24 信息处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111144738A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240130A (zh) * 2020-06-22 2021-08-10 北京芯盾时代科技有限公司 数据分类方法及装置、计算机可读存储介质和电子设备
CN113743906A (zh) * 2021-09-09 2021-12-03 北京沃东天骏信息技术有限公司 一种确定业务处理策略的方法和装置
CN116522102A (zh) * 2023-05-17 2023-08-01 联洋国融(北京)科技有限公司 基于隐私计算动态调整意外险模型数据库的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187012A1 (en) * 2013-12-31 2015-07-02 Aon Global Risk Research Limited Audit performance evaluation
CN107169869A (zh) * 2017-04-06 2017-09-15 平安科技(深圳)有限公司 信息处理方法和信息处理装置
CN107871285A (zh) * 2017-12-06 2018-04-03 和金在线(北京)科技有限公司 一种健康保险赔欺诈及滥用的侦测方法和系统
CN108090678A (zh) * 2017-12-19 2018-05-29 马上消费金融股份有限公司 一种数据模型监控方法、系统、设备及计算机存储介质
CN108170909A (zh) * 2017-12-13 2018-06-15 中国平安财产保险股份有限公司 一种智能建模的模型输出方法、设备及存储介质
CN109685089A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 评估模型性能的系统及方法
CN110262939A (zh) * 2019-05-14 2019-09-20 苏宁金融服务(上海)有限公司 算法模型运行监控方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187012A1 (en) * 2013-12-31 2015-07-02 Aon Global Risk Research Limited Audit performance evaluation
CN107169869A (zh) * 2017-04-06 2017-09-15 平安科技(深圳)有限公司 信息处理方法和信息处理装置
CN109685089A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 评估模型性能的系统及方法
CN107871285A (zh) * 2017-12-06 2018-04-03 和金在线(北京)科技有限公司 一种健康保险赔欺诈及滥用的侦测方法和系统
CN108170909A (zh) * 2017-12-13 2018-06-15 中国平安财产保险股份有限公司 一种智能建模的模型输出方法、设备及存储介质
CN108090678A (zh) * 2017-12-19 2018-05-29 马上消费金融股份有限公司 一种数据模型监控方法、系统、设备及计算机存储介质
CN110262939A (zh) * 2019-05-14 2019-09-20 苏宁金融服务(上海)有限公司 算法模型运行监控方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240130A (zh) * 2020-06-22 2021-08-10 北京芯盾时代科技有限公司 数据分类方法及装置、计算机可读存储介质和电子设备
CN113743906A (zh) * 2021-09-09 2021-12-03 北京沃东天骏信息技术有限公司 一种确定业务处理策略的方法和装置
CN116522102A (zh) * 2023-05-17 2023-08-01 联洋国融(北京)科技有限公司 基于隐私计算动态调整意外险模型数据库的方法及装置

Similar Documents

Publication Publication Date Title
CN106951984B (zh) 一种系统健康度动态分析预测方法及装置
US20190180379A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
CN111144738A (zh) 信息处理方法、装置、计算机设备和存储介质
CN111314173B (zh) 监控信息异常的定位方法、装置、计算机设备及存储介质
CN110287103B (zh) 软件产品测评处理方法、装置、计算机设备及存储介质
CN112132233A (zh) 一种基于有效影响因子的服刑人员危险行为预测方法及系统
CN115577152B (zh) 基于数据分析的在线图书借阅管理系统
CN111260438A (zh) 产品配置方法、装置、计算机设备和存储介质
CN110928859A (zh) 模型监控方法、装置、计算机设备和存储介质
CN112508679A (zh) 一种小微企业贷款风险评估方法、装置及存储介质
CN115689752A (zh) 风控规则的调整方法、装置、设备及存储介质
CN111091276A (zh) 企业风险评分方法、装置、计算机设备和存储介质
CN115329338A (zh) 基于云计算服务的信息安全风险分析方法及分析系统
CN112037005B (zh) 一种评分卡的融合方法、装置、计算机设备及存储介质
CN112699048A (zh) 基于人工智能的程序故障处理方法、装置、设备及存储介质
CN117132383A (zh) 一种信贷数据处理方法、装置、设备及可读存储介质
CN111724009A (zh) 风险评估方法、风控系统及风险评估设备
EP3345153A1 (en) Automated mortality classification system for real-time risk-assessment and adjustment, and corresponding method
CN113821933A (zh) App流量预测方法、装置、计算机设备及存储介质
CN113537759A (zh) 一种基于权重自适应的用户体验度量模型
CN114219611A (zh) 贷款额度计算方法、装置、计算机设备和存储介质
CN112381440A (zh) 电力营商环境的评价方法、装置、处理器和评价系统
CN113205363A (zh) 一种基于大数据的业务指标监测方法及装置
CN116402506A (zh) 欺诈用户识别方法、装置、计算机设备和存储介质
CN116579860A (zh) 一种保险客户的风险评估方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512

WD01 Invention patent application deemed withdrawn after publication