CN111861734A - 三方数据源的测试评估系统及方法 - Google Patents
三方数据源的测试评估系统及方法 Download PDFInfo
- Publication number
- CN111861734A CN111861734A CN202010761044.1A CN202010761044A CN111861734A CN 111861734 A CN111861734 A CN 111861734A CN 202010761044 A CN202010761044 A CN 202010761044A CN 111861734 A CN111861734 A CN 111861734A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- test
- testing
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 199
- 238000011156 evaluation Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000012795 verification Methods 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012797 qualification Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013475 authorization Methods 0.000 claims description 4
- 238000000528 statistical test Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000011157 data evaluation Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000004080 punching Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明涉及风控管理技术领域，具体涉及三方数据源的测试评估系统及方法，系统包括数据获取模块、处理模块、验证模块、统计模块和测试模块，方法包括获取三方数据，对三方数据同步进行真实性验证和资质信息验证，在真实性验证之后依次进行三方数据的覆盖能力计算和区分度计算。本发明对获取的三方数据通过不同的模块进行多个角度进行评估，评估完整，评估结果更准确，对测试数据进行一定步骤的依次处理，提高测试数据的适用性。
Description
技术领域
本发明涉及风控管理技术领域，具体涉及三方数据源的测试评估系统及方法。
背景技术
金融产业的繁荣发展促使了银行产业的规模不断壮大,银行产业所接触的数据也在不断增多，为了银行数据的安全，银行会成立专门的风控部门对诸如信贷业务的风险进行控制。风控部门在信贷风险控制环节使用的数据源主要有三个：一是申请资料及其所附文件，可供风控部门了解客户最新的职业和财力等情况；二是内部数据，若客户为本行的既有客户，数据库中已有其各类基本信息及与其来往记录；三是外部数据，外部数据包括央行征信报告和其他外部数据源。外部数据具有网罗各家金融机构客户信用信息、数据齐全的优点，外部数据的具有部分外部数据做了黑箱处理、其真实性和业务逻辑性比较模糊的缺点，将这些外部数据统称为三方数据源。
三方数据源是除了人行征信报告、行内自有数据和客户主动提供数据以外的其他一切数据，如运营商验证数据、黑名单数据和征信企业收集的非银机构表现数据等。三方数据源在风控阶段扮演者不可或缺的角色，如何合理有效的评估三方数据源的质量是引入三方数据源中重要的环节，例如黑名单数据就包括了因一次简单的失误被误拒而导致的坏数据。
为了评价三方数据源在客户好坏程度指标上的区分度，现有三方数据源评估体系主要集中在测试数据的覆盖率和区分度，对于覆盖率小的数据类型的处理方式是命中则直接拒绝，造成了有效数据的遗漏，数据的适用性差。
发明内容
本发明意在提供一种三方数据源的测试评估系统，以解决数据适用性差的问题。
本方案中的三方数据源的测试评估系统，包括数据获取模块、处理模块、验证模块、统计模块和测试模块；
数据获取模块，用于根据指定目标获取数据供应商的测试数据；
处理模块，用于从数据获取模块接收测试数据进行预处理，所述处理模块将预处理后的测试数据发送至统计模块；
统计模块，用于计算预处理后的测试数据的查得率并向处理模块反馈，所述处理模块将统计后的测试数据和对应的查得率发送至验证模块；
验证模块，用于对统计后测试数据进行真实性验证并向处理模块反馈验证结果，所述验证结果包括正结果和负结果，所述处理模块在验证结果为正结果时将验证后的测试数据发送至测试模块，所述处理模块在验证结果为负结果是丢弃测试数据并向数据获取模块发送重新获取信号；
测试模块，用于计算验证后的测试数据的IV值，以IV值来计算预处理后的测试数据的区分度，所述测试模块对测试数据的资质信息进行核查并向处理模块反馈核查结果，所述处理模块根据核查结果得到测试结果。
本方案的有益效果是：
对获取的测试数据通过不同的模块进行多个角度进行评估，评估完整，评估结果更准确；以IV值计算测试数据的区分度，而IV值是基于决策树选择最优分组，避免由于分组不统一而导致不公允的问题，且对测试数据进行一定步骤的依次处理，提高测试数据的适用性。
进一步，所述处理模块判断所接收的测试数据的数据类型发送至验证模块，所述数据类型包括验证类数据和特征类数据，所述处理模块在数据类型为特征类数据时对测试数据进行预处理。
有益效果是：对不同类型的测试数据进行预处理，便于判断该类型测试数据的有效性，提高数据测试的准确性。
进一步，在数据类型为特征类数据时，所述验证模块对先后时间点获得的测试数据是否相同进行反馈，所述验证模块在先后时间点获得的测试数据相同时反馈负结果，所述验证模块在先后时间点获得的测试数据不相同时反馈正结果，在数据类型为验证类数据时，所述验证模块对测试数据之间的匹配性进行验证反馈，所述验证模块在测试数据之间匹配时反馈正结果，所述验证模块在测试数据之间不匹配时反馈负结果。
有益效果是：针对不同数据类型的测试数据进行验证，提高数据验证的准确性。
进一步，在数据类型为验证类数据时，所述处理模块获取直接真实数据或类似真实数据发送至测试模块，所述测试模块收到直接真实数据时以直接真实数据和测试数据计算混淆矩阵，所述类似真实数据为与数据供应商同类型厂商的测试数据，所述测试模块根据测试数据与类似真实数据间组合计算混淆矩阵，所述测试模块根据混淆矩阵计算出测试数据的准确率。
有益效果是：由于部分真实数据无法直接获取，例如公安系统中的数据，以同类型厂商的测试数据为类似真实数据，然后计算数据的准确率，让数据评估有尺可度，提高数据评估后评估结果的准确性。
进一步，所述查得率的计算公式为：查得率＝查得数据记录数/测试数据记录数，所述处理模块在查得率小于阈值时判断验证后的三方数是否为黑名单数据，当验证后的测试数据为黑名单数据时，所述处理模块向测试模块发送单独计算信号，所述测试模块计算黑名单数据的覆盖率、误拒率、有效差异率和无效差异率，所述处理模块获取覆盖率、误拒率、有效差异率和无效差异率判断测试数据的信用度。
有益效果是：指标了反映出数据的质量，IV值打破了分组不同无法公平对比的困境让数据直接进行横向纵向比较，误拒率、无效差异率、有效差异率衡量了数据的增益效应，用于同类已使用数据与测试数据对比增益效果。
进一步，所述覆盖率的计算公式为：覆盖率＝查得命中黑名单数/样本数量，所述误拒率的计算公式为：误拒率＝查得命中黑名单数/样本中通过且为好客户数量，所述有效差异率的计算公式为：有效差异率＝查得命中黑名单数/样本中通过且坏客户量，所述无效差异率的计算公式为：无效差异率＝查得命中黑名单数/样本中其他拒绝量。
有益效果是：覆盖率越高，测试数据与客群越匹配，项目客群质量相对越差，误拒率表诉的是原本为好客户但是由于命中了测试黑名单被拒绝的频率，误拒率越高说明测试数据质量不佳，有效差异率衡量的是在现有数据源的条件下，如果引入测试数据源可过滤掉的坏客户频率，显示出了增益效用，无效差异率显示出测试数据源与原本使用的数据源的重合程度，通过各个参数的量化计算便于评价客户质量。
进一步，所述处理模块在覆盖率大于阈值时初步判断测试数据对应客户为低质量客户。
有益效果是：设置阈值能够准确判断客户的质量。
进一步，在无效差异率位于预设范围内时，所述处理模块判断误拒率小于误拒阈值且有效差异率大于差异阈值时的客户为高质量客户。
有益效果是：通常我们引入的测试数据源的类别，其实在机构中已经开始使用，后续对于同一类数据是否还需要进行引入，使用增益效果进行效用提升判断，在合理衡量数据迁移成本后，决定是否要更替现在使用的数据源。
进一步，所述测试模块对预处理后的测试数据客户的经营牌照类别、成立年限、安全证书和数据来源授权进行核查。
有益效果是：通过各个方面对测试数据进行核查，保证数据的有效性。
三方数据源的测试评估方法，应用了上述三方数据源的测试评估系统。
附图说明
图1为本发明实施例一三方数据源的测试评估系统的原理框图；
图2为本发明实施例一三方数据源的测试评估方法的流程框图。
具体实施方式
下面通过具体实施方式进一步详细说明。
实施例一
三方数据源的测试评估系统，如图1所示，包括：
数据获取模块，用于根据指定目标获取数据供应商的测试数据，如将到银行办理贷款业务的客户身份证号码作为指定目标获取数据供应商的测试数据，测试数据即三方数据，如该客户的固定财产和其他信贷信息的测试数据；
处理模块，用于从数据获取模块接收测试数据进行预处理，如对三方数据进行抽样处理，处理模块将预处理后的测试数据同时发送至统计模块；
统计模块，用于统计验证后的测试数据的查得率并向处理模块反馈，处理模块将统计后的测试数据和对应的查得率发送至验证模块；
验证模块，用于对预处理后的测试数据进行真实性验证并向处理模块反馈验证结果，验证结果包括正结果和负结果，如测试数据中身份证号码与客户本人是否为同一人，处理模块在验证结果为正结果时将验证后的测试数据发送至测试模块，处理模块在验证结果为负结果是丢弃测试数据并向数据获取模块发送重新获取信号；
测试模块，用于计算验证后的测试数据的IV值，以IV值来计算预处理后的测试数据的区分度，测试模块对测试数据的资质信息进行核查，如对经营牌照类别、成立年限是厂商稳定的保障、安全证书和数据来源授权的资质信息核查。
本实施例一中三方数据源大致可以分为验证类数据和客户特征描述数据，验证类数据是对客户属性进行验证，如身份证、银行卡和电话号码的三要素验证，公安机关黑名单验证等，客户特征数据是对客户多头、行为描述如手机app行为数据。金融机构根据自身的特征并结合自身数据属性抽样，抽样后将客户的身份信息等发给测试厂商，测试厂商按照要求提供测试数据，测试数据返回给金融机构。
基于上述三方数据源的测试评估系统的三方数据源的测试评估方法，如图2所示，包括以下内容：
通过数据获取模块将指定目标发送至数据供应商并获取数据供应商返回的测试数据，由处理模块对测试数据后进行预处理，处理模块判断所接收的测试数据的数据类型，数据类型包括验证类数据和特征类数据，由处理模块在数据类型为特征类数据时给测试数据添加时间点进行预处理，由处理模块将预处理后的测试数据和数据类型发送至统计模块；
让统计模块对验证后的测试数据进行查得率统计，查得率＝查得数据记录数/测试数据记录数，以查得率来衡量三方数据的人群覆盖能力，覆盖人群是否广泛，影响了数据的使用场景和使用性能，由处理模块从统计模块获取统计后的测试数据和查得率发送至验证模块；
在数据类型为验证类数据时，由验证模块对测试数据之间的匹配性进行验证反馈，例如验证数据供应商输出的测试数据与制定目标的客户信息是否相符，以及客户信息与身份信息是否匹配，客户的电话号码是否本人电话号码等，检查数据结果命中是否全面，如三要素验证的结果应该有：一致，不一致，查无此人，三要素可以是姓名、身份证号码和手机号码，如结果只覆盖了两种结果，则说明该数据源结果有缺失，让验证模块在测试数据之间匹配时反馈正结果，让验证模块在测试数据之间不匹配时反馈负结果；
在数据类型为特征类数据时，通过验证模块对先后时间点获得的测试数据是否相同进行反馈，让验证模块在先后时间点获得的测试数据相同时反馈负结果，让验证模块在先后时间点获得的测试数据不相同时反馈正结果，从而让处理模块在数据类型为特征类数据时对测试数据进行预处理得到验证结果，由验证模块将验证结果反馈至处理模块，在验证结果为正结果是，由处理模块将验证后的测试数据发送至测试模块；在验证模块的结果为负结果时，丢弃数据；
在特征类数据的验证结果为正结果时，通过测试模块对验证后的测试数据进行IV值计算，并以IV值作为三方数据的区分度，例如欺诈分和社保指数等，IV值的计算过程如下，先对一个变量进行WOE编码，首先需要对这个变量进行分组处理，分组后，对于第i组，WOE的计算公式为公式一：
pyt表示第i组里面违约客户占所有违约客户的比例，yi表示第i组中违约客户的人数，yT表示样本中所有违约客户人数，pnt表示第i组人数占样本总人数的比例。ni表示第i组的人数，nT表示样本总人数。第i组的IV的计算公式为公式二：
IVi＝(pyi-pni)*WOEi (公式二)
将每个组的IV值加起来就是这个变量的IV值，如公式三所示：
在验证类数据的验证结果为正结果时，通过测试模块对验证后的测试数据的客户经营牌照类别、成立年限、安全证书、是否有同业合作经验和数据来源授权进行核查，测试模块将向处理模块反馈核查结果，例如私营企业的经营牌照、成立年限1年、安全证书无、无同业合作经营等，处理模块根据核查结果得到测试结果，例如经营牌照为私营企业评分3分，成立年限小于3年时得4分，安全证书无得0分等，以评分方式得到测试结果。
通过上述步骤对数据供应商的测试数据的质量有一个综合评估，并针对不同类型的数据源提出了不同的测试评估方法，让数据评估有尺可度，同类数据针对同一数据源的测试结果可以进行横向比较，解决了分组不同效果不同的窘境，对测试数据进行评估，以测试数据来表征数据供应商的资质，资质越好越能保证数据的稳定的供应，保证所需获取数据的准入条件，保证数据有效性。
实施例二
与实施例一的区别是，在数据类型为验证类数据时，通过处理模块获取直接真实数据或类似真实数据发送至测试模块，真实数据是可以直接获得的数据，例如银行内部的客户数据以及能够从数据供应商获得的数据，通过测试模块在获取直接真实数据时以直接真实数据和测试数据计算混淆矩阵，类似真实数据为与数据供应商同类型厂商的测试数据，例如类似真实数据为公安机关的黑名单数据，类似真实数据通过将多个同类型数据供应商提供的测试数据进行对比，选择多个测试数据都相同的数据供应商的数据，通过测试模块根据测试数据与类似真实数据间组合计算混淆矩阵，由测试模块根据混淆矩阵计算出测试数据的准确率；混淆矩阵就是分别统计分类的归错类和归对类的观测值个数，然后把结果放在同一个表里展示出来就是混淆矩阵；本实施例一中，TP表示：真实值是positive，厂商返回数据也为positive，表示厂商数据与真实数据相符；FN表示：真实值是positive，厂商返回数据为negative，把positive误判为negative；FP表示：真实值为negative，厂商判断为positive，把negative误判为positive；TN表示：真实值是nagative，厂商返回数据也为nagative，经过上面的参数定义，准确率＝(TP+TN)/(TP+FP+FN+TN)，准确率反映了验证数据的效用，是考核验证类数据质量的重要指标。混淆矩阵如表1所示：
表1混淆矩阵
以准确率作为一个相对指标来评价测试数据的治疗，通过准确率能够让验证类数据的评价更为直观。
在查得率小于阈值时，由处理模块判断验证后的三方数是否为黑名单数据，当验证后的测试数据为黑名单数据时，通过处理模块向测试模块发送单独计算信号，让测试模块计算黑名单数据的覆盖率、误拒率、有效差异率和无效差异率，由处理模块获取覆盖率、误拒率、有效差异率和无效差异率判断测试数据的信用度，具体如下：
覆盖率的计算公式为：覆盖率＝查得命中黑名单数/样本数量，黑名单的覆盖率说明了样本与测试类型数据场景是否匹配，项目客户质量，覆盖率越高，测试数据与客群越匹配，项目客群质量相对越差；
误拒率的计算公式为：误拒率＝查得命中黑名单数/样本中通过且为好客户数量，误拒率表述的是原本为好客户但是由于命中了测试黑名单被拒绝的频率，误拒率越高说明测试数据质量不佳；
有效差异率的计算公式为：有效差异率＝查得命中黑名单数/样本中通过且坏客户量，有效差异率衡量的是在现有数据源的条件下，如果引入测试数据源可过滤掉的坏客户频率，显示出了增益效用；
无效差异率的计算公式为：无效差异率＝查得命中黑名单数/样本中其他拒绝量，项目原本也有用黑名单，无效差异率显示出测试数据源与原本使用的数据源的重合程度。
在覆盖率大于阈值时，由处理模块初步判断测试数据对应客户为低质量客户，在无效差异率位于预设范围内时，由处理模块判断误拒率小于误拒阈值且有效差异率大于差异阈值时的客户为高质量客户。
通过验证模块、统计模块和测试模块的操作能够对厂商的测试数据的质量有一个综合评估，覆盖率的高低决定了数据的使用场景，如覆盖率过低不适合在模型上使用，IV值可以评估数据的区分能力，黑名单中的有效差异率说明了在现有情况下如果加入此数据的增益，单独讨论这些指标是没有意义的，与机构现有的数据供应商对比评估测试数据源是否有意义。厂商资质越好，越能保证数据的稳定的供应，如果数据供应商不满足，不予考虑接入，从多个数据以及多个方面综合表征评价黑名单数据的指标，黑名单数据评价更直观，同时提高黑名单数据评价的准确性。
实施例三
与实施例一的区别是，在测试数据为特征类数据时，对客户的工作情况进行追踪，由于客户的工作情况可能会出现造假的情况，如未在企业上班而通过盖另一企业的公章的方式捏造一个工作单位。由于工作单位为捏造，对客户通过审批进行放贷或放款后，用户的偿还能力及偿还意识都得不到保证。这样，会导致放贷或放款后回款不及时，若这样的客户数量达到了一定的数量级，更是会对贷款业务造成较大的打击。
通过移动端对客户的工作情况进行追踪，同时将移动端的功能伪装成银行机构的信息申请功能，避免客户知晓后刻意进行信息伪造而达不到追踪目的；移动端可用客户的手机终端，在移动端内存储有客户的用户资料，用户资料包括工作的公司；移动端在接收到上班打卡语音信息时，定位当前的位置，并将当前的位置与用户资料上公司的定位信息进行对比，当用户资料的公司的定位信息与当前的位置相同时进行计数得到计数值，当计数值大于预设值时，则将客户的工作情况标记为工作认证通过，否则将客户的工作情况标记为工作存疑。
由于客户上班打卡时，需要位于打卡机附近，也就是位于公司地址，通过上班打卡(如钉钉蓝牙打卡)的声音触发移动端采集客户当前坐标，此时采集的坐标位置可以确保是客户所在公司的真实地址。之后，移动端将采集的当前坐标与用户资料中公司的定位信息进行比对。可以知晓客户实际的上班地址与资料中公司地址是否一致。
通过移动端内部采集特定的声音信息，再对比位置的方式，不需要客户进行操作以及让客户知晓，就能够获得真实的客户的工作单位信息，进而对客户的工作单位信息进行验证，防止因为客户工作单位信息问题给机构的贷款业务造成负面影响。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.三方数据源的测试评估系统，其特征在于：包括数据获取模块、处理模块、验证模块、统计模块和测试模块；
数据获取模块，用于根据指定目标获取数据供应商的测试数据；
处理模块，用于从数据获取模块接收测试数据进行预处理，所述处理模块将预处理后的测试数据发送至统计模块；
统计模块，用于计算预处理后的测试数据的查得率并向处理模块反馈，所述处理模块将统计后的测试数据和对应的查得率发送至验证模块；
验证模块，用于对统计后测试数据进行真实性验证并向处理模块反馈验证结果，所述验证结果包括正结果和负结果，所述处理模块在验证结果为正结果时将验证后的测试数据发送至测试模块，所述处理模块在验证结果为负结果是丢弃测试数据并向数据获取模块发送重新获取信号；
测试模块，用于计算验证后的测试数据的IV值，以IV值来计算预处理后的测试数据的区分度，所述测试模块对测试数据的资质信息进行核查并向处理模块反馈核查结果，所述处理模块根据核查结果得到测试结果。
2.根据权利要求1所述的三方数据源的测试评估系统，其特征在于：所述处理模块判断所接收的测试数据的数据类型发送至验证模块，所述数据类型包括验证类数据和特征类数据，所述处理模块在数据类型为特征类数据时给测试数据添加时间点进行预处理。
3.根据权利要求2所述的三方数据源的测试评估系统，其特征在于：在数据类型为特征类数据时，所述验证模块对先后时间点获得的测试数据是否相同进行反馈，所述验证模块在先后时间点获得的测试数据相同时反馈负结果，所述验证模块在先后时间点获得的测试数据不相同时反馈正结果，在数据类型为验证类数据时，所述验证模块对测试数据之间的匹配性进行验证反馈，所述验证模块在测试数据之间匹配时反馈正结果，所述验证模块在测试数据之间不匹配时反馈负结果。
4.根据权利要求3所述的三方数据源的测试评估系统，其特征在于：在数据类型为验证类数据时，所述处理模块获取直接真实数据或类似真实数据发送至测试模块，所述测试模块收到直接真实数据时以直接真实数据和测试数据计算混淆矩阵，所述类似真实数据为与数据供应商同类型厂商的测试数据，所述测试模块根据测试数据与类似真实数据间组合计算混淆矩阵，所述测试模块根据混淆矩阵计算出测试数据的准确率。
5.根据权利要求4所述的三方数据源的测试评估系统，其特征在于：所述查得率的计算公式为：查得率＝查得数据记录数/测试数据记录数，所述处理模块在查得率小于阈值时判断验证后的三方数是否为黑名单数据，当验证后的测试数据为黑名单数据时，所述处理模块向测试模块发送单独计算信号，所述测试模块计算黑名单数据的覆盖率、误拒率、有效差异率和无效差异率，所述处理模块获取覆盖率、误拒率、有效差异率和无效差异率判断测试数据的信用度。
6.根据权利要求5所述的三方数据源的测试评估系统，其特征在于：所述覆盖率的计算公式为：覆盖率＝查得命中黑名单数/样本数量，所述误拒率的计算公式为：误拒率＝查得命中黑名单数/样本中通过且为好客户数量，所述有效差异率的计算公式为：有效差异率＝查得命中黑名单数/样本中通过且坏客户量，所述无效差异率的计算公式为：无效差异率＝查得命中黑名单数/样本中其他拒绝量。
7.根据权利要求5所述的三方数据源的测试评估系统，其特征在于：所述处理模块在覆盖率大于阈值时初步判断测试数据对应客户为低质量客户。
8.根据权利要求7所述的三方数据源的测试评估系统，其特征在于：在无效差异率位于预设范围内时，所述处理模块判断误拒率小于误拒阈值且有效差异率大于差异阈值时的客户为高质量客户。
9.根据权利要求1所述的三方数据源的测试评估系统，其特征在于：所述测试模块对预处理后的测试数据客户的经营牌照类别、成立年限、安全证书和数据来源授权进行核查。
10.使用权利要求1至9任一项所述三方数据源的测试评估系统的三方数据源的测试评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761044.1A CN111861734B (zh) | 2020-07-31 | 2020-07-31 | 三方数据源的测试评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761044.1A CN111861734B (zh) | 2020-07-31 | 2020-07-31 | 三方数据源的测试评估系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861734A true CN111861734A (zh) | 2020-10-30 |
| CN111861734B CN111861734B (zh) | 2024-05-03 |
Family
ID=72954000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761044.1A Active CN111861734B (zh) | 2020-07-31 | 2020-07-31 | 三方数据源的测试评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861734B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529677A (zh) * | 2020-12-22 | 2021-03-19 | 四川新网银行股份有限公司 | 一种自动化数据质量评估方法和可读存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2052898C1 (ru) * | 1993-06-08 | 1996-01-20 | Валерий Леонидович Воронцов | Способ разнесенного приема данных |
| CN103200176A (zh) * | 2013-02-27 | 2013-07-10 | 中国工商银行股份有限公司 | 一种基于银行独立通信渠道的认证方法、装置及系统 |
| CN103778516A (zh) * | 2014-02-21 | 2014-05-07 | 北京购阿购技术服务有限公司 | 全方位安全定位交易信息集成方法 |
| CN107369081A (zh) * | 2017-07-19 | 2017-11-21 | 无锡企业征信有限公司 | 用数据来源的动态影响因子确定数据有效性的系统及方法 |
| CN109523118A (zh) * | 2018-10-11 | 2019-03-26 | 平安科技（深圳）有限公司 | 风险数据筛选方法、装置、计算机设备和存储介质 |
| CN109886801A (zh) * | 2019-01-28 | 2019-06-14 | 上海孚厘金融信息服务有限公司 | 一种电子银行流水真伪鉴别方法及装置 |
| CN109978680A (zh) * | 2019-03-18 | 2019-07-05 | 杭州绿度信息技术有限公司 | 一种细分客群信贷业务风控差异化定价的风控方法和系统 |
| CN110020951A (zh) * | 2019-04-10 | 2019-07-16 | 北京筑龙信息技术有限责任公司 | 一种基于区块链的交易数据验证方法、装置及存储介质 |
| CN110135971A (zh) * | 2019-04-15 | 2019-08-16 | 上海良鑫网络科技有限公司 | 基于弱变量数据的信用风险评估系统与方法 |
| CN110196797A (zh) * | 2019-06-06 | 2019-09-03 | 苏宁消费金融有限公司 | 适于信用评分卡系统的自动优化方法和系统 |
| CN110276552A (zh) * | 2019-06-21 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 贷前风险分析方法、装置、设备及可读存储介质 |
| CN111325405A (zh) * | 2020-03-02 | 2020-06-23 | 贵州电网有限责任公司 | 一种抱怨敏感度建模预测方法 |
| CN111724502A (zh) * | 2020-06-09 | 2020-09-29 | 星觅(上海)科技有限公司 | 车辆行驶数据处理方法、装置、设备和存储介质 |
| CN113888321A (zh) * | 2021-10-29 | 2022-01-04 | 重庆富民银行股份有限公司 | 基于第三方数据源的违约概率分析方法 |
| US20220206913A1 (en) * | 2020-12-30 | 2022-06-30 | Lg Cns Co., Ltd. | Virtual device for providing test data |
| CN115578027A (zh) * | 2022-09-28 | 2023-01-06 | 中国银联股份有限公司 | 一种数据质量评估方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-31 CN CN202010761044.1A patent/CN111861734B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2052898C1 (ru) * | 1993-06-08 | 1996-01-20 | Валерий Леонидович Воронцов | Способ разнесенного приема данных |
| CN103200176A (zh) * | 2013-02-27 | 2013-07-10 | 中国工商银行股份有限公司 | 一种基于银行独立通信渠道的认证方法、装置及系统 |
| CN103778516A (zh) * | 2014-02-21 | 2014-05-07 | 北京购阿购技术服务有限公司 | 全方位安全定位交易信息集成方法 |
| CN107369081A (zh) * | 2017-07-19 | 2017-11-21 | 无锡企业征信有限公司 | 用数据来源的动态影响因子确定数据有效性的系统及方法 |
| CN109523118A (zh) * | 2018-10-11 | 2019-03-26 | 平安科技（深圳）有限公司 | 风险数据筛选方法、装置、计算机设备和存储介质 |
| CN109886801A (zh) * | 2019-01-28 | 2019-06-14 | 上海孚厘金融信息服务有限公司 | 一种电子银行流水真伪鉴别方法及装置 |
| CN109978680A (zh) * | 2019-03-18 | 2019-07-05 | 杭州绿度信息技术有限公司 | 一种细分客群信贷业务风控差异化定价的风控方法和系统 |
| CN110020951A (zh) * | 2019-04-10 | 2019-07-16 | 北京筑龙信息技术有限责任公司 | 一种基于区块链的交易数据验证方法、装置及存储介质 |
| CN110135971A (zh) * | 2019-04-15 | 2019-08-16 | 上海良鑫网络科技有限公司 | 基于弱变量数据的信用风险评估系统与方法 |
| CN110196797A (zh) * | 2019-06-06 | 2019-09-03 | 苏宁消费金融有限公司 | 适于信用评分卡系统的自动优化方法和系统 |
| CN110276552A (zh) * | 2019-06-21 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 贷前风险分析方法、装置、设备及可读存储介质 |
| CN111325405A (zh) * | 2020-03-02 | 2020-06-23 | 贵州电网有限责任公司 | 一种抱怨敏感度建模预测方法 |
| CN111724502A (zh) * | 2020-06-09 | 2020-09-29 | 星觅(上海)科技有限公司 | 车辆行驶数据处理方法、装置、设备和存储介质 |
| US20220206913A1 (en) * | 2020-12-30 | 2022-06-30 | Lg Cns Co., Ltd. | Virtual device for providing test data |
| CN113888321A (zh) * | 2021-10-29 | 2022-01-04 | 重庆富民银行股份有限公司 | 基于第三方数据源的违约概率分析方法 |
| CN115578027A (zh) * | 2022-09-28 | 2023-01-06 | 中国银联股份有限公司 | 一种数据质量评估方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529677A (zh) * | 2020-12-22 | 2021-03-19 | 四川新网银行股份有限公司 | 一种自动化数据质量评估方法和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861734B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111861732A (zh) | 一种风险评估系统及方法 | |
| WO2019041859A1 (zh) | 监察信息处理方法、装置、服务器和存储介质 | |
| CN109102394A (zh) | 风险评估方法、装置及计算机可读存储介质 | |
| CN106027544B (zh) | 地址信息的校验方法、云服务器及手持终端 | |
| CN109242658B (zh) | 可疑交易报告生成方法、系统、计算机设备和存储介质 | |
| CN109598519B (zh) | 车辆审核方法、装置、计算机设备和存储介质 | |
| CN110489431A (zh) | 异常检测方法、装置、计算机设备及存储介质 | |
| CN115063228A (zh) | 一种反洗钱管理平台及反洗钱方法 | |
| CN110136010A (zh) | 基于神经网络判断风险事件的方法、装置和计算机设备 | |
| CN111353716A (zh) | 一种非法集资检测方法、系统及计算机可读存储介质 | |
| CN111798246A (zh) | 一种金融风险等级评估方法和装置 | |
| CN111507848A (zh) | 一种基于大数据的车辆保险反欺诈检测方法 | |
| CN118195620A (zh) | 一种多案关联反欺诈风险检测方法及系统 | |
| CN111861734A (zh) | 三方数据源的测试评估系统及方法 | |
| CN110659989A (zh) | 一种主动探索式合规反洗钱方法、装置、系统及存储介质 | |
| CN114820169A (zh) | 一种金融业务的数据服务处理系统及方法 | |
| CN113159568A (zh) | 一种保函风险估算系统及方法 | |
| CN111861733A (zh) | 基于地址模糊匹配的欺诈防控系统及方法 | |
| CN114817518B (zh) | 基于大数据档案识别的证照办理方法、系统及介质 | |
| CN114078049B (zh) | 一种用于供应链金融资信服务的数据处理方法及装置 | |
| Mansour et al. | The impact of reliability elements on performance indicators of jordanian commercial banks | |
| CN115511596A (zh) | 一种辅助决策的征信验证评估管理方法及系统 | |
| CN110889644B (zh) | 信用数据处理方法、装置、存储介质和计算机设备 | |
| CN113163327B (zh) | 一种移动应用中定位数据真伪辨别的方法和系统 | |
| CN115630375A (zh) | 一种电子保函风险管控方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |