CN110609829A - 交易数据的清洗还原方法及系统 - Google Patents
交易数据的清洗还原方法及系统 Download PDFInfo
- Publication number
- CN110609829A CN110609829A CN201910751416.XA CN201910751416A CN110609829A CN 110609829 A CN110609829 A CN 110609829A CN 201910751416 A CN201910751416 A CN 201910751416A CN 110609829 A CN110609829 A CN 110609829A
- Authority
- CN
- China
- Prior art keywords
- mode
- deduction
- payment
- transaction data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明一种交易数据的清洗还原方法及系统，包括：授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式；从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额；对用户的有效交易数据进行数据去重操作；根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型；将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并；将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并；还原出用户的初始账单。
Description
技术领域
本发明涉及数据清洗和数据还原技术领域，特别是涉及一种交易数据的清洗还原方法及系统，应用于互联网金融及征信机构。
背景技术
通过查询资料，目前市面上并没有针对如此大量的交易数据来进行用户账单还原的方法。
发明内容
本发明针对现有技术存在的问题和不足，提供一种交易数据的清洗还原方法及系统。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供一种交易数据的清洗还原方法，其特点在于，其包括以下步骤：
S1、授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款；
S2、从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额；
S3、对用户的有效交易数据进行数据去重操作；
S4、根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型；
S5、将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并；
S6、将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并；
S7、还原出用户的初始账单。
较佳地，在步骤S3中，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
本发明还提供一种交易数据的清洗还原系统，其特点在于，其包括获取模块、提取模块、去重模块、选择模块、清洗模块和还原模块；
所述获取模块用于授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款；
所述提取模块用于从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额；
所述去重模块用于对用户的有效交易数据进行数据去重操作；
所述选择模块用于根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型；
所述清洗模块用于将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并，将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并；
所述还原模块用于还原出用户的初始账单。
较佳地，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明根据借贷用户的交易数据，对其进行特征提取，得到多个关键维度；利用预先了解的商户信息和清洗模型对交易数据进行清洗和还原，得到以用户，商户为维度的一笔借款交易账单。通过输入原始的交易数据和对应的商户信息参数可以选择不同的清洗模型，来还原该用户在某商户下的一笔初始交易订单。只需通过商户信息来确定参数，就可以利用通用模型进行批量清洗还原出借款用户的初始交易订单信息，从而利用用户的借款信息来分析该用户的行为、偏好等特征。
附图说明
图1为本发明较佳实施例的交易数据的清洗还原方法的流程图。
图2为本发明较佳实施例的交易数据的清洗还原系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供一种交易数据的清洗还原方法，其包括以下步骤：
步骤101、授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款。
步骤102、从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额。
步骤103、对用户的有效交易数据进行数据去重操作。
在步骤103中，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
步骤104、根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型。
步骤105、将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并。
步骤106、将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并。
步骤107、还原出用户的初始账单。
如图2所示，本实施例还提供一种交易数据的清洗还原系统，其包括获取模块1、提取模块2、去重模块3、选择模块4、清洗模块5和还原模块6。
所述获取模块1用于授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括；产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款。
所述提取模块2用于从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额。
所述去重模块3用于对用户的有效交易数据进行数据去重操作。
其中，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
所述选择模块4用于根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型。
所述清洗模块5用于将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并，将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并。
所述还原模块6用于还原出用户的初始账单。
通过对商户信息进行汇总，根据商户的扣款方式为主动还款和被动还款主要分为两大类清洗模型，在每种扣款方式中，根据产品逾期规则衍生出10种逾期判定方式，从而精准还原该用户逾期订单。再根据产品每期还款方式以及产品额度周期，将用户的同一笔订单进行合并，准确的还原出用户的一整笔订单交易。
本发明创新性的建立了一种清洗模型，只要将商户信息，用户数据输入，便可快速还原成该用户的初始账单，来进行用户的行为进行分析。
本发明创新性的将用户的账单信息还原，并衍生出借款时间，产品周期，借款金额等多种维度，便于分析该用户的借款偏好。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (4)
1.一种交易数据的清洗还原方法，其特征在于，其包括以下步骤：
S1、授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款；
S2、从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额；
S3、对用户的有效交易数据进行数据去重操作；
S4、根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型；
S5、将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并；
S6、将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并；
S7、还原出用户的初始账单。
2.如权利要求1所述的交易数据的清洗还原方法，其特征在于，在步骤S3中，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
3.一种交易数据的清洗还原系统，其特征在于，其包括获取模块、提取模块、去重模块、选择模块、清洗模块和还原模块；
所述获取模块用于授权处理用户的原始交易数据和对应的用户信息参数，用户信息参数包括产品的利率、周期、额度、逾期方式、逾期利率、还款方式和扣款方式，扣款方式包括主动还款方式和被动还款方式，还款方式包括一次性还款和分期还款；
所述提取模块用于从原始交易数据中提取出用户的有效交易数据，每笔有效交易数据包括扣款状态、扣款时间和扣款金额；
所述去重模块用于对用户的有效交易数据进行数据去重操作；
所述选择模块用于根据用户的扣款方式选择用户的清洗模型，扣款方式为主动还款方式对应主动还款清洗模型，扣款方式为被动还款方式对应被动还款清洗模型；
所述清洗模块用于将产品的逾期方式和逾期利率输入至选出的清洗模型中，以将同笔逾期订单合并，将产品的周期、额度和还款方式输入至选出的清洗模型中，以将同笔订单合并；
所述还原模块用于还原出用户的初始账单。
4.如权利要求3所述的交易数据的清洗还原系统，其特征在于，数据去重操作包括对有效交易数据中扣款时间为同一天、扣款金额为相同及扣款状态为失败的多笔数据仅保留其中一笔数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910751416.XA CN110609829B (zh) | 2019-08-15 | 2019-08-15 | 交易数据的清洗还原方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910751416.XA CN110609829B (zh) | 2019-08-15 | 2019-08-15 | 交易数据的清洗还原方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110609829A true CN110609829A (zh) | 2019-12-24 |
| CN110609829B CN110609829B (zh) | 2023-11-14 |
Family
ID=68890353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910751416.XA Active CN110609829B (zh) | 2019-08-15 | 2019-08-15 | 交易数据的清洗还原方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110609829B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017166363A1 (zh) * | 2016-03-31 | 2017-10-05 | 宇龙计算机通信科技(深圳)有限公司 | 基于信贷付款方式的付款方法、付款装置和终端 |
| CN109636589A (zh) * | 2018-12-20 | 2019-04-16 | 安徽经邦软件技术有限公司 | 一种大数据交叉验证还原功能系统 |
| CN109670938A (zh) * | 2018-10-10 | 2019-04-23 | 苏宁消费金融有限公司 | 征信数据合并上报的方法和系统 |
-
2019
- 2019-08-15 CN CN201910751416.XA patent/CN110609829B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017166363A1 (zh) * | 2016-03-31 | 2017-10-05 | 宇龙计算机通信科技(深圳)有限公司 | 基于信贷付款方式的付款方法、付款装置和终端 |
| CN109670938A (zh) * | 2018-10-10 | 2019-04-23 | 苏宁消费金融有限公司 | 征信数据合并上报的方法和系统 |
| CN109636589A (zh) * | 2018-12-20 | 2019-04-16 | 安徽经邦软件技术有限公司 | 一种大数据交叉验证还原功能系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110609829B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10510078B2 (en) | Anomaly detection in groups of transactions | |
| US20180053188A1 (en) | Customer transaction behavioral archetype analytics for cnp merchant transaction fraud detection | |
| US20150220937A1 (en) | Systems and methods for appending payment network data to non-payment network transaction based datasets through inferred match modeling | |
| US20150161623A1 (en) | Generating customer profiles using temporal behavior maps | |
| US8027894B2 (en) | Modeling responsible consumer debt consolidation behavior | |
| CN104866484A (zh) | 一种数据处理方法和装置 | |
| WO2010129764A2 (en) | Risk assessment rule set application for fraud prevention | |
| EP3304446A1 (en) | False positive reduction in abnormality detection system models | |
| US20150220945A1 (en) | Systems and methods for developing joint predictive scores between non-payment system merchants and payment systems through inferred match modeling system and methods | |
| US20190295089A1 (en) | Transaction fraud detection based on entity linking | |
| CN101661491A (zh) | 数据仓库中宽表的更新方法和更新系统 | |
| Wang et al. | Research on bank anti-fraud model based on K-means and hidden Markov model | |
| US10515354B1 (en) | Discounted card not present rates following failed card present attempts | |
| CN111144986A (zh) | 一种基于分享行为的社交电商网站商品推荐方法及装置 | |
| CN111861605A (zh) | 业务对象推荐方法 | |
| US20170278111A1 (en) | Registry-demand forecast method and apparatus | |
| Agrawal et al. | Implementation of novel approach for credit card fraud detection | |
| CN107885754B (zh) | 基于lda模型从交易数据中提取信用变量的方法和装置 | |
| Khandare | Credit card fraud detection using hidden markov model | |
| CN107679862B (zh) | 一种欺诈交易模型的特征值确定方法及装置 | |
| Febrero-Bande et al. | Functional classification of bitcoin addresses | |
| Leong et al. | A comparative study on credit card default risk predictive model | |
| CN109150952A (zh) | 用于异步整合和发送数据的系统和方法 | |
| CN110609829B (zh) | 交易数据的清洗还原方法及系统 | |
| KR102532357B1 (ko) | 금융 서비스를 위한 데이터 이코노미 설정 방법 및 이러한 방법을 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |