CN107067322A - 一种应用于p2p网络借贷企业数据接入模型的系统及方法 - Google Patents

Abstract

本发明公开了一种应用于P2P网络借贷企业数据接入模型的系统及方法；系统分为三个模块：数据接入模块、数据预处理模块和数据加载存储模块；数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范；数据预处理模块完成数据完整性和有效性校验，建立各类数据完整性和有效性校验规则，并对数据进行去重和修正操作；数据加载存储模块完成大规模数据安全存储技术，为数据分析建模提供安全而方便的数据支撑服务；本发明的优点在于：可以对大量网络借贷平台中的异构数据形成规范和统一的标准，并进行规范、安全、稳定的数据接入，为P2P网络借贷平台监管奠定数据基础。

Description

一种应用于P2P网络借贷企业数据接入模型的系统及方法

技术领域

本发明涉及互联网金融领域，一种应用于P2P网络借贷企业数据接入模型的系统及方法。

背景技术

随着国内互联网金融的快速发展，P2P网络借贷类型的互联网金融平台层出不穷。根据 国家互联网应急中心监测发现，截止7月底，全国范围内成立的P2P网络借贷平台已达5000 余家，P2P网络借贷行业历史成交金额突破2万亿，累计问题平台数量已达2300多家，接 近全部平台总数的1/2，在互联网金融问题平台中，P2P网络借贷问题较为严重，不断引发 坏账率高、跑路频发等风险事件，亟待建立P2P网络借贷平台有效监测机制。

对于P2P网络借贷平台的监管，除了实现外围情况的摸底与基于大数据的初步分析外， 想要掌握整个平台的具体投资和借贷情况，形成“信息流”与“资金流”的双向监管，就需 要进行平台交易数据的分析。由于各家企业系统框架各异、数据特征不一，如何在单一监测 平台上统一实现大规模平台实时交易数据的监测与分析，就需要解决异构平台的数据统一接 入问题，形成统一的数据接入模型。

发明内容

本发明的目的是为了解决上述问题，通过研究分析不同P2P网络借贷平台借贷人、投资 人、投资与借贷等实时交易信息的共性特征，提出P2P网络借贷平台数据接入模型，实现大 规模借贷平台数据规范、安全、稳定的接入，同时依据平台数据接入模型，研究分析企业数 据完备性校验，实现错误、缺少等问题数据的自动识别，可以为P2P网络借贷平台监管奠定 数据基础。

本发明研究P2P网络借贷平台数据接入模型，实现平台数据的安全可靠接入。为描述方 便，本发明的研究成果暂命名为网贷平台接入管理系统。网贷平台接入管理系统的技术方案 采用模块化技术架构，通过消息队列实现模块间的松耦合，可确保系统的高可扩展性和鲁棒 性。

本发明的一种应用于P2P网络借贷企业数据接入模型，包括数据接入模块、数据预处理 模块和数据加载存储模块。

其中，数据接入模块重点研究网络借贷平台的认证规则，形成安全的平台身份标识与识 别，在此基础上，研究网络借贷平台数据接入接口规范，建立P2P网络借贷平台数据接入模 型。

1)网络借贷平台身份认证与识别

网络借贷平台的身份认证与识别采用证书认证加身份认证的方式来实现。通过向网络借 贷平台提供基于PKI体系架构的HTTPS web服务，可以确保在互联网的网络环境下可靠完 成对网络借贷平台的身份认证。

PKI(Public Key Infrastructure)公钥基础设施是提供公钥加密和数字签名服务的系 统或平台，目的是为了管理密钥和证书。一个机构通过采用PKI框架管理密钥和证书可以建 立一个安全的网络环境。

本发明只提供基本的PKI功能，不包括证书查询和发布的X.500目录服务。在通过PKI 体系建立可靠的HTTPS连接的基础上，网络借贷平台再通过用户名密码方式实现对平台的 最终身份识别和认证。

2)网络借贷平台数据接入模型

网贷平台接入管理系统采用AXIS2数据接入服务模型，实现对数据的加密接入。

网络借贷平台包括用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷交 易流水、平台信息等在内的7类数据通过JSON封装格式进行数据封装，再通过AXIS2接入服务模型进行数据交换。网贷平台接入管理系统解析从接口服务接收到的json消息，并按 照用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷交易流水、平台信息分别推送到kafka消息队列，以便进行下一步的数据预处理。

数据预处理模块主要完成数据完整性和有效性校验，建立各类数据完整性和有效性校验 规则，并对数据进行去重和修正操作。

数据预处理模块采用分布式实时处理框架，通过分析smaza+kafka、storm和sparkstreaming的分析研究，选择采用samza+kafka的实时处理框架，利用分布式消息队列的 批量消费的特点，通过制定和开发数据完整性、有效性校验规则，实现对数据完整性、有效 性的实时检查和处理。完整性校验规则主要包括字段是否为空，格式是否符合规范等等，有效性校验规则包括字段数值是否超过范围，日期格式是否有效等等。

数据预处理模块中的数据完整性、有效性校验规则都可以作为samza+kafka实时处理 框架中的一个工作job。Samza的一个job的基本处理流程是一个用户任务从一个或多个输 入流中读取数据，再输出到一个或多个输出流中，具体映射到kafka上就是从一个或多个 topic/partition读入数据，再写出到另一个或多个topic/partition中去；多个job串联起 来就完成了流式的数据处理流程。

数据加载存储模块主要研究大规模数据安全存储技术，为数据分析建模提供安全而方便 的数据支撑服务。数据加载存储模块主要分为加载子系统和数据存储子系统。

数据加载子系统是以Flume为基础构建的。Flume是Hadoop生态圈中常用的日志收集系统，由于具有较高的可订制性和扩展性，因此可以作为数据加载系统的基础。

根据Flume的相关特性以及数据加载系统的功能需求，将数据加载子系统分为三个模块： 加载接口模块、数据存储模块和元数据操作模块。

数据加载存储模块各子系统具体功能如下：

1)加载接口子系统：该子系统的主要功能是提供易用的数据加载接口，将kafka中的 数据构建成Event提交给Flume Agent。

2)数据存储子系统：该子系统的主要功能是从Flume Channel中获取数据，并将数据 存储到相应存储系统(HDFS、Hive等)中。在此过程中，数据存储模块还会进行数据反序列化、数据格式转换、分区文件路径生成等操作，文件写入过程中或者文件关闭之后还可以进行索引创建操作。

3)元数据操作子系统：该模块的主要功能是提供Hive元数据访问接口，主要实现了表 的操作接口和分区的操作接口。

本发明的优点在于：

(1)可以对大量网络借贷平台中的异构数据形成规范和统一的标准；

(2)可以对大量网络借贷平台中的异构数据进行规范、安全、稳定的数据接入；

(3)可以为P2P网络借贷平台监管奠定数据基础。

附图说明

图1是本发明的模型示意图；

图2是平台数据接入流程图；

图3是HDFS块内RCFile方式存储的实施例；

图4是应用实例示意图；

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明的一种应用于P2P网络借贷企业数据接入模型，包括数据接入模块、数据预处理 模块和数据加载存储模块。

所述数据接入模块重点研究网络借贷平台的认证规则，形成安全的平台身份标识与识别， 网络借贷平台的身份认证与识别采用证书认证加身份认证的方式来实现。通过向网络借贷平 台提供基于PKI体系架构的HTTPS web服务，可以确保在互联网的网络环境下可靠完成对 网络借贷平台的身份认证。在此基础上，网贷平台接入管理系统采用AXIS2数据接入服务 模型，实现对数据的加密接入，建立P2P网络借贷平台数据接入模型。

所述数据预处理模块完成数据完整性和有效性校验，建立各类数据完整性和有效性校验 规则，完整性校验规则包括：字段是否为空，格式是否符合规范等等，有效性校验规则包括： 字段数值是否超过范围，日期格式是否有效等等。然后将通过校验的数据进行去重和修正操 作。

所述数据加载存储模块完成大规模数据安全存储技术，通过对Hive，impala、sparkSQL 的分析，本系统采用impala做为数据仓库为网贷平台接入管理系统提供大规模数据存储， 为数据分析建模提供安全而方便的数据支撑服务。

本发明是一种应用于P2P网络借贷企业数据接入模型的方法，各模块的工作流程如下：

1、数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范。

网络借贷平台数据接入流程，如图2所示：

1)网贷平台接入管理系统给网络借贷平台生成对应的唯一平台号和账号、密码；

2)网络借贷平台通过基于ssl协议的HTTPS web服务，在加密连接通道上发送平台号和账号、密码，请求网贷平台接入管理系统的web服务；

3)网贷平台接入管理系统解析和验证平台信息，认证通过后向网络借贷平台发送认证确 认信息；

4)网络借贷平台通过HTTPS服务发起上报业务请求，和网贷平台接入管理系统建立起 消息传输通道。

5)网络借贷平台包括用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷 交易流水、平台信息等在内的7类数据通过JSON封装格式进行数据封装，再通过AXIS2接入服务模型进行数据交换。

2、数据预处理模块完成数据完整性和有效性校验，建立各类数据完整性和有效性校验 规则，并对数据进行去重和修正操作。

网络借贷平台数据预处理的基本流程：

1)基础数据按平台分类，根据各平台特点制定转换规则；

2)数据去重处理，避免企业重复上报数据现象；

3)网贷散标数据状态计算，根据交易流水、标底属性、时间几个维度算出散标实际状态；

4)散标最终状态计算抽取；

5)网贷散标行业分类，根据金额范围和字段内容设定规则，给散标打上行业用途标签；

6)交易类型归一，制定一套统一标准的交易状态规范(1-放款(借款人)/2-投资(投 资人)/3-风险准备金/4-平台服务费/5-交易手续费/6-充值/7-提现/8-还款/9-利息/10-红包/11-转让/12-代付/13-其它)，对不同企业的交易状态进行归一化计算，同步 到业务库；

7)无效数据过滤，对历史测试数据和过期无完整交易过程的数据进行删除过滤；

8)字典数据提取，数据上报批次码、国家区域码、电话号码等。

3、数据加载存储模块完成大规模数据安全存储技术，为数据分析建模提供安全而方便的 数据支撑服务。

通过对Hive，impala、sparkSQL的分析，本发明的网贷平台接入管理系统采用impala 做为数据仓库为网贷平台接入管理系统提供大规模数据存储。Impala是Cloudera在 CDH中提供的实时交互式SQL大数据查询引擎，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎 (由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以 直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延 迟。Imapla采用hive的元数据，存储方式仍然可以采用TextFile，sequenceFile，RCfile 或parquet文件格式。

此处以Rcfile为例对存储方案进行说明，如图3所示

RCFile(Record Columnar File)存储结构遵循的是“先水平划分，再垂直划分”的设 计理念。它结合了行存储和列存储的优点：首先，RCFile保证同一行的数据位于同一节点， 因此元组重构的开销很低；其次，像列存储一样，RCFile能够利用列维度的数据压缩，并且 能跳过不必要的列读取。

应用实例：

如图4所示P2P网贷企业将用户信息、网贷散标、散标状态、理财计划、债券转让、交易流水等数据通过JSON封装格式进行数据封装，然后将数据传输到数据接入接口，通过数据预处理模块对数据进行完整性和有效性校验，并对数据进行去重和修正操作后将数据存储 到HDFS、Hive等存储系统。

Claims (7)

1.一种应用于P2P网络借贷企业数据接入模型的系统，包括数据接入模块、数据预处理模块和数据加载存储模块；

数据接入模块进行网络借贷平台身份认证与识别，建立网络借贷平台数据接入接口规范，形成P2P网络借贷平台数据接入模型；

数据预处理模块进行数据完整性和有效性校验，建立各类数据完整性和有效性校验规则，并对数据进行去重和修正操作；

数据加载存储模块进行大规模数据安全存储，为数据分析建模提供数据支撑服务。

2.根据权利要求1所述的一种应用于P2P网络借贷企业数据接入模型的系统，所述的数据接入模块中，网络借贷平台身份认证与识别具体为：

网络借贷平台的身份认证与识别采用证书认证加身份认证的方式，通过向网络借贷平台提供基于PKI体系架构的HTTPS web服务，确保在互联网的网络环境下可靠完成对网络借贷平台的身份认证；

在通过PKI体系建立可靠的HTTPS连接的基础上，网络借贷平台再通过用户名密码方式实现对平台的最终身份识别和认证。

3.根据权利要求1所述的一种应用于P2P网络借贷企业数据接入模型的系统，所述的数据接入模块中，网络借贷平台数据接入模型具体为：

采用AXIS2数据接入服务模型，实现对数据的加密接入，网络借贷平台包括用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷交易流水、平台信息在内的7类数据通过JSON封装格式进行数据封装，再通过AXIS2接入服务模型进行数据交换，网络借贷平台数据接入模型解析从接口服务接收到的json消息，并按照用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷交易流水、平台信息分别推送到kafka消息队列。

4.根据权利要求1所述的一种应用于P2P网络借贷企业数据接入模型的系统，所述的数据预处理模块采用分布式实时处理框架，即采用samza+kafka的实时处理框架，利用分布式消息队列的批量消费的特点，通过制定和开发数据完整性、有效性校验规则，实现对数据完整性、有效性的实时检查和处理，完整性校验规则包括字段是否为空，格式是否符合规范，有效性校验规则包括字段数值是否超过范围，日期格式是否有效；

数据预处理模块中的数据完整性、有效性校验规则作为samza+kafka实时处理框架中的一个工作job，Samza的一个job的处理流程为：一个用户任务从一个或多个输入流中读取数据，再输出到一个或多个输出流中，具体映射到kafka上，为从一个或多个topic/partition读入数据，再写出到另一个或多个topic/partition中去，多个job串联起来，完成了流式的数据处理流程。

5.根据权利要求1所述的一种应用于P2P网络借贷企业数据接入模型的系统，所述的数据加载存储模块设有数据加载子系统，数据加载子系统以Flume为基础构建，根据Flume的相关特性以及数据加载系统的功能需求，将数据加载子系统分为加载接口子系统、数据存储子系统和元数据操作子系统，具体的：

1)加载接口子系统：提供数据加载接口，将kafka中的数据构建成Event提交给FlumeAgent；

2)数据存储子系统：从Flume Channel中获取数据，并将数据存储到相应存储系统中；在此过程中，数据存储模块还会进行数据反序列化、数据格式转换、分区文件路径生成操作，文件写入过程中或者文件关闭之后能够进行索引创建操作；

3)元数据操作子系统：提供Hive元数据访问接口，实现表的操作接口和分区的操作接口。

6.一种应用于P2P网络借贷企业数据接入模型的方法，包括以下几个步骤：

步骤一：数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范；

网络借贷平台数据接入流程，具体的：

1)网贷平台接入系统给网络借贷平台生成对应的唯一平台号和账号、密码；

2)网络借贷平台通过基于ssl协议的HTTPS web服务，在加密连接通道上发送平台号和账号、密码，请求网贷平台接入管理系统的web服务；

3)网贷平台接入管理系统解析和验证平台信息，认证通过后向网络借贷平台发送认证确认信息；

4)网络借贷平台通过HTTPS服务发起上报业务请求，和网贷平台接入管理系统建立起消息传输通道；

5)网络借贷平台包括用户信息、网贷散标、理财计划、债券转让、散标状态、网络借贷交易流水、平台信息在内的7类数据通过JSON封装格式进行数据封装，再通过AXIS2接入服务模型进行数据交换；

步骤二：数据预处理模块完成数据完整性和有效性校验，建立各类数据完整性和有效性校验规则，并对数据进行去重和修正操作；

网络借贷平台数据预处理的流程，具体为：

1)基础数据按平台分类，根据各平台特点制定转换规则；

2)数据去重处理；

3)网贷散标数据状态计算，根据交易流水、标底属性、时间计算散标实际状态；

4)散标最终状态计算抽取；

5)网贷散标行业分类，根据金额范围和字段内容设定规则，给散标打上行业用途标签；

6)交易类型归一，制定一套统一标准的交易状态规范，对不同企业的交易状态进行归一化计算，同步到业务库；

7)无效数据过滤，对历史测试数据和过期无完整交易过程的数据进行删除过滤；

8)字典数据提取，数据上报批次码、国家区域码、电话号码；

步骤三：数据加载存储模块完成大规模数据安全存储；

采用impala做为数据仓库，Imapla采用hive的元数据，存储方式仍然可以采用TextFile，sequenceFile，RCfile或parquet文件格式。

7.根据权利要求6所述的一种应用于P2P网络借贷企业数据接入模型的方法，所述的步骤二中的状态规范具体为：1-放款或者借款人，2-投资或者投资人，3-风险准备金，4-平台服务费，5-交易手续费，6-充值，7-提现，8-还款，9-利息，10-红包，11-转让，12-代付，13-其它。