CN112182091A - 多源数据整合方法、系统、存储介质和电子装置 - Google Patents

Abstract

本发明实施例提供了一种多源数据整合方法、系统、存储介质和电子装置，该方法包括：数据整合层接收数据准备层发送的多源原始数据；该数据整合层对该多源原始数据进行数据整合，得到整合后的多源数据；该数据整合层将该整合后的多源数据发送至数据应用层。通过本发明，由于数据整合层接收由数据准备层整理的多个源系统中的原始数据并对经过整理的该原始数据进行数据整合，解决了相关技术中多个业务系统相互隔离，业务系统之间无法有效进行数据整合的问题，进而达到了有效整合多个业务系统的业务数据，从而为之后的数据应用提供有力支持的效果。

Description

多源数据整合方法、系统、存储介质和电子装置

技术领域

本发明实施例涉及数据业务技术领域，具体而言，涉及一种多源数据整合方法、系统、存储介质和电子装置。

背景技术

信托公司普惠金融业务进入了快速发展期，伴随着业务的发展，在B2B2C商业模式下积累了来自于不同合作机构的丰富的消费信贷数据，包含客户信息数据、贷款合同数据、还款表现数据，而在大数据、人工智能发展、数据驱动业务的大背景下，信贷数据、决策数据是普惠金融风险控制的过程中进行数据分析、数据挖掘很重要的一部分资产，数据的一致性、完整性决定了普惠金融是否能够在确保业务量增长的同时降低业务坏账率、控制逾期风险，以及普惠金融业务拓展的宽度与广度，从而实现公司盈利。

当前信托普惠金融数据面临如下两方面的问题：第一，信托公司业务支撑系统较多，单一的系统虽然能完成特定的业务，但是多系统的应用使得数据的存储结构存在巨大差异，多个业务系统相互隔离，数据无法共享整合，数据质量良莠不齐，缺乏统一的数据标准及业务视图，无法高效的分析利用数据资产发挥数据业务价值，满足风控数据分析的要求。第二，传统的联机处理业务无法实现准确、实时的分析风控决策数据以及信贷表现的能力，信托风控决策数据的实时分析，以及决策数据与信贷还款表现数据的联动分析，在风控审批策略上线后，对最终逾期率的影响难以评估，使得优化贷前、贷中、贷后风控策略的过程存在一定的困难。

针对相关技术中多个业务系统相互隔离，业务系统之间无法有效进行数据整合的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种多源数据整合方法、系统、存储介质和电子装置，以至少解决相关技术中多个业务系统相互隔离，业务系统之间无法有效进行数据整合的问题。

根据本发明的一个实施例，提供了一种多源数据整合方法，包括：数据整合层接收数据准备层发送的多源原始数据；所述数据整合层对所述多源原始数据进行数据整合，得到整合后的多源数据；所述数据整合层将所述整合后的多源数据发送至数据应用层。

在一个示例性实施例中，在所述数据整合层接收数据准备层发送的多源原始数据之前，还可以包括：所述数据准备层接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层；所述数据明细层接收所述原始数据，并将所述原始数据整理为所述多源原始数据；所述数据明细层将所述多源原始数据发送至所述数据整合层。

在一个示例性实施例中，所述数据明细层接收所述原始数据，并对所述原始数据至少可以进行以下之一处理，以将所述原始数据整理为所述多源原始数据：将所述原始数据中的空字段转化为同一格式的非空字段；将所述原始数据中除日期字段外其余字段的字段值与在先数据集的字段值相同的数据集删除；将所述原始数据中的全量数据通过与在先数据相减转化为增量数据；将所述原始数据中来自于多个源系统的至少以下种类之一的代码转化为标准代码：学历代码、居住状况、工作所属行业、婚姻状况、贷款种类、贷款状态。

在一个示例性实施例中，所述数据整合层至少可以根据以下编码规则之一形成标识所述原系统的主关键字，对所述多源原始数据进行数据整合：将源系统标识和源系统主键进行整合形成标识所述原系统的主关键字；将源系统标识、对象种类代码和源系统主键进行整合形成标识所述原系统的主关键字，其中，所述对象种类代码为同一对象在不同源系统中的区分代码，所述原系统主键为在所述原系统中预设的主关键字。

在一个示例性实施例中，所述数据整合层至少可以根据所述多源原始数据中的以下主题域之一进行数据整合：当事人主题域，协议主题域，事件主题域，其中，所述数据整合层至少根据所述当事人主题域的以下信息之一对所述多源原始数据进行数据整合：合作机构信息，当事人信息，当事人画像；所述数据整合层至少根据所述协议主题域的以下信息之一对所述多源原始数据进行数据整合：决策信息，申请信息，贷款合同信息，贷款信息；所述数据整合层至少根据所述事件主题域的以下信息之一对所述多源原始数据进行数据整合：还款计划，入账流水表，代偿记录表。

在一个示例性实施例中，所述数据整合层根据所述当事人主题域对所述多源原始数据进行数据整合，至少可以包括以下之一：通过所述当事人信息中的当事人姓名，证件类型，证件号生成客户统一ID；将源系统标识、合作机构号和客户号进行整合形成当事人编号，其中，所述当事人编号为所述当事人信息中的主关键字。

在一个示例性实施例中，所述客户号可以为所述客户统一ID。

在一个示例性实施例中，所述数据整合层至少可以根据以下编码方式之一进行数据整合：按照码值个数和源系统代码字段的长度，采用预定数位进行编码；整合多个所述源系统的多套码值，并根据所述多套码值的码值层级进行编码；根据两位系统编码和所述源系统的码值进行编码；针对同一源系统，引用该源系统的码值进行编码。

在一个示例性实施例中，在所述数据整合层将所述整合后的多源数据发送至数据应用层之后，还可以包括：所述数据应用层根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

根据本发明的另一个实施例，提供了一种多源数据整合系统，包括：数据整合层，用于接收数据准备层发送的多源原始数据；所述数据整合层，还用于对所述多源原始数据进行数据整合，得到整合后的多源数据；所述数据整合层，还用于将所述整合后的多源数据发送至数据应用层。

在一个示例性实施例中，还可以包括：所述数据准备层，用于接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层；所述数据明细层，用于接收所述原始数据，并将所述原始数据整理为所述多源原始数据，以及将所述多源原始数据发送至所述数据整合层。

在一个示例性实施例中，还可以包括：所述数据应用层，用于根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明的上述实施例，由于数据整合层接收由数据准备层整理的多个源系统中的原始数据并对经过整理的该原始数据进行数据整合，因此，可以解决相关技术中多个业务系统相互隔离，业务系统之间无法有效进行数据整合的问题，达到有效整合多个业务系统的业务数据，从而为之后的数据应用提供有力支持的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的多源数据整合方法的流程图；

图2是根据本发明实施例的多源数据整合系统的结构框图；

图3是根据本发明实施例的带有数据明细层的多源数据整合系统的结构框图；

图4是根据本发明可选实施例的概念数据模型的主题域示意图；

图5是根据本发明可选实施例的当事人主题数据表的模型示意图；

图6是根据本发明可选实施例的协议主题数据表的模型示意图；

图7是根据本发明可选实施例的事件主题数据表的模型示意图；

图8是根据本发明可选实施例的协议主题数据表的模型示意图；

图9是根据本发明可选实施例的应用层宽表的模型示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好的理解本发明实施例以及可选实施例的技术方案，以下对本发明实施例以及可选实施例中可能出现的应用场景进行说明，但不用于限定以下场景的应用。

在本实施例中提供了一种多源数据整合方法，图1是根据本发明实施例的多源数据整合方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，数据整合层接收数据准备层发送的多源原始数据。

步骤S102，所述数据整合层对所述多源原始数据进行数据整合，得到整合后的多源数据。

步骤S103，所述数据整合层将所述整合后的多源数据发送至数据应用层。

在本实施例的步骤S101之前，还可以包括：所述数据准备层接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层；所述数据明细层接收所述原始数据，并将所述原始数据整理为所述多源原始数据；所述数据明细层将所述多源原始数据发送至所述数据整合层。

在本实施例中，所述数据明细层接收所述原始数据，并对所述原始数据至少可以进行以下之一处理，以将所述原始数据整理为所述多源原始数据：将所述原始数据中的空字段转化为同一格式的非空字段；将所述原始数据中除日期字段外其余字段的字段值与在先数据集的字段值相同的数据集删除；将所述原始数据中的全量数据通过与在先数据相减转化为增量数据；将所述原始数据中来自于多个源系统的至少以下种类之一的代码转化为标准代码：学历代码、居住状况、工作所属行业、婚姻状况、贷款种类、贷款状态。

在本实施例中，所述数据整合层至少可以根据以下编码规则之一形成标识所述原系统的主关键字，对所述多源原始数据进行数据整合：将源系统标识和源系统主键进行整合形成标识所述原系统的主关键字；将源系统标识、对象种类代码和源系统主键进行整合形成标识所述原系统的主关键字，其中，所述对象种类代码为同一对象在不同源系统中的区分代码，所述原系统主键为在所述原系统中预设的主关键字。

具体而言，在本实施例中，当一个系统内部有多种该类对象，并且相互之间主键也可能重复时，同样要选择使用最频繁的一类（或几类不会重复的）的主键不进行特殊编码，对该系统其他类型的主键增加特殊编码。

在本实施例中，所述数据整合层至少可以根据所述多源原始数据中的以下主题域之一进行数据整合：当事人主题域，协议主题域，事件主题域，其中，所述数据整合层至少根据所述当事人主题域的以下信息之一对所述多源原始数据进行数据整合：合作机构信息，当事人信息，当事人画像；所述数据整合层至少根据所述协议主题域的以下信息之一对所述多源原始数据进行数据整合：决策信息，申请信息，贷款合同信息，贷款信息；所述数据整合层至少根据所述事件主题域的以下信息之一对所述多源原始数据进行数据整合：还款计划，入账流水表，代偿记录表。

在本实施例中，所述数据整合层根据所述当事人主题域对所述多源原始数据进行数据整合，至少可以包括以下之一：通过所述当事人信息中的当事人姓名，证件类型，证件号生成客户统一ID；将源系统标识、合作机构号和客户号进行整合形成当事人编号，其中，所述当事人编号为所述当事人信息中的主关键字。

具体而言，在本实施例中，当事人信息中当事人编号为当事人信息中的唯一主键，当事人编号由源系统编号+合作机构号+客户号生成。

另外，在本实施例中，同一客户可能在同一系统办了不同的贷款合同，此时一个客户会有多个客户号，同理，同一客户也可能在多个系统办了多笔贷款，为了统一所有源系统的客户，设计了客户统一ID，用来识别唯一的客户，唯一客户采姓名+证件类型+姓名生成18位的客户ID。

在本实施例中，所述客户号可以为所述客户统一ID。

具体而言，在本实施例中，当原始数据无客户号时，由姓名、证件类型、证件号生成。

在本实施例中，所述数据整合层至少可以根据以下编码方式之一进行数据整合：按照码值个数和源系统代码字段的长度，采用预定数位进行编码；整合多个所述源系统的多套码值，并根据所述多套码值的码值层级进行编码；根据两位系统编码和所述源系统的码值进行编码；针对同一源系统，引用该源系统的码值进行编码。

在本实施例中，在所述数据整合层将所述整合后的多源数据发送至数据应用层之后，还可以包括：所述数据应用层根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少可以包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

通过上述步骤，由于数据整合层接收由数据准备层整理的多个源系统中的原始数据并对经过整理的该原始数据进行数据整合，解决了相关技术中多个业务系统相互隔离，业务系统之间无法有效进行数据整合的问题，达到了有效整合多个业务系统的业务数据，从而为之后的数据应用提供有力支持的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种多源数据整合系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的多源数据整合系统的结构框图，如图2所示，该系统包括数据整合层10、数据准备层20和数据应用层30。

所述数据整合层10，用于接收数据准备层20发送的多源原始数据。

所述数据整合层10，还用于对所述多源原始数据进行数据整合，得到整合后的多源数据。

所述数据整合层10，还用于将所述整合后的多源数据发送至数据应用层30。

在本实施例中，所述数据应用层30，用于根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

图3是根据本发明实施例的带有数据明细层的多源数据整合系统的结构框图，如图3所示，该装置除包括图2所示的所有数据层外，还包括数据明细层40。

所述数据准备层20，用于接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层40。

所述数据明细层40，用于接收所述原始数据，并将所述原始数据整理为所述多源原始数据，以及将所述多源原始数据发送至所述数据整合层10。

为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细阐述。

本实施例提供了一种面向信托普惠金融风控业务的数据建模方法。

信托公司与助贷机构合作，介入多个场景，覆盖广泛的人群，在普惠金融的可获得性上做出了重大的突破。信托公司通过金融科技、线上操作、大数据风控、触及传统金融机构所不能触及的金融服务群体，例如农业经营主体、小微企业、职场新人、退休老年人等等。通过大数据、人工智能等技术，可以更好的实现普惠金融供需两端的精准化和个性化匹配，使得产品与客群、风险与收益、风险与能力更加匹配。科技赋能下的普惠金融颠覆了传统金融业务模式，为信托参与普惠金融发展创造了条件。

现有的信托公司的数据建模方法均是在数据仓库体系架构构建的模型体系，通过业务系统接入包含信托公司基础业务系统的全部数据包含：客户管理、信托业务管理、财务管理、估值核算、客服系统的数据，经过数据的抽取、集中、转换、整理、清晰和装载等工作，在数据的服务层也就是数据仓库系统的核心，做了各主题域的整合，在数据服务层分为基础数据区、中间汇总数据区、应用集市数据区等。而在数据应用层为用户提供智能查询、报表分析、数据统计等服务。

然而，现有的信托公司的数据建模方法针对B2B2C商业模式下的面向信托普惠金融风险业务，没有从风险管理及应用的角度理解、整合多个信贷系统的数据，形成统一的风险业务视图，实现统一的客户及贷后还款表现数据，分析目标变量如首期逾期识别欺诈客户，当前逾期、滚动率确定模型训练时好坏客户的定义，vintage来分析贷前审批策略调整后对逾期率的影响，从有针对性的采取不同的贷前策略、贷中预警以及贷后催收的措施。

本实施例在风险业务的角度通过大数据分层设计、应用当事人、协议、事件三大金融业务主题，将合作机构信息、客户信息、客户画像、决策数据、合同信息、贷款信息、还款计划、贷款入账流水、代偿等信息以及一整套主键编码标准和代码整合标准将相互隔离，数据无法共享整合，数据质量良莠不齐，缺乏统一的数据标准及业务视图的多个业务系统统一成一整套的数据模型，统一了无法高效的分析利用数据资产发挥数据业务价值，满足风控数据分析的要求。

另外，本实施例基于风险业务结合实际各信贷系统的数据情况，实现可广泛使用的合同维度的风控指标的计算逻辑，如当前逾期天数、当前逾期期数、历史逾期天数、历史逾期期数、五级分类状态以及应还类金额、实还类金额的计算。

再者，本实施例从合同、客户、还款计划三个维度构建数据模型支持构建风险决策过程中策略体系、模型训练所需的特征值，通过接入实时的决策数据并支持在风险策略上线后，能够有针对性的回顾策略的运行情况，从而支持信托普惠金融风险决策，实现统一风险业务视图下对风险决策数据以及信贷还款表现数据的实时分析。

根据信托普惠业务特点，本研究提出了信托普惠的数据架构，图3是根据本发明可选实施例的信托普惠的数据架构系统的体系架构图，如图3所示，系统分为数据准备层20、数据明细层40、数据整合层10和数据应用层30。

数据准备层20保留了来自于多个具有不同编码标准、不同数据结构、互相隔离的信贷系统的申请信息、合同信息、借据信息、放款明细、还款计划、还款明细、客户基本信息、客户职业信息、客户画像等原始业务数据。同时实时接入风险决策系统的输入、输出以及决策过程中产生的衍生变量信息。为数据明细层40提供基础原始数据，进而减少对业务系统的影响。数据准备层从业务系统增量/全量抽取、按日存储、数据不做清洗转换与业务系统数据模型保持一致。

数据明细层40提供来源明细数据，提供业务系统细节数据的长期沉淀，为未来分析类需求的扩展提供历史数据支撑。该层的数据模型与数据准备层20一致，做空值处理、脏数据处理、为支持数据重跑,额外增加数据业务日期字段用增量数据准备层20数据和前一天数据明细层40相关表进行增量比较处理。

数据整合层10主要实现各信贷业务系统数据的整合，根据数据明细层40明细数据进行清洗转换，统一各信贷系统的数据标准，如合同表的合同唯一识别ID 、合作机构编号、贷款类型、还款方式、担保方式、贷款用途等，还款计划表中的合同唯一识别ID 、合作机构编号、结清状态、还款类型、本金状态、利息状态，客户信息表的客户唯一识别ID、最高学位、最高学历、居住状况、证件类型、婚姻状况代码的统一等；同时通过当事人三要素（客户姓名、证件类型、证件号）生成SM3算法取hash值，生成18位的客户统一ID，使得在应用层能够在统一的客户视图下对每一个客户在不同合作机构、不同贷款渠道贷款后的还款行为变现进行多维度的分析。

数据应用层30实现通过业务逻辑加工出的各种数据宽表，如某一合同当前是否逾期、当前最大逾期天数、历史最大逾期天数、最早逾期期数逾期金额、逾期本金、逾期利息、提前还款本金、提前还款利息，变建立客户的标签信息如月收入、学历、居住状况、婚姻状况、单位性质、职务代码、是否有车贷、房贷等这些风控定义的指标。

图4是根据本发明可选实施例的概念数据模型的主题域示意图，如图4所示，概念数据模型从具体的业务情况出发，从决策层的视角将系统划分为多个不同的主题域。

信托公司通过自有资金或者集合计划募集资金，与消费者签订个人消费金融信托贷款合同，普惠金融合作机构作为贷款中介服务机构，提供客户推荐、资质初步审核、还款提醒、逾期催收等服务，配合协助信托公司完成贷前、贷中与贷后全流程管理工作。信托公司提供贷款通道、运营服务、风控输出、资金引入等一系列综合服务。

信托公司作为一个整体与客户发生了业务联系，这个过程中的盈亏是信托公司经营情况的一种体现，而每个客户的历史数据对客户信用资质的评定、风险控制有至关重要的作用，另外根据信托普惠金融业务的情况，合作机构的编号、名称、核算类型、组织机构代码、社会统一信用代码、企业资产合计、企业负债合计、实收资本等都是重要的参考指标，因此当事人主题域T1是一个重要的主题域。

客户通过规定的申请流程，确认借款并且审批通过后会生成相应的贷款申请、贷款合同信息、贷款借据包含还款方式、约定还款日、贷款用途、贷款利率、合同状态、放款金额等。客户签订合同后，消费金融服务机构生成每笔合同每一期的还款计划包含应还日期、应还本金、应还利息、应还罚息并每天同步还款明细中实还日期、实还本金、实还利息，实还罚息以及减免信息，并确定结清状态等信息，所以协议主题域T2也是一项重要的主题域。

每个合同对应的还款期数，在什么时间点还了本金，什么时间点还了利息、罚息，是正常还款还是代偿，是线上还款还是线下都会在还款流水中进行记录，所以设计了事件主题域T3这个主题域。

在概念数据模型确定主题域的基础上，逻辑模型结合实际的业务逻辑提取出事实表和维度表。

图5是根据本发明可选实施例的当事人主题数据表的模型示意图，如图5所示，当事人主题域T1包括合作机构信息、客户信息和客户画像。其中，合作机构信息项下包括合作机构编号、合作机构名称、核算类型、成立时间、组织机构代码、企业总资产、企业总负债、注册资本、实收资本、企业类型和合作机构信用评级等；客户信息项下包括客户唯一识别ID、合作机构编号(FK)、客户统一ID、客户名称、证件类型、证件号码、客户类型、出生日期、性别、婚姻状况、最高学历、最高学位、居住状况、是否有车、工作单位所属行业和职务等；客户画像项下包括客户唯一识别ID(FK)、客户统一ID、信用等级、是否有车、是否有房、是否代偿、是否回购、客户群体、有按揭车贷类型代码、有按揭房贷类型代码、有贷记卡类型代码、回购标志、代偿标志和入黑名单次数等。

该主题下客户唯一识别ID为各信贷系统唯一识别一个客户的主键，如 concat_ws('_',合作机构号,客户号)，当事人编号为客户信息表的唯一主键，采用的方式为源系统简称+源系统主键的方式组成，客户统一ID，则是通过当事人三要素（客户姓名、证件类型、证件号）生成SM3算法取hash值，生成18位的客户统一ID。

图6是根据本发明可选实施例的协议主题数据表的模型示意图，如图6所示，协议主题域T2包括决策信息、申请信息、贷款合同和贷款信息。其中，决策信息项下包括ID、申请编号、申请策略类型、合作机构号、产品编号、申请金额、申请贷款用途、证件号、证件类型、客户姓名、特征项名称、特征项值、分箱标签、基准分、特征项评分分值、最大分箱分数、审批决策结果、建议额度、建议定价、客群类型、申请评分等级、申请评分得分、反欺诈策略执行结果、触发人行规则结果、申请评分策略结果、可认定月收入和贷记卡最大授信额度等；申请信息项下包括申请编号、申请日期、客户唯一识别ID、审批金额、审批通过日期、审批结果、贷款种类、还款方式、担保方式、合作机构编号、合作机构当事人编号、申请方式和登记机构等；贷款合同项下包括合同唯一识别ID、申请编号(FK)、客户唯一识别ID、合同协议修饰符、担保方式、放款金额、月利率、罚息利率、起始日期、到期日期、期限类型、还款方式、合作机构编号、合作机构当事人编号、币种代码、贷款月期限、贷款日期限、贷款期数、贷款频率、贷款用途、扣款日和每月还款日等；贷款信息项下包括客户唯一识别ID(FK)、当事人编号、合同协议修饰符、合作机构编号当事人编号、信托项目编号、当前应还款期数、当前逾期天数、当前逾期期数、逾期标志、历史逾期天数、历史最大逾期天数、历史逾期期数、应还本金、应还利息、实还款本金、实还款利息、逾期还款本金、逾期还款利息、提前还款本金、提前还款利息、贷款余额、提前还款金额和五级分类状态等。

该主题下合同唯一识别ID采用源系统简称+concat_ws('_',合作机构号,合同号)的方式进行编码，合作机构当事人编号，采用源系统简称+concat_ws('_',系统简称,合作机构编号)的方式进行编码。

图7是根据本发明可选实施例的事件主题数据表的模型示意图，如图7所示，事件主题域T3包括还款计划、入账流水表和代偿记录表。其中，还款计划项下包括合同唯一识别ID、本期期数、应还款日期、应还本金、应还利息、应还罚息、实还款利息、实还本金、实还利息、实还罚息、减免本金、减免利息、减免罚息、本金余额和结清标志等；入账流水表项下包括交易流水号、合同唯一识别ID(FK)、本期期数(FK)、实还日期、实还本金、实还利息、实还罚息、减免本金、减免利息、减免罚息、代偿标志、线下标记代码、实还费用、实还逾期违约金、实还逾期服务费、实还逾期其他费用、扣款类型代码、还款结果代码、本金状态代码、利息状态代码、费用状态代码、撤销冲正标志、撤销冲正流水号和撤销冲正日期等；代偿记录表项下包括代偿编号、合同唯一识别ID(FK)、交易流水号(FK)、本期期数(FK)、信托项目编号、客户唯一识别ID、期次号、应收本金、应收利息、应收罚息、实收本金、实收利息、实收罚息、代偿日期、代偿状态和登记日期等。

主题表的主键编码的基本原则是保证其唯一性。各个源系统之间存在隔离性，不同内容编码规范可能相同。主题将各个源系统进行了整合，因此，为保证数据的唯一性，会在源系统的编码规范基础之上进行处理。

主要系统采用采用源系统简称+源系统主键：当系统之间的主键编码有可能重复时，选择使用最频繁、相对最重要的那个系统来源的主键不进行特殊编码，其他系统的主键可能和它发生冲突时，对其他系统的主键增加特殊编码，如：可以采用“源系统简称”作为前缀加以区分。

源系统简称+对象种类代码+源系统主键：当一个系统内部有多种该类对象，并且相互之间主键也可能重复时，同样要选择使用最频繁的一类（或几类不会重复的）的主键不进行特殊编码，对该系统其他类型的主键增加特殊编码。对不同系统的可以通过“源系统标识”作为前缀加以区分，同一系统的再增加“对象种类”进行区分。

图8是根据本发明可选实施例的协议主题数据表的模型示意图，如图8所示，代码表历史，主要包括以下要素：

代码表英文名称：目标代码表的英文名称。

代码表中文名称：目标代码表的中文名称。

开始日期：代码表拉链的开始起效日期。

数据标准代码标志：目标代码表是否对标。对标，则为1，不对标为0。

数据标准代码编号：目标代码表对应的数据标准代码编号，无则空，此项为标准编号。

数据标准代码中文名称：目标代码表对应的数据标准代码中文名称，无则空。

结束日期：目标代码表拉链的失效日期。

注：此表主键为：代码表英文名称，开始日期。

代码值历史，主要包括以下要素：

代码表英文名称：目标代码表的英文名称。

代码表中文名称：目标代码表的中文名称。

开始日期：代码值拉链的开始起效日期。

代码值：目标码值。

代码描述：目标码值描述。

数据标准代码值标志：目标代码值是否对标。对标，则为1，不对标为0。

结束日期：目标代码值拉链的失效日期。

注：此表主键为：代码表英文名称，代码值，开始日期。

源到目标映射历史，主要包括以下要素：

源表英文名称：源系统表的英文名称。

源表中文名称：源系统表的中文名称。

源字段英文名称：源系统表字段的英文名称。

源字段中文名称：源系统表字段的中文名称。

源字段值：源字段在源系统中的码值。

源字段值描述：源字段在源系统中的码值描述。

开始日期：源到目标映射此条数据拉链的开始起效日期。

目标代码表英文名称：目标代码表的英文名称。

目标代码表中文名称：目标代码表的中文名称。

目标代码值：经过模型转码后的目标码值。

目标码值描述：经过模型转码后的目标码值描述。

结束日期：目标代码值拉链的失效日期。

注：此表主键为：源表英文名称，源字段英文名称，源字段值，源字段值描述，目标代码表英文名称，开始日期。

整合源系统编码，没有对应的数据标准，整合来源于多个源系统的码值，合并业务含义一致的代码值。根据实际的源系统情况，分析业务含义，采用了以下四种编码方式：顺序自编码、两位源系统编码+源系统码值、源系统码值、根据源系统码值含义分套进行自编码。

第一，顺序自编码，按照码值个数以及源系统代码字段的长度，采用两位、四位、六位编码。原则上，目标代码值的长度要大于等于源系统代码字段长度。

采用此种编码方式的场景：

整合源系统编码，首先都采用此种编码方式。除非源系统编码方式特别（例如是有意义的英文编码，例如发起方系统代码表）或者分层级，下游应用需要采用源码值的，才会应用两位系统编码+源系统编码、直接贴源采用源码值或者 根据源系统码值含义，分套编码。

采用两位、四位、六位码值长度的依据：

源码值的个数；

源系统代码字段的长度，目标码值长度要大于等于源码值长度；

如果源码值个数较少，且源系统代码字段长度小于等于2，则可采用两位编码，如果码值较多或者源系统码值长度较长，则看实际情况采用四位或者六位的编码。

两位编码以01开头，依次 02 03 04 ……

四位编码以0001开头，依次 0002 0003 0004 ……

六位编码以000001开头，依次 000002 000003 000004 ……

第二，系统编码+源系统码值，采用这种编码方式的业务场景整合了多个源系统的多套码值，源码值较多。为了下游使用更加方便，且不产生重复码值。同时，源系统码值比较有层级，分层有一定的意义，为了便于下游应用使用。最后，源系统是比较有意义的英文字符串编码。

满足以上三个条件之一的，都采用两位系统编码+源系统码值编码。

第三，根据源系统码值的业务含义，分套进行自编码。适用场景为，来源于一个或者多个系统，源系统码值有明显的分层和区别，对于同一个源，只应用于其中的一套码值。采取此种编码方式。

图9是根据本发明可选实施例的应用层宽表的模型示意图，如图9所示，应用层宽表包括贷款信息。其中，所述贷款信息项下包括客户唯一识别ID(FK)、当事人编号、合同协议修饰符、合作机构编号当事人编号、信托项目编号、当前应还款期数、当前逾期天数、当前逾期期数、逾期标志、历史逾期天数、历史最大逾期天数、历史逾期期数、应还本金、应还利息、实还款本金、实还款利息、逾期还款本金、逾期还款利息、提前还款本金、提前还款利息、贷款余额、提前还款金额和五级分类状态等。

在信托普惠金融业务场景中，大部分变量交易历史表中未直接提供如一笔合同逾期状态、当前逾期天数，期数、历史逾期天数、期数以及合同实际还款额、合同的逾期金额、提前还款金额以及五级分类状态、结清状态等，需根据现有还款计划、合同表的变量进行推导和计算。基于生成的贷款信息，可以生成评分模型开发所需的表现标识，进一步汇总，可为行为评分模型、催收评分模型以及B巴塞尔相关模型提供还款行为相关的自变量。

当客户没有在约定的还款日进行还款，则会产生逾期，逾期指标，是信贷风险中重之又重的指标，是风险建模和风控策略的基石。例如对于约定还款日5月20号的账单，当超过正常还款期限后，即5月20号的还款日未还款，系统开始记录此笔账单发生逾期。若该客户5月21还款，则系统记录逾期1天，其余依此类推。

普惠金融业务有三级维度：客户级别、合同级别、账单级别。一个客户可以有多笔合同，一笔合同可以有多个分期账单，每个分期账单对应不同的约定还款日。表1是根据本发明可选实施例的应用层宽表，如表1所示，下文将针对合同、账单级别的当前逾期天数、历史逾期天数进行简单介绍。

当前逾期天数，统计的是在观测点，未还款的逾期天数。

每个账单在每个时间点都有当前逾期天数，会随着时间变化而变化，计算方式：当观测点>约定还款日并且账单的结清状态=未结清，当前逾期天数=观测点-约定还款日。其余情况当前逾期均为0。

量化风险一般都基于审慎性原则当一笔合同，第一期逾期60天，第二期逾期30天，当客户在还账时会按照顺序还款，所以合同的当前逾期天数为统计时点所有账单中最大的当前逾期天数。

历史逾期天数统计的是在约定还款日这个时点，未准时还款的逾期天数。

每个账单的历史逾期天数，还款过后将不会发生变化，账单的历史逾期天数分为两种情况。

第一种：该笔款项没有还清，当观测点>约定还款日并且账单的结清状态=未结清，那么历史逾期天数=观测点-约定还款日；

第二种：当观测点>约定还款日并且账单的结清状态=结清，但实际还款日>约定还款日，那么历史逾期天数=实际还款日-约定还款日。

与当前逾期天数类似，合同的历史逾期天数为统计时点所有账单中的最大历史逾期天数。

表2是根据本发明可选实施例的逾期期数计算口径表计算口径，如表2所示，逾期期数用于监控目前所有资产的组成情况。

普惠金融根据内在风险程度可以将消费贷款划分为正常、关注、次级、可疑、损失五类，成为贷款的五级分类。正常类指的是借款人一直一切正常，贷款未到期且能准时支付利息，也就是说能足额偿还贷款本息，这不属于逾期贷款，而后四类属于逾期贷款，后三类称为不良贷款。关注类贷款逾期（含展期后）不超过90天（含），本笔贷款欠息不超过90天（含）。次级类贷款贷款逾期（含展期后）90天以上至180天（含），本笔贷款欠息90天以上至180天（含）。可疑类贷款逾期（含展期后）180天以上，本笔贷款欠息180天以上且银行已诉讼，执行程序尚未终结，贷款不能足额清偿且损失较大。损失类贷款指的是已经给银行带来损失，借款人不能偿还到期贷款，并且金融机构对依法取得的抵贷资产，按评估确认的市场公允价值入账后，经追偿后仍无法收回全部的贷款。

已还金额相关字段的计算，按照统计日进行汇总：

实还款本金=还款计划表中“实还正常本金”之和；

实还款利息=还款计划表中“实还正常利息”之和；

逾期还款本金= 逾期标志为逾期的“应还本金”-“实还本金”之和；

逾期还款利息=逾期标志为逾期的“应还利息”-“实还利息”之和；

提前还款本金=还款计划表中“还款方式”为提前还款情况下的“实还正常本金”之和；

提前还款利息=还款计划表中“还款方式”为提前还款情况下的“实还正常利息”之和；

提前还款金额=还款计划表“还款方式”为提前还款情况下的“实还正常本金”与“实还正常利息”之和。

应还金额相关字段的计算，按照统计日进行汇总：

应收本金=“应还本金”之和；

应还利息=“应还利息”之和。

推导贷款余额：

贷款余额=放款金额-实还金额之和。

基于如上合同相关的信息，可以计算出风险计量指标逾期率=逾期N天的剩余本金/在贷余额，VintageN+（N天以上）=逾期N天以上剩余/当月放款本金，以及KS、AUC等模型评价指标，为模型训练、监控以及策略监控奠定了基础。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，接收数据准备层发送的多源原始数据；

S2，对所述多源原始数据进行数据整合，得到整合后的多源数据；

S3，将所述整合后的多源数据发送至数据应用层。

在一个示例性实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，接收数据准备层发送的多源原始数据；

S2，对所述多源原始数据进行数据整合，得到整合后的多源数据；

S3，将所述整合后的多源数据发送至数据应用层。

在一个示例性实施例中，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个示例性实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种多源数据整合方法，其特征在于，包括：

数据整合层接收数据准备层发送的多源原始数据；

所述数据整合层对所述多源原始数据进行数据整合，得到整合后的多源数据；

所述数据整合层将所述整合后的多源数据发送至数据应用层；

其中，所述数据整合层至少根据以下编码规则之一形成标识源系统的主关键字，对所述多源原始数据进行数据整合：

将源系统标识和源系统主键进行整合形成标识所述源系统的主关键字；

将源系统标识、对象种类代码和源系统主键进行整合形成标识所述源系统的主关键字，其中，所述对象种类代码为同一对象在不同源系统中的区分代码，所述源系统主键为在所述源系统中预设的主关键字。

2.根据权利要求1所述的方法，其特征在于，在所述数据整合层接收数据准备层发送的多源原始数据之前，还包括：

所述数据准备层接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层；

所述数据明细层接收所述原始数据，并将所述原始数据整理为所述多源原始数据；

所述数据明细层将所述多源原始数据发送至所述数据整合层。

3.根据权利要求2所述的方法，其特征在于，所述数据明细层接收所述原始数据，并对所述原始数据至少进行以下之一处理，以将所述原始数据整理为所述多源原始数据：

将所述原始数据中的空字段转化为同一格式的非空字段；

将所述原始数据中除日期字段外其余字段的字段值与在先数据集的字段值相同的数据集删除；

将所述原始数据中的全量数据通过与在先数据相减转化为增量数据；

将所述原始数据中来自于多个源系统的至少以下种类之一的代码转化为标准代码：学历代码、居住状况、工作所属行业、婚姻状况、贷款种类、贷款状态。

4.根据权利要求1所述的方法，其特征在于，所述数据整合层至少根据所述多源原始数据中的以下主题域之一进行数据整合：

当事人主题域，协议主题域，事件主题域，

其中，所述数据整合层至少根据所述当事人主题域的以下信息之一对所述多源原始数据进行数据整合：合作机构信息，当事人信息，当事人画像；

所述数据整合层至少根据所述协议主题域的以下信息之一对所述多源原始数据进行数据整合：决策信息，申请信息，贷款合同信息，贷款信息；

所述数据整合层至少根据所述事件主题域的以下信息之一对所述多源原始数据进行数据整合：还款计划，入账流水表，代偿记录表。

5.根据权利要求4所述的方法，其特征在于，所述数据整合层根据所述当事人主题域对所述多源原始数据进行数据整合，至少包括以下之一：

通过所述当事人信息中的当事人姓名，证件类型，证件号生成客户统一ID；

将源系统标识、合作机构号和客户号进行整合形成当事人编号，其中，所述当事人编号为所述当事人信息中的主关键字。

6.根据权利要求5所述的方法，其特征在于，所述客户号为所述客户统一ID。

7.根据权利要求1所述的方法，其特征在于，所述数据整合层至少根据以下编码方式之一进行数据整合：

按照码值个数和源系统代码字段的长度，采用预定数位进行编码；

整合多个所述源系统的多套码值，并根据所述多套码值的码值层级进行编码；

根据两位系统编码和所述源系统的码值进行编码；

针对同一源系统，引用该源系统的码值进行编码。

8.根据权利要求1所述的方法，其特征在于，在所述数据整合层将所述整合后的多源数据发送至数据应用层之后，还包括：

所述数据应用层根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

9.一种多源数据整合系统，其特征在于，包括：

数据整合层，用于接收数据准备层发送的多源原始数据；

所述数据整合层，还用于对所述多源原始数据进行数据整合，得到整合后的多源数据；

所述数据整合层，还用于将所述整合后的多源数据发送至数据应用层；

所述数据整合层，还用于至少根据以下编码规则之一形成标识源系统的主关键字，对所述多源原始数据进行数据整合：将源系统标识和源系统主键进行整合形成标识所述源系统的主关键字；将源系统标识、对象种类代码和源系统主键进行整合形成标识所述源系统的主关键字，其中，所述对象种类代码为同一对象在不同源系统中的区分代码，所述源系统主键为在所述源系统中预设的主关键字。

10.根据权利要求9所述的系统，其特征在于，还包括：

所述数据准备层，用于接收多个源系统发送的原始数据，并将所述原始数据发送至数据明细层；

所述数据明细层，用于接收所述原始数据，并将所述原始数据整理为所述多源原始数据，以及将所述多源原始数据发送至所述数据整合层。

11.根据权利要求9所述的系统，其特征在于，还包括：

所述数据应用层，用于根据所述整合后的多源数据中的贷款信息转化成合同信息，并依据所述合同信息编制应用层宽表，其中，所述合同信息至少包括以下之一信息：当前逾期天数、历史逾期天数、提前还款信息、逾期金额。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。

Images