CN111047431A - 一种基于大数据的信贷业务处理装置、方法及设备 - Google Patents

Abstract

本申请公开了一种基于大数据的信贷业务处理装置，包括数据采集模块、大数据计算模块、存储模块，该装置在对数据进行加工处理的过程中，通过完整性校验和可用性校验及时检测数据在数据层面和业务层面是否满足要求，从而防止产生不完整不可用的数据，避免不完整不可用的数据入库，实现为后续信贷业务提供可靠的征信数据的目的，提升了数据处理的效率以及信贷业务的可靠性。此外，本申请还提供了一种基于大数据的信贷业务处理方法、设备及可读存储介质，其技术效果与上述装置的技术效果相对应。

Description

一种基于大数据的信贷业务处理装置、方法及设备

技术领域

本申请涉及计算机技术领域，特别涉及一种基于大数据的信贷业务处理装置、方法、设备及可读存储介质。

背景技术

随着大数据技术的发展和应用，银行已经有越来越多的大数据平台系统和应用场景，其数据来源多种多样，数据质量参差不齐。目前的大数据流程中，容易出现采集来的数据在数据形式上不完整不达标，在加工入库后的应用环节才发现数据不完整、不符合标准，无法满足业务要求，导致数据业务不可用。

可见，如何提供一种信贷业务的大数据处理方案，避免入库数据不完整不可用，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于大数据的信贷业务处理装置、方法、设备及可读存储介质，用以解决传统的信贷业务大数据处理方案中入库数据经常存在不完整不可用的问题。其具体方案如下：

第一方面，本申请提供了一种基于大数据的信贷业务处理装置，包括：数据采集模块、大数据计算模块、存储模块，所述大数据计算模块包括第一校验单元、数据加工单元和第二校验单元；

所述数据采集模块：用于从银行内部信贷系统和/或外部税务系统采集原始数据；

所述第一校验单元：用于从数据层面对所述原始数据进行完整性校验；

所述数据加工单元：用于在所述原始数据通过校验时，对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

所述第二校验单元：用于从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

所述存储模块：用于在所述规范化数据通过校验时，将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

优选的，所述第一校验单元用于：从数据层面判断所述原始数据是否缺失关键字段，若缺失，则判定所述原始数据未通过完整性校验；若不缺失，则判定所述原始数据通过完整性校验。

优选的，所述第二校验单元用于：从业务层面分别判断所述规范化数据中各个关键字段的字段值是否在相应的数值范围内，和/或，判断所述规范化数据中各个关键字段的字段值是否相互矛盾，若在相应的数值范围内且不相互矛盾，则判定所述规范化数据通过可用性校验，否则判定所述规范化数据未通过可用性校验。

优选的，所述数据加工单元用于：对所述原始数据进行加工操作，得到中间环节数据；从数据层面对所述中间环节数据进行完整性校验；若校验通过，则再次对所述中间环节数据进行加工操作，得到应用于信贷业务的规范化数据。

优选的，所述数据加工单元用于：对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据，其中所述加工操作包括以下任意一项或多项操作：抽取、清晰、转换、索引、范式化。

优选的，所述数据采集模块还用于：在所述原始数据未通过校验时，重复从银行内部信贷系统和/或外部税务系统采集原始数据的操作，直至采集次数超过预设阈值，生成提示信息。

第二方面，本申请提供了一种基于大数据的信贷业务处理方法，包括：

从银行内部信贷系统和/或外部税务系统采集原始数据；

从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

第三方面，本申请提供了一种基于大数据的信贷业务处理设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现以下步骤：

从银行内部信贷系统和/或外部税务系统采集原始数据；从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于大数据的信贷业务处理方法的步骤。

本申请所提供的一种基于大数据的信贷业务处理装置，包括数据采集模块、大数据计算模块、存储模块，用于实现：从银行内部信贷系统和/或外部税务系统采集原始数据；从数据层面对原始数据进行完整性校验；若校验通过，则对原始数据进行加工操作，得到应用于信贷业务的规范化数据；从数据层面对规范化数据进行完整性校验，并从业务层面对规范化数据进行可用性校验；若校验均通过，则将规范化数据作为征信数据存储至数据库，以便于信贷业务根据征信数据对信贷请求进行处理。

可见，该装置在对数据进行加工处理的过程中，通过完整性校验和可用性校验及时检测数据在数据层面和业务层面是否满足要求，从而防止产生不完整不可用的数据，避免不完整不可用的数据入库，实现为后续信贷业务提供可靠的征信数据的目的，提升了数据处理的效率以及信贷业务的可靠性。

此外，本申请还提供了一种基于大数据的信贷业务处理方法、设备及可读存储介质，其技术效果与上述装置的技术效果相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于大数据的信贷业务处理装置实施例的功能框图；

图2为本申请所提供的信贷业务大数据处理流程示意图图一；

图3为本申请所提供的信贷业务大数据处理流程示意图图二；

图4为本申请所提供的一种基于大数据的信贷业务处理方法实施例的实现流程图；

图5为本申请所提供的一种基于大数据的信贷业务处理设备实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心是提供一种基于大数据的信贷业务处理装置、方法、设备及可读存储介质，通过完整性校验和可靠性校验，避免不完整不可用的数据入库，提升了信贷业务数据处理效率及信贷业务的可靠性。

下面对本申请提供的一种基于大数据的信贷业务处理装置实施例进行介绍，参见图1，实施例一包括：数据采集模块11、大数据计算模块12、存储模块13，所述大数据计算模块包括第一校验单元121、数据加工单元122和第二校验单元123；

所述数据采集模块11：用于从银行内部信贷系统和/或外部税务系统采集原始数据；

所述第一校验单元121：用于从数据层面对所述原始数据进行完整性校验；

所述数据加工单元122：用于在所述原始数据通过校验时，对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

所述第二校验单元123：用于从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

所述存储模块13：用于在所述规范化数据通过校验时，将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

如图2所示，本实施例中银行大数据在处理流程上包括：采集子流程，加工子流程，入库子流程，应用子流程。其中，采集子流程对应上述数据采集模块11，主要负责从银行内部或者从外部业务系统采集待处理的原始数据；加工子流程对应上述大数据计算模块12，主要负责对采集的原始数据进行加工处理，并从数据层面及业务层面对数据进行质量检查，以确保数据的完整性及提高数据的可用性；入库子流程对应上述存储模块13，主要负责对处理合格的数据进行入库处理；最终，应用子流程主要负责将处理合格的数据直接发送给其他业务系统进行使用，或者接收其他业务系统的调用请求后返回数据给业务系统。

具体的，上述数据采集模块11用于从数据源采集原始数据，其中数据源包括但不限于银行内部信贷系统和外部税务系统，具体的，所述数据采集模块11从银行内部信贷获取采集信贷原始数据，和/或从外部税务局采集税务原始数据。

上述第一校验单元121用于对于采集得到的原始数据进行数据质量校验，主要是从数据层面检查原始数据的完整性以保证后续数据加工单元122可用。对于通过完整性校验的原始数据，则将其传递给数据加工单元122；对于未通过完整性校验的原始数据，则重新采集或结束流程。本实施例中，从数据层面的数据质量校验主要是指校验数据的完整性，具体的，预先定义完整性校验规则，在该规则中指定原始数据必须包含的关键字段，例如姓名、身份证、性别、电话等。在完整性校验过程中，分别检测数据是否包含这些关键字段和字段值，如果全部包含，则认为数据通过完整性校验；否则，认为数据未通过完整性校验。

上述数据加工单元122用于对通过完整性校验的原始数据进行加工操作，生成中间环节数据用于再加工，或者生成直接可用于信贷业务的最终环节数据，即上述规范化数据。本实施例中，上述加工操作包括以下任意一项或多项：抽取、清洗、转换、索引、范式化，具体根据字段属性而选择。

作为一种具体的实施方式，数据加工单元122用于对原始数据进行加工操作，得到中间环节数据；然后，从数据层面对中间环节数据进行完整性校验；若校验通过，则再次对中间环节数据进行加工操作，最终得到应用于信贷业务的规范化数据。

第二校验单元123对于加工后的规范化数据进行再次质量校验，具体的，对规范化数据分别进行从数据层面的完整性校验和从业务层面的可用性校验。本实施例不限定上述两种校验过程的先后顺序，作为一种具体的实施方式，可以先对规范化数据进行数据层面的完整性校验，在规范化数据通过完整性校验之后，再对规范化数据进行业务层面的可用性校验。

其中，数据层面的完整性校验与前述对原始数据的完整性校验相类似，即判断规范化数据是否缺失关键字段和字段值，若不缺失，则判定规范化数据通过完整性校验；否则，判定规范化数据未通过完整性校验。

业务层面的可用性校验，主要是判断规范化数据对于信贷业务是否可用。具体的，预先定义信贷业务的可用性校验规则，在可用性校验规则中定义各个关键字段的字段值的数值范围，或者定义不同关键字段的字段值之间的约束关系。在执行可用性校验时，从业务层面分别判断规范化数据中各个关键字段的字段值是否在相应的数值范围内，和/或，判断规范化数据中各个关键字段的字段值是否相互矛盾，若在相应的数值范围内且不相互矛盾，则判定规范化数据通过可用性校验，否则判定规范化数据未通过可用性校验。

当规范化数据通过上述两种校验时，则将规范化数据传递至存储模块13。否则，则返回数据加工单元122，重新对原始数据进行加工或结束流程。

存储模块13将通过第二校验单元123的两种校验的规范化数据作为征信数据存储至数据库中，或者直接导出到信贷业务系统中，以便于信贷业务根据征信数据对信贷业务请求进行处理。

具体的，本实施例可应用在个人或企业信贷业务场景，首先从银行内部信贷系统和/或外部税务系统采集个人或企业的原始数据，经过校验、加工、再校验之后，形成可用于辅助信贷业务系统评估个人或企业信用的征信数据，信贷业务系统再根据征信数据形成征信报告，用于审批个人或企业的融资授信申请。

本实施例所提供一种基于大数据的信贷业务处理装置，涉及银行大数据治理领域，从数据层面和业务层面对数据进行质量检验，从而保证数据的完整性和可用性。具体的，通过在采集和加工环节对数据进行质量检验，给出检验结果，对不达标的数据进行处理，以保证数据在数据层面的完整性和可用性，以及数据在业务层面的完整性和可用性，防止产生过多的不可用中间数据和生成不可信的业务结果，减少因数据问题带来的损失。

下面根据上述基于大数据的信贷业务处理装置实施例，以实际应用场景为例，对本申请的基于大数据的信贷业务处理方案进行说明。

参见图3，该过程包括：

数据采集模块11将原始数据从数据源采集过来，例如，从银行内部信贷获取采集信贷原始数据。

具体的，例如采集得到的原始数据如下所示：

用户基本信息(关键字段：姓名，身份证号码，性别，出生日期，籍贯，联系电话)；

用户贷款信息(关键字段：身份证号，借款日期，借款金额，是否逾期，逾期金额，逾期天数)；

用户信用卡信息(关键字段：身份证号，月份，消费金额，是否逾期，逾期金额，逾期天数)。

第一校验单元121对采集的原始数据进行数据质量校验，主要是从数据层面检查原始数据的完整性。具体的，检查原始数据是否缺失关键字段和字段值，如检查姓名、身份证是否为空(因为只有姓名和身份证不为空才能确定是具体用户)，如果为空需要对数据进行下一步处理，如重新采集。

数据加工单元122对通过完整性校验的原始数据进行加工，具体加工操作可以为以下任意一项或多项：抽取、清洗、转换、索引、范式化，生成中间环节数据用于再加工，或者生成直接可用于具体业务的规范化数据。例如，对贷款信息进行统计加工操作，计算出如下字段：姓名，身份证号，是否贷款逾期，贷款逾期总金额，贷款逾期总天数，是否信用卡逾期，信用卡逾期总金额，信用卡逾期总天数等。

第二校验单元123对加工后的规范化数据进行再次质量校验，首先从数据层面检查规范化数据的完整度，然后从业务层面校验规范化数据的可用性，以保证后续业务可用。具体的，在可用性校验中，校验规范化数据的字段，比如，不能出现以下情况：“是否贷款逾期”为空，“贷款逾期总金额”为负数。此外，还不能出现以下情况：“是否贷款逾期”结果为是，“贷款逾期总金额”为0，这种情况是自相矛盾的。如果出现上述情况则需要对规范化数据进行下一步处理，如不作使用以结束流程，或者重新加工。

存储模块13将通过完整性校验和可用性校验的规范化数据作为征信数据存储至数据库供信贷业务模块调用，或者直接导出到信贷业务系统。

下面对本申请实施例提供的一种基于大数据的信贷业务处理方法进行介绍，下文描述的一种基于大数据的信贷业务处理方法与上文描述的一种基于大数据的信贷业务处理装置可相互对应参照。

如图4所示，该方法包括：

S401、从银行内部信贷系统和/或外部税务系统采集原始数据；

S402、从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

S403、从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

S404、若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

在一些具体的实施例中，所述从数据层面对所述原始数据进行完整性校验，包括：从数据层面判断所述原始数据是否缺失关键字段，若缺失，则判定所述原始数据未通过完整性校验；若不缺失，则判定所述原始数据通过完整性校验。

在一些具体的实施例中，所述从业务层面对所述规范化数据进行可用性校验，包括：从业务层面分别判断所述规范化数据中各个关键字段的字段值是否在相应的数值范围内，和/或，判断所述规范化数据中各个关键字段的字段值是否相互矛盾，若在相应的数值范围内且不相互矛盾，则判定所述规范化数据通过可用性校验，否则判定所述规范化数据未通过可用性校验。

在一些具体的实施例中，所述对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据，包括：对所述原始数据进行加工操作，得到中间环节数据；从数据层面对所述中间环节数据进行完整性校验；若校验通过，则再次对所述中间环节数据进行加工操作，得到应用于信贷业务的规范化数据。

在一些具体的实施例中，所述对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据，包括：对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据，其中所述加工操作包括以下任意一项或多项操作：抽取、清晰、转换、索引、范式化。

在一些具体的实施例中，在所述从数据层面对所述原始数据进行完整性校验之后，包括：在所述原始数据未通过校验时，重复从银行内部信贷系统和/或外部税务系统采集原始数据的操作，直至采集次数超过预设阈值，生成提示信息。

本实施例的基于大数据的信贷业务处理方法用于实现前述的基于大数据的信贷业务处理装置的实施过程，因此该方法的具体实施方式可见前文中的基于大数据的信贷业务处理装置的实施例部分，且该方法的技术效果与上述装置的技术效果相对应，这里不再赘述。

此外，本申请还提供了一种基于大数据的信贷业务处理设备，如图5所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现以下步骤：

从银行内部信贷系统和/或外部税务系统采集原始数据；从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于大数据的信贷业务处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于大数据的信贷业务处理装置，其特征在于，包括：数据采集模块、大数据计算模块、存储模块，所述大数据计算模块包括第一校验单元、数据加工单元和第二校验单元；

所述数据采集模块：用于从银行内部信贷系统和/或外部税务系统采集原始数据；

所述第一校验单元：用于从数据层面对所述原始数据进行完整性校验；

所述数据加工单元：用于在所述原始数据通过校验时，对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

所述第二校验单元：用于从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

所述存储模块：用于在所述规范化数据通过校验时，将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

2.如权利要求1所述的装置，其特征在于，所述第一校验单元用于：从数据层面判断所述原始数据是否缺失关键字段，若缺失，则判定所述原始数据未通过完整性校验；若不缺失，则判定所述原始数据通过完整性校验。

3.如权利要求2所述的装置，其特征在于，所述第二校验单元用于：从业务层面分别判断所述规范化数据中各个关键字段的字段值是否在相应的数值范围内，和/或，判断所述规范化数据中各个关键字段的字段值是否相互矛盾，若在相应的数值范围内且不相互矛盾，则判定所述规范化数据通过可用性校验，否则判定所述规范化数据未通过可用性校验。

4.如权利要求1所述的装置，其特征在于，所述数据加工单元用于：对所述原始数据进行加工操作，得到中间环节数据；从数据层面对所述中间环节数据进行完整性校验；若校验通过，则再次对所述中间环节数据进行加工操作，得到应用于信贷业务的规范化数据。

5.如权利要求4所述的装置，其特征在于，所述数据加工单元用于：对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据，其中所述加工操作包括以下任意一项或多项操作：抽取、清晰、转换、索引、范式化。

6.如权利要求1所述的装置，其特征在于，所述数据采集模块还用于：在所述原始数据未通过校验时，重复从银行内部信贷系统和/或外部税务系统采集原始数据的操作，直至采集次数超过预设阈值，生成提示信息。

7.一种基于大数据的信贷业务处理方法，其特征在于，包括：

从银行内部信贷系统和/或外部税务系统采集原始数据；

从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；

从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；

若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

8.一种基于大数据的信贷业务处理设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现以下步骤：

从银行内部信贷系统和/或外部税务系统采集原始数据；从数据层面对所述原始数据进行完整性校验；若校验通过，则对所述原始数据进行加工操作，得到应用于信贷业务的规范化数据；从数据层面对所述规范化数据进行完整性校验，并从业务层面对所述规范化数据进行可用性校验；若校验均通过，则将所述规范化数据作为征信数据存储至数据库，以便于所述信贷业务根据所述征信数据对信贷请求进行处理。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求7所述的基于大数据的信贷业务处理方法的步骤。

Images