CN115689731A - 基于Flink大数据技术的征信报数方法、装置、设备及介质 - Google Patents
基于Flink大数据技术的征信报数方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115689731A CN115689731A CN202310005130.3A CN202310005130A CN115689731A CN 115689731 A CN115689731 A CN 115689731A CN 202310005130 A CN202310005130 A CN 202310005130A CN 115689731 A CN115689731 A CN 115689731A
- Authority
- CN
- China
- Prior art keywords
- data
- credit investigation
- credit
- target
- financial institution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请提供了一种基于Flink大数据技术的征信报数方法、装置、设备及介质,其中,该方法包括:从金融机构的数据库中将各类业务数据抽取至指定分库中对应的业务数据表中;在指定分库中按照征信数据的预设存储表结构,将业务数据表中的业务数据存储至符合预设存储表结构的征信数据表中;从征信数据表包含的各客户对应的至少一条第一征信数据中,筛选出该客户最新的目标征信数据,使用目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;根据目标数据表中每条第二征信数据的数据状态,将数据状态为待上报的第二征信数据写入到指定文件中,生成待上报的征信报文。通过本申请的方法,提高征信数据上报的及时性。
Description
技术领域
本申请涉及报数技术领域,尤其是涉及一种基于Flink大数据技术的征信报数方法、装置、设备及介质。
背景技术
目前,互联网消费金融模式下的借贷产品的种类逐渐多样化,因此会产生大量的业务数据(例如借贷业务数据),从而会造成金融机构的业务数据量越来越大。各金融机构需要将业务数据转换成征信数据后,将征信数据上报到上级管理部门。当金融机构中的业务数据量越来越多时,这就对征信数据的监管报送的时效上存在很大的挑战。因此,为了解决业务数据的快速处理(即转换成征信数据),及时的对征信数据进行上报尤为重要。
发明内容
有鉴于此,本申请的目的在于提供一种基于Flink大数据技术的征信报数方法、装置、设备及介质,以提高征信数据上报的及时性。
第一方面,本申请实施例提供了一种基于Flink大数据技术的征信报数方法,所述方法应用于基于Flink大数据技术的征信报数平台,所述方法包括:
针对金融机构中的每一类业务数据,从所述金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个所述金融机构对应各自的指定分库;
在所述指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个所述业务数据表中存储的业务数据,存储至该指定分库中符合所述预设存储表结构的征信数据表中;
针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用所述目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述生成待上报的征信报文之后,还包括:
将所述征信报文发送至报文上报平台,以使所述报文上报平台使用上级管理部门分配的登录账户登录上级管理部门的征信系统中,并通过该登录账户将所述征信报文上传至所述征信系统;所述征信系统用于对所述征信报文中的第二征信数据进行存储。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述业务数据包括还款业务数据,所述方法还包括:
查询所述指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据;
当包含有所述未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测所述金融机构中是否产生有新的还款业务数据;
当预测出产生有新的还款业务数据时,向所述金融机构的发送提示信息,以提醒所述金融机构将该新的还款业务数据上传至所述金融机构的数据库中。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,其中,所述方法还包括:
将写入到所述指定文件中的所述第二征信数据记录到历史数据库中;
当所述目标数据表中包含有数据状态为数据错误的第三征信数据时,查询所述历史数据库中是否包含有与该第三征信数据相同的第二征信数据;
若所述历史数据库中包含有与该第三征信数据相同的第二征信数据,则生成用于更正所述第三征信数据的更正报文文件;
将所述更正报文文件上传至所述征信系统中,以使所述征信系统对自身存储的与该第三征信数据相同的第二征信数据进行更正。
结合第一方面的第三种可能的实施方式,本申请实施例提供了第一方面的第四种可能的实施方式,其中,所述方法还包括:
若所述历史数据库中未包含有与该第三征信数据相同的第二征信数据,则更正所述目标数据表中包含有第三征信数据。
结合第一方面,本申请实施例提供了第一方面的第五种可能的实施方式,其中,所述针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据之前,还包括:
针对所述征信数据表中的每个客户,对该客户的第一征信数据进行验证,以确定该第一征信数据中是否包含关键字段,得到用于表示所述第一征信数据是否完整的完整性验证结果;
根据所述第一征信数据中包含的指定数据的设置规范,判断该指定数据是否符合该设置规范,以得到用于表示所述第一征信数据是否符合设置规范的规范性验证结果;
根据所述完整性验证结果和所述规范性验证结果,更新所述征信数据表中所述第一征信数据的数据状态。
结合第一方面,本申请实施例提供了第一方面的第六种可能的实施方式,其中,所述根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文,包括:
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到具有指定格式的指定文件中;
对该指定文件进行压缩,得到压缩文件;
对所述压缩文件进行加密,得到待上报的征信报文。
第二方面,本申请实施例还提供一种基于Flink大数据技术的征信报数装置,所述装置驻留于基于Flink大数据技术的征信报数平台,包括:
抽取模块,用于针对金融机构中的每一类业务数据,从所述金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个所述金融机构对应各自的指定分库;
存储模块,用于在所述指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个所述业务数据表中存储的业务数据,存储至该指定分库中符合所述预设存储表结构的征信数据表中;
第一更新模块,用于针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用所述目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;
第一生成模块,用于根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,还包括:
发送模块,用于在所述第一生成模块生成待上报的征信报文之后,将所述征信报文发送至报文上报平台,以使所述报文上报平台使用上级管理部门分配的登录账户登录上级管理部门的征信系统中,并通过该登录账户将所述征信报文上传至所述征信系统;所述征信系统用于对所述征信报文中的第二征信数据进行存储。
结合第二方面,本申请实施例提供了第二方面的第二种可能的实施方式,其中,所述业务数据包括还款业务数据,还包括:
第一查询模块,用于查询所述指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据;
预测模块,用于当包含有所述未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测所述金融机构中是否产生有新的还款业务数据;
提示模块,用于当预测出产生有新的还款业务数据时,向所述金融机构的发送提示信息,以提醒所述金融机构将该新的还款业务数据上传至所述金融机构的数据库中。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第三种可能的实施方式,其中,还包括:
记录模块,用于将写入到所述指定文件中的所述第二征信数据记录到历史数据库中;
第二查询模块,用于当所述目标数据表中包含有数据状态为数据错误的第三征信数据时,查询所述历史数据库中是否包含有与该第三征信数据相同的第二征信数据;
第二生成模块,用于若所述历史数据库中包含有与该第三征信数据相同的第二征信数据,则生成用于更正所述第三征信数据的更正报文文件;
第一更正模块,用于将所述更正报文文件上传至所述征信系统中,以使所述征信系统对自身存储的与该第三征信数据相同的第二征信数据进行更正。
结合第二方面的第三种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,其中,还包括:
第二更正模块,用于若所述历史数据库中未包含有与该第三征信数据相同的第二征信数据,则更正所述目标数据表中包含有第三征信数据。
结合第二方面,本申请实施例提供了第二方面的第五种可能的实施方式,其中,还包括:
验证模块,用于针对所述征信数据表中的每个客户,对该客户的第一征信数据进行验证,以确定该第一征信数据中是否包含关键字段,得到用于表示所述第一征信数据是否完整的完整性验证结果;
判断模块,用于根据所述第一征信数据中包含的指定数据的设置规范,判断该指定数据是否符合该设置规范,以得到用于表示所述第一征信数据是否符合设置规范的规范性验证结果;
第二更新模块,用于根据所述完整性验证结果和所述规范性验证结果,更新所述征信数据表中所述第一征信数据的数据状态。
结合第二方面,本申请实施例提供了第二方面的第六种可能的实施方式,其中,所述第一生成模块在用于根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文时,具体用于:
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到具有指定格式的指定文件中;
对该指定文件进行压缩,得到压缩文件;
对所述压缩文件进行加密,得到待上报的征信报文。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的一种基于Flink大数据技术的征信报数方法、装置、设备及介质,在指定分库中,仅处理该指定分库对应的金融机构下的业务数据,即仅将该指定分库对应的金融机构下的业务数据转换为征信数据。采用分布式的处理方式,相比于在单体数据库上处理全部的业务数据的方式,本实施例中的分布式的处理方式,与Flink结合,有利于提高业务数据的处理速度,进而提高了征信数据上报的及时性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种基于Flink大数据技术的征信报数方法的流程图;
图2示出了本申请实施例所提供的一种各数据表之间的关系示意图;
图3示出了本申请实施例所提供的一种基于Flink大数据技术的征信报数装置的结构示意图;
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一:
为便于对本实施例进行理解,首先对本申请实施例所公开的一种基于Flink大数据技术的征信报数方法进行详细介绍。该方法应用于基于Flink大数据技术的征信报数平台,图1示出了本申请实施例所提供的一种基于Flink大数据技术的征信报数方法的流程图,如图1所示,包括以下步骤:
S101:针对金融机构中的每一类业务数据,从金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个金融机构对应各自的指定分库。
该实施例中,每个金融机构中包含有多类业务数据,具体的,包括用户基本信息、用户借贷信息等。其中,用户包括个人用户和企业用户。当用户为个人用户时,用户基本信息包括姓名、性别、住址、身份证号码、联系方式等。当用户为企业用户时,用户基本信息包括企业名称、中证号码、企业位置等。
图2示出了本申请实施例所提供的一种各数据表之间的关系示意图,如图2所示,指定分库为基于Flink大数据技术的征信报数平台中的分库。该实施例中,金融机构的数据库中用于存储业务数据的数据表的表结构,与基于Flink大数据技术的征信报数平台中的指定分库中的业务数据表的表结构相同,因此,可直接将金融机构的数据库中的业务数据抽取至指定分库中对应的业务数据表中。
示例性的,金融机构A的数据库中包含的业务数据包括个人用户基本信息、企业用户基本信息、个人用户借贷信息和企业用户借贷信息。将这些业务数据抽取至指定分库后,在指定数据库中包括:金融机构A中的个人用户基本信息对应的业务数据表a1,企业用户基本信息对应的业务数据表a2,个人用户借贷信息对应的业务数据表a3,企业用户借贷信息对应的业务数据表a4。
该实施例中,针对金融机构中的每一类业务数据,按照预设周期,定时从金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中。金融机构中的每类业务数据在指定分库中均对应一个业务数据表。
S102:在指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个业务数据表中存储的业务数据,存储至该指定分库中符合预设存储表结构的征信数据表中。
该实施例中,业务数据中包含的信息较多,例如,用户借贷信息中可能包含有该用户的银行流水信息,但是征信数据中可能并不需要银行流水信息,因此,在将业务数据转换成征信数据时,本实施例中具体可以是,按照征信数据的预设存储表结构,从同一金融机构对应的各个业务数据表中存储的业务数据中,提取出征信数据表中待填充的征信数据,以填充至符合预设存储表结构的征信数据表中。
示例性的,业务数据包括:姓名、性别、住址、身份证号码、联系方式、借款总额、还款总额、剩余还款额度等。征信数据表中包括:姓名、身份证号码、剩余还款额度。可见,征信数据表中的数据少于所有的业务数据。
并且,除了提取待填充的征信数据以外,还可以进行码值转换,具体的,当业务数据为证件种类时,将该业务数据填充至征信数据表中时,当该证件种类为身份证时,可以使用01填充该征信数据表。
该实施例中,征信数据表中包含有多个客户(即用户)各自对应的至少一条第一征信数据。
S103:针对征信数据表中的每个客户,从征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新。
示例性的,表1示出了本实施例提供的一种征信数据表的示意表,如表1所示,该征信数据表中客户张某某对应三条第一征信数据,其中,最新的目标征信数据为还款日期为2022.12.1的第一征信数据。值得注意的是,表1中所展示的征信数据表仅仅是示意性的,仅用于理解本实施例。
表1
该实施例中,目标数据表中存储有每个客户的一条第二征信数据。该第二征信数据是根据每个客户在历史时刻的目标征信数据确定的。
具体的,在使用目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新时,具体可以是:
判断该目标征信数据的内容与目标数据表中存储的该客户对应的第二征信数据的内容是否相同;
当该目标征信数据的内容与目标数据表中存储的该客户对应的第二征信数据的内容不相同时,使用目标征信数据替换目标数据表中存储的该客户对应的第二征信数据的内容,以及将该第二征信数据的数据状态更新为待上报。
示例性的,表2示出了本实施例提供的一种目标数据表的示意表,如表2所示,该目标数据表中,每个客户对应一条第二征信数据。其中,针对客户张某某,该客户的目标征信数据的内容(表1中还款日期为2022.12.1的第一征信数据)与目标数据表中该客户的第二征信数据(表2张某某对应的第二征信数据)的内容不同,因此,直接使用目标征信数据替换掉该第二征信数据,以对目标数据表进行更新。并将更新后的该客户对应的数据状态更新为待上报。
表2
S104:根据目标数据表中每条第二征信数据的数据状态,将数据状态为待上报的第二征信数据写入到指定文件中,以生成待上报的征信报文。
该实施例中,根据目标数据表中每条第二征信数据的数据状态,将数据状态为待上报的第二征信数据写入到具有指定格式的指定文件中;对该指定文件进行压缩,得到压缩文件;对压缩文件进行加密,得到待上报的征信报文。
其中,指定格式具体可以是xml结构体,指定文件具体可以是txt文件。
在一种可能的实施方式中,在执行步骤S104生成待上报的征信报文之后,具体还可以按照一下步骤执行:
将征信报文发送至报文上报平台,以使报文上报平台使用上级管理部门分配的登录账户登录上级管理部门的征信系统中,并通过该登录账户将征信报文上传至征信系统;征信系统用于对征信报文中的第二征信数据进行存储。
该实施例中,上级管理部门预先为报文上报平台分配多个登录账户。
将征信报文上传至征信系统后,征信系统可以生成针对该征信报文的反馈报文。当该征信报文正确无误时,该反馈报文中为空。当该征信报文有误时,该反馈报文中包含报错原因。在登录征信系统后,从该征信系统中下载各个征信报文对应的反馈报文。
在一种可能的实施方式中,业务数据包括还款业务数据,具体还可以按照以下步骤执行:
S1051:查询指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据。
该实施例中,还款业务数据表为业务数据为还款业务数据对应的业务数据表。示例性的,承接上述实施例,如表1所示,张某某在2022.12.1的还款剩余额度不为0,则张某某的业务数据属于未结清还款数据。
S1052:当包含有未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测金融机构中是否产生有新的还款业务数据。
该实施例中,金融机构中产生了新的还款业务数据后,金融机构需要将该新的还款业务数据上传至金融机构的数据库中,这样,基于Flink大数据技术的征信报数平台才能获取到该新的还款业务数据。但是,考虑到金融机构可能存在上传不及时的问题,导致基于Flink大数据技术的征信报数平台无法及时获取到该新的还款业务数据,进而导致无法及时上报的问题,基于此,本实施例中,通过查询指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据,当包含有未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测金融机构中是否产生有新的还款业务数据。
示例性的,承接上述实施例,如表1所示,张某某的还款频率为一个月一次,可见,张某某的下一次还款日为2023.1.1。若当前日期为2023.1.1日之后,则预测出金融机构中已经产生有张某某的新的还款业务数据。若当前日期为2023.1.1日之前,则预测出金融机构中还未产生张某某的新的还款业务数据。
S1053:当预测出产生有新的还款业务数据时,向金融机构的发送提示信息,以提醒金融机构将该新的还款业务数据上传至金融机构的数据库中。
当提醒金融机构及时将该新的还款业务数据上传至金融机构的数据库中后,基于Flink大数据技术的征信报数平台才能获取到该新的还款业务数据,以对其进行上报。通过本实施例的方式,有利于提高征信数据上报的及时性。
在一种可能的实施方式中,具体还可以按照以下步骤S1061-S1064执行:
S1061:将写入到指定文件中的第二征信数据记录到历史数据库中。
写入到指定文件中的第二征信数据也即用于生成征信报文的第二征信数据。通过将写入到指定文件中的第二征信数据记录到历史数据库中,使得历史数据库中存储的第二征信数据与上级管理部门的征信系统中包含的第二征信数据相同。
S1062:当目标数据表中包含有数据状态为数据错误的第三征信数据时,查询历史数据库中是否包含有与该第三征信数据相同的第二征信数据。
由于历史数据库中存储的第二征信数据与征信系统中包含的第二征信数据相同,因此,查询历史数据库中是否包含有与该第三征信数据相同的第二征信数据,相当于查询征信系统中是否包含有与该第三征信数据相同的第二征信数据。
S1063:若历史数据库中包含有与该第三征信数据相同的第二征信数据,则生成用于更正第三征信数据的更正报文文件。
若历史数据库中包含有与该第三征信数据相同的第二征信数据,则表示征信系统中包含有与该第三征信数据相同的第二征信数据,即征信系统中包含有数据错误的第二征信数据。
S1064:将更正报文文件上传至征信系统中,以使征信系统对自身存储的与该第三征信数据相同的第二征信数据进行更正。
考虑到查询上级管理部门中的征信系统中的第二征信数据是否有误时,查询过程较为繁琐的问题,该实施例中,通过查询历史数据库中的第二征信数据是否有误,相比于查询上级管理部门中的征信系统中的第二征信数据是否有误,有利于提高查询的便捷性。
在一种可能的实施方式中,具体还可以按照以下步骤执行:
S1065:若历史数据库中未包含有与该第三征信数据相同的第二征信数据,则更正目标数据表中包含有第三征信数据。
若历史数据库中未包含有与该第三征信数据相同的第二征信数据,则表示数据有误的第三征信数据还未上传至征信系统中,此时仅修改目标数据表中包含的第三征信数据即可。
在一种可能的实施方式中,在执行步骤S103针对征信数据表中的每个客户,从征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据之前,具体还可以按照以下步骤执行:
S1031:针对征信数据表中的每个客户,对该客户的第一征信数据进行验证,以确定该第一征信数据中是否包含关键字段,得到用于表示第一征信数据是否完整的完整性验证结果。
关键字段例如合同号等,其中,关键字段可以是一个也可以是多个。
S1032:根据第一征信数据中包含的指定数据的设置规范,判断该指定数据是否符合该设置规范,以得到用于表示第一征信数据是否符合设置规范的规范性验证结果。
指定数据例如身份证号码、中证号码等。示例性的,当指定数据为身份证号码时,设置规范为身份证号码设置规范;当指定数据为中证号码时,设置规范为中证号码设置规则。
S1033:根据完整性验证结果和规范性验证结果,更新征信数据表中第一征信数据的数据状态。
当第一征信数据的完整性验证结果为符合完整性,以及规范性验证结果为符合规范性时,则将征信数据表中的该第一征信数据的数据状态更新为验证成功。当第一征信数据的完整性验证结果为不符合完整性,和/或,规范性验证结果为不符合规范性时,则将征信数据表中的该第一征信数据的数据状态更新为验证失败,并说明失败原因。
在征信数据表中对第一征信数据的数据状态更新完成后,针对征信数据表中的每个客户,从征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,当该目标征信数据的数据状态为验证成功时,使用该目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新。
实施例二:
基于相同的技术构思,本申请实施例还提供了一种基于Flink大数据技术的征信报数装置,该装置驻留于服务器中,该装置驻留于基于Flink大数据技术的征信报数平台,图3示出了本申请实施例所提供的一种基于Flink大数据技术的征信报数装置的结构示意图,如图3所示,该装置包括:
抽取模块301,用于针对金融机构中的每一类业务数据,从所述金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个所述金融机构对应各自的指定分库;
存储模块302,用于在所述指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个所述业务数据表中存储的业务数据,存储至该指定分库中符合所述预设存储表结构的征信数据表中;
第一更新模块303,用于针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用所述目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;
第一生成模块304,用于根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文。
可选的,还包括:
发送模块,用于在所述第一生成模块304生成待上报的征信报文之后,将所述征信报文发送至报文上报平台,以使所述报文上报平台使用上级管理部门分配的登录账户登录上级管理部门的征信系统中,并通过该登录账户将所述征信报文上传至所述征信系统;所述征信系统用于对所述征信报文中的第二征信数据进行存储。
可选的,所述业务数据包括还款业务数据,还包括:
第一查询模块,用于查询所述指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据;
预测模块,用于当包含有所述未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测所述金融机构中是否产生有新的还款业务数据;
提示模块,用于当预测出产生有新的还款业务数据时,向所述金融机构的发送提示信息,以提醒所述金融机构将该新的还款业务数据上传至所述金融机构的数据库中。
可选的,还包括:
记录模块,用于将写入到所述指定文件中的所述第二征信数据记录到历史数据库中;
第二查询模块,用于当所述目标数据表中包含有数据状态为数据错误的第三征信数据时,查询所述历史数据库中是否包含有与该第三征信数据相同的第二征信数据;
第二生成模块,用于若所述历史数据库中包含有与该第三征信数据相同的第二征信数据,则生成用于更正所述第三征信数据的更正报文文件;
第一更正模块,用于将所述更正报文文件上传至所述征信系统中,以使所述征信系统对自身存储的与该第三征信数据相同的第二征信数据进行更正。
可选的,还包括:
第二更正模块,用于若所述历史数据库中未包含有与该第三征信数据相同的第二征信数据,则更正所述目标数据表中包含有第三征信数据。
可选的,还包括:
验证模块,用于在第一更新模块针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据之前,针对所述征信数据表中的每个客户,对该客户的第一征信数据进行验证,以确定该第一征信数据中是否包含关键字段,得到用于表示所述第一征信数据是否完整的完整性验证结果;
判断模块,用于根据所述第一征信数据中包含的指定数据的设置规范,判断该指定数据是否符合该设置规范,以得到用于表示所述第一征信数据是否符合设置规范的规范性验证结果;
第二更新模块,用于根据所述完整性验证结果和所述规范性验证结果,更新所述征信数据表中所述第一征信数据的数据状态。
可选的,所述第一生成模块304在用于根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文时,具体用于:
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到具有指定格式的指定文件中;
对该指定文件进行压缩,得到压缩文件;
对所述压缩文件进行加密,得到待上报的征信报文。
实施例三:
基于相同的技术构思,本申请实施例还提供一种电子设备,图4示出了本申请实施例所提供的一种电子设备的结构示意图,如图4所示,该电子设备400包括:处理器401、存储器402和总线403,存储器存储有处理器可执行的机器可读指令,当电子设备运行时,处理器401与存储器402之间通过总线403通信,处理器401执行机器可读指令,以执行实施例一中所述的方法步骤。
实施例四:
基于相同的技术构思,本申请实施例四还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、电子设备和计算机可读存储介质的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于Flink大数据技术的征信报数方法,其特征在于,所述方法应用于基于Flink大数据技术的征信报数平台,所述方法包括:
针对金融机构中的每一类业务数据,从所述金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个所述金融机构对应各自的指定分库;
在所述指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个所述业务数据表中存储的业务数据,存储至该指定分库中符合所述预设存储表结构的征信数据表中;
针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用所述目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文。
2.根据权利要求1所述方法,其特征在于,所述生成待上报的征信报文之后,还包括:
将所述征信报文发送至报文上报平台,以使所述报文上报平台使用上级管理部门分配的登录账户登录上级管理部门的征信系统中,并通过该登录账户将所述征信报文上传至所述征信系统;所述征信系统用于对所述征信报文中的第二征信数据进行存储。
3.根据权利要求1所述方法,其特征在于,所述业务数据包括还款业务数据,所述方法还包括:
查询所述指定分库中还款业务数据对应的还款业务数据表中,是否包含有未结清还款数据;
当包含有所述未结清还款数据时,根据该未结清还款数据对应的还款业务数据的还款频率,预测所述金融机构中是否产生有新的还款业务数据;
当预测出产生有新的还款业务数据时,向所述金融机构的发送提示信息,以提醒所述金融机构将该新的还款业务数据上传至所述金融机构的数据库中。
4.根据权利要求2所述方法,其特征在于,所述方法还包括:
将写入到所述指定文件中的所述第二征信数据记录到历史数据库中;
当所述目标数据表中包含有数据状态为数据错误的第三征信数据时,查询所述历史数据库中是否包含有与该第三征信数据相同的第二征信数据;
若所述历史数据库中包含有与该第三征信数据相同的第二征信数据,则生成用于更正所述第三征信数据的更正报文文件;
将所述更正报文文件上传至所述征信系统中,以使所述征信系统对自身存储的与该第三征信数据相同的第二征信数据进行更正。
5.根据权利要求4所述方法,其特征在于,所述方法还包括:
若所述历史数据库中未包含有与该第三征信数据相同的第二征信数据,则更正所述目标数据表中包含有第三征信数据。
6.根据权利要求1所述方法,其特征在于,所述针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据之前,还包括:
针对所述征信数据表中的每个客户,对该客户的第一征信数据进行验证,以确定该第一征信数据中是否包含关键字段,得到用于表示所述第一征信数据是否完整的完整性验证结果;
根据所述第一征信数据中包含的指定数据的设置规范,判断该指定数据是否符合该设置规范,以得到用于表示所述第一征信数据是否符合设置规范的规范性验证结果;
根据所述完整性验证结果和所述规范性验证结果,更新所述征信数据表中所述第一征信数据的数据状态。
7.根据权利要求1所述方法,其特征在于,所述根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文,包括:
根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到具有指定格式的指定文件中;
对该指定文件进行压缩,得到压缩文件;
对所述压缩文件进行加密,得到待上报的征信报文。
8.一种基于Flink大数据技术的征信报数装置,其特征在于,所述装置驻留于基于Flink大数据技术的征信报数平台,包括:
抽取模块,用于针对金融机构中的每一类业务数据,从所述金融机构的数据库中将该类业务数据抽取至指定分库中对应的业务数据表中;其中,每个所述金融机构对应各自的指定分库;
存储模块,用于在所述指定分库中,按照征信数据的预设存储表结构,将同一金融机构对应的各个所述业务数据表中存储的业务数据,存储至该指定分库中符合所述预设存储表结构的征信数据表中;
第一更新模块,用于针对所述征信数据表中的每个客户,从所述征信数据表包含的该客户对应的至少一条第一征信数据中,筛选出最新的目标征信数据,以使用所述目标征信数据对目标数据表中存储的该客户对应的第二征信数据的内容以及数据状态进行更新;
第一生成模块,用于根据所述目标数据表中每条第二征信数据的数据状态,将所述数据状态为待上报的所述第二征信数据写入到指定文件中,以生成待上报的征信报文。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005130.3A CN115689731A (zh) | 2023-01-04 | 2023-01-04 | 基于Flink大数据技术的征信报数方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005130.3A CN115689731A (zh) | 2023-01-04 | 2023-01-04 | 基于Flink大数据技术的征信报数方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115689731A true CN115689731A (zh) | 2023-02-03 |
Family
ID=85057240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310005130.3A Pending CN115689731A (zh) | 2023-01-04 | 2023-01-04 | 基于Flink大数据技术的征信报数方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115689731A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523853A (zh) * | 2020-04-14 | 2020-08-11 | 上海资信有限公司 | 一种企业信用信息加工、整理及存储的管理方法 |
CN112468532A (zh) * | 2020-10-12 | 2021-03-09 | 苏宁金融科技(南京)有限公司 | 征信数据报送方法、装置、系统、设备及计算机存储介质 |
CN114239519A (zh) * | 2021-11-17 | 2022-03-25 | 中国建设银行股份有限公司 | 征信数据处理方法、装置、电子设备及计算机可读介质 |
-
2023
- 2023-01-04 CN CN202310005130.3A patent/CN115689731A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523853A (zh) * | 2020-04-14 | 2020-08-11 | 上海资信有限公司 | 一种企业信用信息加工、整理及存储的管理方法 |
CN112468532A (zh) * | 2020-10-12 | 2021-03-09 | 苏宁金融科技(南京)有限公司 | 征信数据报送方法、装置、系统、设备及计算机存储介质 |
CA3134107A1 (en) * | 2020-10-12 | 2022-04-12 | 10353744 Canada Ltd. | A credit investigation data reporting method, apparutus, system, device and computer storage medium |
CN114239519A (zh) * | 2021-11-17 | 2022-03-25 | 中国建设银行股份有限公司 | 征信数据处理方法、装置、电子设备及计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263024B (zh) | 数据处理方法、终端设备及计算机存储介质 | |
US20060271451A1 (en) | System and method for providing data to tax preparation software | |
US20020138570A1 (en) | System for and method of automatically migrating data among multiple legacy applications and accessible storage formats | |
Lytvyn et al. | Development of the system to integrate and generate content considering the cryptocurrent needs of users | |
CN112039701A (zh) | 接口调用监控方法、装置、设备及存储介质 | |
CN116128458B (zh) | 用于医院经费卡报账的智能自动审核系统 | |
CN114677188B (zh) | 适用于无纸化凭证数据的全量采集方法及装置 | |
WO2022045168A1 (ja) | 暗号資産ブロックチェーン処理装置、処理方法、処理システム及び処理プログラム | |
CN113128188A (zh) | 一种银行工资表生成方法、装置和介质 | |
AU2016101535A4 (en) | Computer-implemented methods and management systems for managing membership of a group | |
CN115689731A (zh) | 基于Flink大数据技术的征信报数方法、装置、设备及介质 | |
CN114817867A (zh) | 基于互联网的出版物发行平台 | |
CN112308523A (zh) | 凭证信息的管理方法、装置、设备及存储介质 | |
CN111445330A (zh) | 对账的方法及装置 | |
CN111797590A (zh) | 数据核对方法、装置和设备 | |
KR100915496B1 (ko) | 데이터 원천 구분코드를 이용한 데이터 품질관리 시스템 | |
CN111026763A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN110009496B (zh) | 一种区块凭证的充值和提取方法、装置及系统 | |
CN113468173B (zh) | 数据的存储方法、装置、设备及存储介质 | |
CN115423595B (zh) | 文件信息处理方法、装置、计算机设备和存储介质 | |
CN118096011A (zh) | 一种库存数据的更新方法、更新装置、设备及介质 | |
CN117874087A (zh) | 一种数据报送方法、装置、服务器 | |
CN113419786A (zh) | 基于多租户技术的系统划分方法及相关装置 | |
CN118349533A (zh) | 一种账务文件处理方法及服务器节点 | |
JP2005227910A (ja) | 取引口座情報管理システム及び管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |