CN114416725A - 票据数据处理方法、装置、设备、介质和计算机程序产品 - Google Patents
票据数据处理方法、装置、设备、介质和计算机程序产品 Download PDFInfo
- Publication number
- CN114416725A CN114416725A CN202111552086.5A CN202111552086A CN114416725A CN 114416725 A CN114416725 A CN 114416725A CN 202111552086 A CN202111552086 A CN 202111552086A CN 114416725 A CN114416725 A CN 114416725A
- Authority
- CN
- China
- Prior art keywords
- data
- bill
- file
- lake
- public area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/183—Tabulation, i.e. one-dimensional positioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请涉及大数据技术领域,提供了一种票据数据的处理方法、装置、计算机设备、存储介质和计算机程序产品。本申请能够提高对票据相关报表需求响应效率,可应用于金融领域。该方法包括:将票据系统存储的票据数据导入数据湖公有区以使数据湖公有区将该票据数据加载到贴源数据表,指示数据湖私有区待数据湖公有区将票据数据加载贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将贴源数据表中包含的各票据信息表加工为多个宽表并存储,接收到终端发送的报表生成请求时,向该终端提供数据湖私有区存储的多个宽表,以供终端根据数据湖私有区存储的多个宽表生成用户所需报表。
Description
技术领域
本申请涉及大数据技术领域,特别是涉及一种票据数据的处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
票据业务处理系统需要具备较多的统计查询分析功能,这类需求需要开发人员安排项目计划,对于每个需求都对应开发一个查询功能,耗费较多的开发资源同时也无法及时满足或实现业务需求,而且由于票据联机业务量逐年增大,联机复杂分析的耗时也逐渐增大。
目前技术所提供的票据系统仍需业务员或分析师等用户提交需求给开发人员,开发人员开发模块投产上线后业务员或分析师方可以使用制作相应报表,而且业务员或分析师每次制作报表都要面对源应用几百张票据业务表和理清复杂的关联逻辑,导致这种技术存在对票据相关报表需求响应效率低的技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种票据数据的处理方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种票据数据的处理方法,应用于票据数据中台,所述方法包括:
将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;
指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;
接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
在其中一个实施例中,所述将票据系统存储的票据数据导入数据湖公有区,包括:获取按照设定时间周期从所述票据系统导出的源票据数据;从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;将携带所述票据数据的增量文件发送至所述数据湖公有区。
在其中一个实施例中,所述从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件之后,所述方法还包括:生成所述增量文件对应的校验文件;
所述将携带所述票据数据的增量文件发送至所述数据湖公有区,包括:将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
在其中一个实施例中,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
在其中一个实施例中,所述按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储之前,所述方法还包括:对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
在其中一个实施例中,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
第二方面,本申请还提供了一种票据数据的处理装置,应用于票据数据中台,所述装置包括:
数据导入模块,用于将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;
宽表加工模块,用于指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;
宽表提供模块,用于接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
上述票据数据的处理方法、装置、计算机设备、存储介质和计算机程序产品,先将票据系统存储的票据数据导入数据湖公有区以使数据湖公有区将该票据数据加载到贴源数据表,然后指示数据湖私有区待数据湖公有区将票据数据加载贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将贴源数据表中包含的各票据信息表加工为多个宽表并存储,在接收到终端发送的报表生成请求时,向该终端提供数据湖私有区存储的多个宽表,以供终端根据数据湖私有区存储的多个宽表生成用户所需报表。该方案能够针对票据系统存储的票据数据按照各类票据行为及基于相应预设的维度和指标一次性将其预先整合成多个宽表,由此可在业务员或分析师等用户在终端发起报表生成请求时及时提供该预先整合的多个宽表供用户快速制成所需报表,提高对票据相关报表需求响应效率。
附图说明
图1为一个实施例中票据数据的处理方法的应用环境图;
图2为一个实施例中票据数据的处理方法的流程示意图;
图3为一个实施例中票据数据中台处理票据数据的示意图;
图4为另一个实施例中票据数据中台处理票据数据的示意图;
图5为一个实施例中票据数据的处理装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的票据数据的处理方法,可以应用于如图1所示的应用环境中,该应用环境包括终端110、票据数据中台120和票据系统130。其中,终端110可通过网络与票据数据中台120进行通信,票据数据中台120可通过网络与票据系统130进行通信,具体的,票据数据中台120将票据系统130存储的票据数据导入数据湖公有区,以使该数据湖公有区将票据数据加载到贴源数据表,票据数据中台120指示数据湖私有区待数据湖公有区将票据数据加载到贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将该贴源数据表中包含的各票据信息表加工为多个宽表并存储,由此票据数据中台120接收到终端110发送的报表生成请求时,票据数据中台120向终端110提供数据湖私有区存储的多个宽表,以供终端110根据数据湖私有区存储的多个宽表生成用户所需报表。
在上述应用环境中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑,票据数据中台120和票据系统130分别可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
以下结合实施例和相应附图对本申请的票据数据的处理方法进行说明。
在一个实施例中,如图2所示,提供了一种票据数据的处理方法,该方法应用于如图1所示的票据数据中台120,具体包括以下步骤:
步骤S201,将票据系统存储的票据数据导入数据湖公有区,以使数据湖公有区将票据数据加载到贴源数据表。
本步骤主要是票据数据中台120将票据系统130存储的票据数据导入至票据数据中台120自身配置的数据湖公有区(Bdp)。具体的,每天的票据数据可被上传存储到票据系统130中落表,如票据信息明细表等,但由于票据系统130自身涉及的联机查询负载比较大,查询效率较低,因此本步骤票据数据中台120将票据系统130中存储的票据数据导入到票据数据中台120自身配置的数据湖公有区,以使数据湖公有区将导入的票据数据加载到数据湖公有区的贴源数据表中,以确保票据数据中台120对已有票据数据的查询和处理的效率。
步骤S202,指示数据湖私有区待数据湖公有区将票据数据加载贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将贴源数据表中包含的各票据信息表加工为多个宽表并存储;
本步骤主要是票据数据中台120指示其自身配置的数据湖私有区(Bdsp)待数据湖公有区(Bdp)将票据数据加载到贴源数据表的作业执行成功后,数据湖私有区开始调起批量作业,将数据湖公有区(Bdp)的贴源数据表中包含的各票据信息表按照各类票据行为并基于相应预设的维度和指标加工到对应的多个宽表并存储。示例性的,参考图3,按照该种加工方式,数据湖私有区(Bdsp)可将数据湖公有区(Bdp)中的票据基本信息表、票据背书信息表、票据承兑信息表、票据买入信息表、票据卖出信息表、票据提示付款表和法人客户信息表等票据信息表加工成包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表等多个宽表。
步骤S203,接收到终端发送的报表生成请求时,向终端提供数据湖私有区存储的多个宽表,以供终端根据数据湖私有区存储的多个宽表生成用户所需报表。
结合图3,本步骤中,票据数据中台120可接收终端110发送的报表生成请求,票据数据中台120响应于该报表生成请求,向该终端110提供前述数据湖私有区(Bdsp)存储的多个宽表,终端110可展示出该多个宽表供业务员或分析师等用户根据其自身需求在此基础上进行报表的制作分析及查询展示各种报表对应的图表,便捷地制成如基于每日库存宽表定制成的库存分析报表等报表,由此使用户可在终端110上基于票据数据中台120所提供的各种宽表使用如拖拽等简单的操作方式选择宽表交工展示报表,无需再给开发提交需求,无需等待即可自行实现统计分析报表等功能。
上述票据数据的处理方法,先将票据系统存储的票据数据导入数据湖公有区以使数据湖公有区将该票据数据加载到贴源数据表,然后指示数据湖私有区待数据湖公有区将票据数据加载贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将贴源数据表中包含的各票据信息表加工为多个宽表并存储,在接收到终端发送的报表生成请求时,向该终端提供数据湖私有区存储的多个宽表,以供终端根据数据湖私有区存储的多个宽表生成用户所需报表。该方案能够针对票据系统存储的票据数据按照各类票据行为及基于相应预设的维度和指标一次性将其预先整合成多个宽表,由此可在业务员或分析师等用户在终端发起报表生成请求时及时提供该预先整合的多个宽表供用户快速制成所需报表,提高对票据相关报表需求响应效率。
在一个实施例中,步骤S201中的将票据系统存储的票据数据导入数据湖公有区,具体包括:
获取按照设定时间周期从票据系统导出的源票据数据;从源票据数据中获取当前时间条件下增量变动的票据数据并形成携带票据数据的增量文件;将携带票据数据的增量文件发送至数据湖公有区。
本实施例主要是票据数据中台120可以按照设定时间周期即每隔一段时间从票据系统130中导出源票据数据将当前时间条件下增量变动的票据数据以增量文件的形式发送合并到数据湖公有区(Bdp)的贴源表中。具体的,设定时间周期可以是每天,当前时间条件可以是当天,示例性的,票据数据中台120可在每天晚间批量通过批量作业导出票据系统130中的源票据数据,按照日期字段将源票据数据中当天增量变动的票据数据查出来生成携带该当天增量变动的票据数据的每日增量文件,然后将该每日增量文件发送至数据湖公有区(Bdp),数据湖公有区(Bdp)可将每日增量文件导入到贴源数据表的当天的分区中,当天分区导入成功后,数据湖公有区将当天分区的票据数据按照主键跟表里T-1天的票据数据进行合并便可得到当天全量数据。采用本实施例的方案票据数据中台120能够高效稳定准确地将使数据湖公有区中的票据数据得到及时更新,有利于后续用户制作准确报表。
进一步的,在一个实施例中,在上述从源票据数据中获取当前时间条件下增量变动的票据数据并形成携带票据数据的增量文件之后,票据数据中台120还可以进一步生成该携带票据数据的增量文件所对应的校验文件,且在将携带票据数据的增量文件发送至数据湖公有区的同时,将该校验文件也发送至数据湖公有区,以使该数据湖公有区接收到该增量文件及校验文件后,利用该校验文件校验该增量文件,并在校验通过的情况下,将所接收的增量文件导入贴源数据表。
具体的,对于本实施例,结合图4,票据数据中台120可在每天晚间批量通过批量作业导出票据系统130中的源票据数据,按照日期字段将源票据数据中当天增量变动的票据数据查出来生成携带该当天增量变动的票据数据的每日增量文件,每日增量文件生成后,票据数据中台120可将该增量文件移动到中间目录整合成统一的带日期的格式,然后票据数据中台120可生成以CHK结尾的同名校验文件。在其中一些实施例中,该校验文件可记录该增量文件的文件特征信息,例如增量文件的文件名称、文件大小和票据数据记录数等文件相关的信息。基于此,票据数据中台120将增量文件及其同名校验文件移动到发送目录,gtp点对点发送任务监测到该发送目录下有文件出现时,便可将增量文件及其同名校验文件发送到数据湖公有区(BDP)对应的接收目录,以使得数据湖公有区(BDP)可在其接收目录接收到该增量文件及其同名校验文件。具体的,数据湖公有区(BDP)接收目录接收到增量文件及其校验文件后,可提取所接收的增量文件的文件特征信息作为待校验信息,若判断该待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。示例性的,数据湖公有区(BDP)接收增量文件及其校验文件后,检查校验文件记录的文件特征信息如文件名称、文件大小和票据数据记录数,是否与实际接收到的增量文件中文件名称、文件大小和票据数据记录数(待校验信息)相一致,如果一致,数据湖公有区(BDP)就导入到贴源数据表的当天的分区中,当天分区导入成功后,数据湖公有区将当天分区的票据数据按照主键跟表里T-1天对应的票据数据进行合并便可得到当天全量数据,至此票据数据中台120已将票据系统130中的数据完整迁移到数据湖公有区(BDP)中,从而数据湖私有区(Bdsp)便可将这些数据加工到各宽表供终端生成所需报表。本实施例通过提供校验文件可提高数据湖公有区中票据数据的准确性。
在一些实施例中,在步骤S202中的按照各类票据行为并基于相应预设的维度和指标将贴源数据表中包含的各票据信息表加工为多个宽表并存储之前,上述方法还可以包括以下步骤:
对各类票据行为进行票据业务信息分析,获得各类票据行为各自对应的预定维度和预定指标;将各类票据行为各自对应的预定维度和预定指标发送至终端;基于终端反馈的针对各类票据行为各自对应的预定维度和预定指标的修正信息,形成各类票据行为各自对应的维度和指标。
本实施例主要是票据数据中台120可对各类票据行为进行票据业务信息分析从而分析得到每一类票据行为各自所对应的预定维度和预定指标,该预定维度和预定指标不直接作为供用户制作报表时使用的维度和指标,而是先由票据数据中台120将该分析得到的各类票据行为各自对应的预定维度和预定指标发送至终端110,用户可在该终端110上提供针对各类票据行为各自对应的预定维度和预定指标的修正信息,该修整信息可以包括用户对某个或某些预定维度、预定指标的修改,然后由终端110将这些修整信息反馈到票据数据中台120,票据数据中台120基于这些修整信息最终形成各类票据行为各自对应的维度和指标,例如,票据数据中台120可将用户针对各类票据行为相应修改后的维度和指标作为各类票据行为各自对应的最终的维度和指标,由此能够确保用以供用户生成报表的各宽表的维度和指标都是业务人员等用户可以理解的维度和指标,该维度和指标还可具体通过以业务人员可理解的中文名称进行展现,使得业务和分析师使用起来没有障碍,配合BI报表定制,使得业务可以在没有开发人员的支持下独立完成报表生成等操作。
如上实施例中,对于各类宽表的维度和指标,以这些宽表中可包括的客户每周期汇总信息宽表和机构每周期汇总信息宽表为例进行说明:
其中,客户每周期汇总信息宽表具体可以是客户每日汇总信息宽表,客户每日汇总信息宽表是客户维度的指标表,将客户相关的指标纳入此表,每天加工票据系统中和客户相关的,例如:是否有贷户,当日签发金额(出票),当日办理银票承兑金额,当日签收金额(出票),当日背书金额,当日被背书金额,当日票据池入池托管金额,当日票据池入池质押金额,票据池入池托管余额,当日票据池质押融资金额,当日向我行贴现金额,当日向他行贴现金额,当日提示付款金额等指标。客户每日汇总信息宽表涵盖了客户各个维度各个时间段(当日/当月/当年)的统计信息,只要是客户维度的查询,业务只需要在选择对应的指标即可制作报表无需再为每一个需求开发一个功能模块。对于开发的报表如有需要调整,直接对其进行调整即可。其次客户每日汇总信息宽表是T-1批量加工生成的结果,业务定制时可直接选择需要的维度和指标,无需面对复杂的关联逻辑,业务查询时,系统不用再耗费时间计算,可以快速查到加工好的指标。
其中,机构每周期汇总信息宽表具体可以是机构每日汇总信息宽表,机构每日汇总信息宽表是机构维度的指标表,将机构相关的指标纳入此表,每天加工票据系统中和机构相关的,例如:汇总日期、机构代码、所属二级行、所属一级行、所属分部、贴现余额、转贴现余额、买入返售余额、卖出回购余额、再贴现余额、贴现交易量、转贴现买断交易量、转贴现买断交易量(系统外)、买入返售交易量、转贴现卖断交易量、转贴现卖断交易量(系统外)、卖出回购交易量、再贴现交易量、贴现客户数、转贴现买断交易客户数、转贴现买断交易客户数(系统外)、买入返售交易客户数、转贴现卖断交易客户数,转贴现卖断交易客户数(系统外)、卖出回购交易客户数、贴现笔数、转贴现买断笔数、转贴现买断笔数(系统外)、买入返售笔数、转贴现卖断笔数、转贴现卖断笔数(系统外)、卖出回购笔数、再贴现笔数、票据不良资产率、不良资产笔数、不良资产余额、逾期资产笔数、逾期资产金额、贴现年初至利息收入、贴现年初至价差收益、转贴现年初至利息收入、转贴现年初至价差收益、买入返售年初至利息收入、贴现年初至收益率、买入返售年初至收益率、办理银票承兑金额、签发金额(出票)、签收金额(出票)、背书金额、被背书金额、提示付款金额、票据池入池托管金额、票据池入池质押金额、票据池入池托管余额等。机构每日汇总信息宽表涵盖了机构各个维度各个时间段(当日/当月/当季/当年)的统计信息,只要是票据机构维度的指标查询,业务只需要选择对应的指标即可制作报表无需再为每一个需求开发一个功能模块。对于开发的报表如有需要调整,直接对其进行调整即可。其次客户每日汇总信息宽表是T-1批量加工生成的结果,业务定制时可直接选择需要的维度和指标,无需面对复杂的关联逻辑,业务查询时,系统不用再耗费时间计算,可以快速查到加工好的指标。
在整体上,本申请提供的票据数据的处理方法,实现和加强了票据数据中台的建设,持续沉淀可复用的数据能力,使数据在运营、营销、风控等方面为票据产品提供服务能力支撑,切实发挥数据赋能业务,促进业务发展的作用。具体的,本申请提供的方法可减少票据系统建设中的重复开发问题,提升票据业务需求的实现速度,且大数据的票据中台数据加工和存储方式,可一次性开发票据所有业务,根据各类票据行为将票据数据预先划分成多个宽表,业务人员后续可以在终端上基于已整合的多个宽表使用简单拖拽方式交工展示报表,无需再给开发提交需求,无需等待即可自行实现统计分析报表等功能,例如业务人员和数据分析师经常会有报表加工查询等需求,本申请可预先将几百张业务表根据票据行为整合成十几张宽表,把复杂的关联逻辑在宽表加工的批量中实现,使得业务人员和数据分析师不用面对几百张业务表和复杂逻辑,减少业务人员手工加工数据的耗时,查询速度也相对大幅提升,且各类宽表对应的都是业务人员可以理解的维度和指标,并且可以以业务人员可理解的中文名称展现,使其使用起来没有障碍,配合报表定制,使其可以在没有开发人员的支持下独立完成如报表制作、监管反馈、日常查询等功能。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的票据数据的处理方法的票据数据的处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个票据数据的处理装置实施例中的具体限定可以参见上文中对于票据数据的处理方法的限定,在此不再赘述。
在一个实施例中,如图5所示,提供了一种票据数据的处理装置,该装置可以应用于票据数据中台,该装置500可以包括:
数据导入模块501,用于将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;
宽表加工模块502,用于指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;
宽表提供模块503,用于接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
在一个实施例中,数据导入模块501,用于获取按照设定时间周期从所述票据系统导出的源票据数据;从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;将携带所述票据数据的增量文件发送至所述数据湖公有区。
在一个实施例中,数据导入模块501,用于生成所述增量文件对应的校验文件;将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
在一个实施例中,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
在一个实施例中,该装置500还可以包括:维度指标形成单元,用于对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
在一个实施例中,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
上述票据数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储票据数据、宽表等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种票据数据的处理方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取按照设定时间周期从所述票据系统导出的源票据数据;从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;将携带所述票据数据的增量文件发送至所述数据湖公有区。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:生成所述增量文件对应的校验文件;将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
在一个实施例中,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
在一个实施例中,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取按照设定时间周期从所述票据系统导出的源票据数据;从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;将携带所述票据数据的增量文件发送至所述数据湖公有区。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:生成所述增量文件对应的校验文件;将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
在一个实施例中,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
在一个实施例中,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取按照设定时间周期从所述票据系统导出的源票据数据;从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;将携带所述票据数据的增量文件发送至所述数据湖公有区。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:生成所述增量文件对应的校验文件;将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
在一个实施例中,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
在一个实施例中,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric RandomAccess Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
需要说明的是,本申请提供票据数据的处理方法和装置可用于金融领域的对票据的处理中,也可用于除金融领域之外的任意领域对票据的处理中,本申请提供的票据数据的处理方法和装置的应用领域不做限定。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种票据数据的处理方法,其特征在于,应用于票据数据中台,所述方法包括:
将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;
指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;
接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
2.根据权利要求1所述的方法,其特征在于,所述将票据系统存储的票据数据导入数据湖公有区,包括:
获取按照设定时间周期从所述票据系统导出的源票据数据;
从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件;
将携带所述票据数据的增量文件发送至所述数据湖公有区。
3.根据权利要求2所述的方法,其特征在于,
所述从所述源票据数据中获取当前时间条件下增量变动的票据数据并形成携带所述票据数据的增量文件之后,所述方法还包括:
生成所述增量文件对应的校验文件;
所述将携带所述票据数据的增量文件发送至所述数据湖公有区,包括:
将所述增量文件和校验文件发送至所述数据湖公有区,以使所述数据湖公有区接收到所述增量文件和校验文件后,利用所述校验文件校验所述增量文件,并在校验通过的情况下,将所述增量文件导入所述贴源数据表。
4.根据权利要求3所述的方法,其特征在于,所述校验文件记录所述增量文件的文件特征信息;所述数据湖公有区,还用于提取所接收的增量文件的文件特征信息作为待校验信息,若判断所述待校验信息与所接收的校验文件中记录的文件特征信息相一致,则确定校验通过。
5.根据权利要求1所述的方法,其特征在于,所述按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储之前,所述方法还包括:
对所述各类票据行为进行票据业务信息分析,获得所述各类票据行为各自对应的预定维度和预定指标;
将所述各类票据行为各自对应的预定维度和预定指标发送至所述终端;
基于所述终端反馈的针对所述各类票据行为各自对应的预定维度和预定指标的修正信息,形成所述各类票据行为各自对应的维度和指标。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述多个宽表包括:客户每周期汇总信息宽表、机构每周期汇总信息宽表、票据每周期买入交易明细宽表、票据每周期卖出交易明细宽表、票据每周期库存明细宽表、票据池业务明细宽表、票据背书交易明细宽表、票据每周期流转明细宽表、票据承兑明细宽表、票据提示付款宽表和票据质押明细宽表。
7.一种票据数据的处理装置,其特征在于,应用于票据数据中台,所述装置包括:
数据导入模块,用于将票据系统存储的票据数据导入数据湖公有区,以使所述数据湖公有区将所述票据数据加载到贴源数据表;
宽表加工模块,用于指示数据湖私有区待所述数据湖公有区将所述票据数据加载所述贴源数据表后,按照各类票据行为并基于相应预设的维度和指标将所述贴源数据表中包含的各票据信息表加工为多个宽表并存储;
宽表提供模块,用于接收到终端发送的报表生成请求时,向所述终端提供所述数据湖私有区存储的多个宽表,以供所述终端根据所述数据湖私有区存储的多个宽表生成用户所需报表。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111552086.5A CN114416725A (zh) | 2021-12-17 | 2021-12-17 | 票据数据处理方法、装置、设备、介质和计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111552086.5A CN114416725A (zh) | 2021-12-17 | 2021-12-17 | 票据数据处理方法、装置、设备、介质和计算机程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114416725A true CN114416725A (zh) | 2022-04-29 |
Family
ID=81267555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111552086.5A Pending CN114416725A (zh) | 2021-12-17 | 2021-12-17 | 票据数据处理方法、装置、设备、介质和计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114416725A (zh) |
-
2021
- 2021-12-17 CN CN202111552086.5A patent/CN114416725A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ackerberg et al. | Quantifying equilibrium network externalities in the ACH banking industry | |
US20060253351A1 (en) | Methods and systems for the management of insurance claims and property | |
US20030144938A1 (en) | Method and system for cash maximization | |
CN102203775A (zh) | 市场动态 | |
US8554645B1 (en) | Method and system for identifying business expenditures with vendors and automatically generating and submitting required forms | |
CN114331717B (zh) | 交易风险控制方法、装置、计算机设备和存储介质 | |
CN101414374A (zh) | 用于向销售者提供对选定消费者的访问的方法和系统 | |
CN114240611A (zh) | 业务数据准确性核算方法、装置、计算机设备和存储介质 | |
CN115311029A (zh) | 用于提高处理效率的开票管理方法、装置、设备及存储介质 | |
CN114626936A (zh) | 信贷业务数据处理方法、装置、计算机设备和存储介质 | |
CN114741402A (zh) | 业务特征池的处理方法、装置、计算机设备和存储介质 | |
CN110599082A (zh) | 经由中间流通商对接初始供应商和采购商的流通服务提供方法 | |
US20230418563A1 (en) | Dynamic application builder for multidimensional database environments | |
WO2024119789A1 (zh) | 款项发放方法、装置、计算机设备及可读存储介质 | |
TWI656490B (zh) | Method and data collection and distribution system for big data commodity customization and data provider separation, computer readable recording media and computer program products | |
CN114416725A (zh) | 票据数据处理方法、装置、设备、介质和计算机程序产品 | |
Huang et al. | A framework for analyzing the US coin supply chain | |
CN114897590A (zh) | 表单核对方法、装置、计算机设备和存储介质 | |
US20140156436A1 (en) | System and Method for Product Deployment and Management | |
US11550776B2 (en) | Double-record-keeping of app data at software platform for verification and feedback | |
CN114240610B (zh) | 资金自动归集方法、装置、计算机设备和存储介质 | |
WO2017209957A1 (en) | Transmission of messages based on the occurrence of workflow events and the output of propensity models identifying a future financial requirement | |
TWI664598B (zh) | Financial service method with point of sale terminal | |
CN114693354A (zh) | 计价方法、装置、计算机设备、存储介质和程序产品 | |
CN116091239A (zh) | 佣金发放方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |