CN114579555B

CN114579555B - 一种基于7×24小时的实时数据校准方法及系统

Info

Publication number: CN114579555B
Application number: CN202210477601.6A
Authority: CN
Inventors: 陈帆; 陈景荣; 何良玉; 林锋; 罗烨敏; 曾乔乔; 詹军; 张嘉辉
Original assignee: Meizhou Merchants Bank Co ltd
Current assignee: Meizhou Merchants Bank Co ltd
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2022-07-15
Anticipated expiration: 2042-04-28
Also published as: CN114579555A

Abstract

本发明公开一种基于7×24小时的实时数据校准方法，包括：基于核心业务系统T‑1日总账批量确定实时数据校准的时间段；基于时间段确定日终批量空隙，日终批量空隙为时间段的间隔；在大数据平台上部署7×24小时校准程序以及实时预警平台，并且在日终批量空隙内进行数据校准的两次基准更新获得两个基准值，两个基准值分别是时间段的起点的“T‑1日流数据余额”和时间段的结束时间的“T‑1日总账余额”；异步比对两个基准值，计算出两个基准值的差值，并根据差值由大数据平台进行进一步的处理获得实时数据校准结果。还公开了对应的系统、电子设备，用于银行提高流数据的自动化校准能力，降低运营成本。

Description

一种基于7×24小时的实时数据校准方法及系统

技术领域

本发明涉及银行金融行业大数据以及计算机技术领域，尤其涉及一种基于7×24小时的实时数据校准方法及系统。

背景技术

目前，银行掌握的实时统计数据是在T-1日的数据基础上合并计算T日实时新增数据。业务方面，为了统计银行实时的存贷款余额，以核心业务系统T-1日总账余额作为基准，实时合并计算T日新增存贷款业务流水数据；技术方面，通过流数据和批数据两套技术平台实现，流数据技术栈是基于实时数据库采集工具、消息队列以及Flink实现，批数据技术栈是基于大数据平台以及调度工具实现。但是，现有的业务和技术模式存在以下问题：

（1）无法提供7×24小时服务，0:00-0:40的批量运行时间无法对外提供实时统计数据，原因是0:00点自然日切换会导致T日变化，原T-1总账余额变为T-2总账余额，无法作为新的T日基准，需要等待上游核心业务系统完成日终（0:40），生成新的T-1日总账余额作为基准。

（2）无法保障T日日间流数据的准确性，对于引起存贷款变化的交易流水数据，如果工具或网络出现卡包或者丢包情况，在日间难以及时发现。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案，一种基于7×24小时的实时数据校准方法和系统，用于银行提高流数据的自动化校准能力，降低运营成本，银行大数据平台基于7×24小时的实时数据校准方法，主要是利用日终批量空隙进行两次基准更新的方法；同时实现流数据的自动化校准的方法，包括校准程序脚本、实时预警对差错的展现和处理的方法。

本发明一方面提供了一种基于7×24小时的实时数据校准方法，在实时数据校准系统内实现，所述实时数据校准系统包括大数据平台，实时数据校准方法包括：

S1，基于核心业务系统T-1日总账批量确定所述实时数据校准的时间段，所述时间段的起点为每天0:00，所述时间段的结束时间为核心业务系统T-1日总账批量结束时间；

S2，基于所述时间段确定日终批量空隙，所述日终批量空隙为时间段的间隔；

S3，在所述大数据平台上部署7×24小时校准程序以及实时预警平台，并且在所述日终批量空隙内进行所述数据校准的两次基准更新获得两个基准值，所述两个基准值分别是所述时间段的起点的“T-1日流数据余额”和所述时间段的结束时间的“T-1日总账余额”；

S4，异步比对两个基准值，计算出两个基准值的差值，并根据所述差值由所述大数据平台进行进一步的处理获得实时数据校准结果。

进一步的，所述S3包括：

S31，所述7×24小时校准程序的运行时间根据所述实时数据校准的时间段确定；所述实时预警平台为大数据平台独立的预警模块，通过接收HTTPS协议的JSON报文接口展示预警信息并发送短信，所述实时预警平台的前端设置页面，支持差错处理以回传大数据平台指令重跑调度任务；

S32，0:00自然日切换后，启动所述7×24小时校准程序，取“T-1日流数据余额”作为新的T日基准，并实时合并计算T日新增存贷款业务流水数据；

S33，校准程序实时监控核心业务系统T-1日总账批量完成状态，0:40获得“T-1日总账余额”，替换为新的T日基准后，实时合并计算T日新增存贷款业务流水数据。

进一步地，所述S32包括：

S321，校准程序0:00准时启动，大数据平台回流实时计算“T-1日流数据余额”，插入“实时校准表”，作为第一次基准值；

S322，实时计算平台从所述“实时校准表”中获取交易时间最大的一笔“预计时点余额”作为新的T日基准，合并T日新增存贷款业务流数据，将结果展示在数据应用平台。

进一步地，所述S33包括：

S331，基于所述大数据平台的调度监控机制，通过大数据平台的调度系统配置循环执行的数据库扫描脚本，所述数据库扫描脚本每隔30s查询一次核心系统的日终翻牌表，等待所述日终翻牌表生成一条新的数据，所述新的数据包括字段，分别为数据日期和状态，当所述数据日期为T日且所述状态为已完成，即可认为核心系统完成日终批量；

S332，当核心系统完成日终批量后，基于所述大数据平台的数据集成机制抽取数据，将“T-1日总账余额”插入所述“实时校准表”，作为第二次基准值；

S333，实时计算平台从所述“实时校准表”获取交易时间最大的一笔“预计时点余额”作为新的T日基准，合并T日新增存贷款业务流数据，将最终结果在报表平台的“大额变动表”进行展示。

进一步地，所述S4所述异步比对两个基准值由7×24小时校准程序执行，所述S4的所述进一步的处理包括：

S41，如果所述差值超过阈值，则将超过阈值的信息推送实时预警平台，并发送短信通知大数据平台负责人、开发人员和应用运维值班人员；

S42，所述实时预警平台提供差错处理入口，并通过所述差错处理入口将差错处理指令发送到所述大数据平台；

S43，大数据平台接收到实时预警平台差错请求，根据所述差错请求内的差错处理类型完成差错处理，并将所述差错处理的处理结果反馈给所述实时预警平台。

S44，所述实时预警平台接收所述差错处理的处理结果并将所述处理结果进行统一展示。

进一步地，所述S41包括：

S411，基于所述大数据平台的调度监控机制，在所述S332完成后触发异步差异比对脚本以进行所述异步比对，以0:00时间节点的“T-1日流数据余额”减去0:40时间节点的“T-1日总账余额”，作为所述差值的绝对值插入“实时预警表”；

S412，基于所述大数据平台的调度监控机制，监控所述“实时预警表”中的“是否预警”字段，如果所述“是否预警”字段为“是”，则以报文接口的形式为实时预警平台提供差错查询接口服务，并展示所有的当日需要处理的差错信息，所述差错信息包含要素有：对账系统、付款账户、付款账户名称、收款账户、差错处理状态、差错处理信息，同步通过报文接口的形式调用短信平台发送短信通知干系人。

进一步地，所述S43包括：

若指令为“重跑”，大数据平台对所述T日新增存贷款业务流水数据产生的账务进行重跑处理，同时更新“实时校准表”所述差错信息的基准值、比对值、差异值，差错处理状态为“已重跑”状态；

若指令为“忽略”，大数据平台对更新“实时校准表”中所述T日新增存贷款业务流水数据的差错信息置为“忽略”。

本发明的第二方面，提供一种基于7×24小时的实时数据校准系统，包括硬件系统以及软件模块，其中所述硬件系统包括大数据平台，所述软件模块包括：

时间段确定模块，用于基于核心业务系统T-1日总账批量确定所述实时数据校准的时间段，所述时间段的起点为每天0:00，所述时间段的结束时间为核心业务系统T-1日总账批量结束时间；

间隔确定模块，用于基于所述时间段确定日终批量空隙，所述日终批量空隙为时间段的间隔；

双基准值确定模块，用于在所述大数据平台上部署7×24小时校准程序以及实时预警平台，并且在所述日终批量空隙内进行所述数据校准的两次基准更新获得两个基准值，所述两个基准值分别是所述时间段的起点的“T-1日流数据余额”和所述时间段的结束时间的“T-1日总账余额”；

实时数据校准模块，异步比对两个基准值，计算出两个基准值的差值，并根据所述差值由所述大数据平台进行进一步的处理获得实时数据校准结果。

本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的校准方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的校准方法。

本发明提供的基于7×24小时的实时数据校准方法、系统和电子设备，具有如下有益效果：

包含自然日切换后基准值的更新和T日日间流数据的准确性校准两部分，第一是避免了业务系统与大数据平台之间每日日终批量时差所造成的服务停机；第二是可以及时掌握流数据及程序的准确性，如出现流数据丢包、程序异常中断或实时计算错误，业务人员和数据分析人员能够通过实时预警平台或短信及时知晓当前数据的差异值，确保银行能够7×24小时掌握全行存贷数据；第三是提高运营效率，减少差错处理时间。

附图说明

图1为根据本发明优选实施例的基于7×24小时的实时数据校准方法的流程图。

图2为根据本发明优选实施例的基于7×24小时的实时数据校准系统结构图。

图3为根据本发明优选实施例的基于7×24小时的实时数据校准方法数据流向以及校准程序的应用设计图。

图4为本发明提供的电子设备的一种实施例的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。

处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。

显示屏用于显示各个应用程序的用户界面。

除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。

实施例一

如图1所示，本实施例提供一种基于7×24小时的实时数据校准方法，在实时数据校准系统内实现，所述实时数据校准系统包括大数据平台，实时数据校准方法包括：

S3，在所述大数据平台上部署7×24小时校准程序以及实时预警平台，并且在所述日终批量空隙内进行所述数据校准的两次基准更新获得两个基准值，所述两个基准值分别是所述时间段的起点的“T-1日流数据余额”和所述时间段的结束时间的“T-1日总账余额”；本实施例所述两个基准值分别是0:00时间节点的“T-1日流数据余额”和0:40时间节点的“T-1日总账余额”；

进一步的，所述S3包括：

S31，所述7×24小时校准程序的运行时间根据所述实时数据校准的时间段确定，本实施例的运行时间为每天0:00-0:40（具体结束时间以核心业务系统T-1日总账批量为准）；所述实时预警平台为大数据平台独立的预警模块，通过接收HTTPS协议的JSON报文接口展示预警信息并发送短信，所述实时预警平台的前端设置页面，支持差错处理以回传大数据平台指令重跑调度任务；

进一步地，所述S4所述异步比对两个基准值由7×24小时校准程序执行。

进一步地，所述S4的所述进一步的处理包括：

进一步地，所述S31还包括：将核心业务系统、大数据平台、驾驶舱等数据应用平台系统服务器时钟同步，确保所有数据应用平台系统服务器能够在同一时间切换自然日时间。

进一步地，所述S32包括：

S321，校准程序0:00准时启动，大数据平台回流实时计算“T-1日流数据余额”，插入“实时校准表”，作为第一次基准值；其中回流“实时校准表”包含要素有：业务日期、交易时间、业务类型、业务品种、当日合计出款、当日合计入款、当日轧差、预计时点余额、单位、数据日期、数据时间等信息；

S322，实时计算平台从所述“实时校准表”中获取交易时间最大的一笔“预计时点余额”作为新的T日基准，合并T日新增存贷款业务流数据，将结果展示在驾驶舱等数据应用平台。

进一步地，所述S33包括：

S331，基于所述大数据平台的调度监控机制，通过大数据平台的调度系统配置循环执行的数据库扫描脚本，所述数据库扫描脚本每隔30s查询一次核心系统的日终翻牌表，等待所述日终翻牌表生成一条新的数据，所述新的数据包括两个重要字段，分别为数据日期和状态，当所述数据日期为T日且所述状态为已完成，即可认为核心系统完成日终批量；

进一步地，所述S41包括：

S411，基于所述大数据平台的调度监控机制，在所述S332完成后触发异步差异比对脚本以进行所述异步比对，以0:00时间节点的“T-1日流数据余额”减去0:40时间节点的“T-1日总账余额”，作为所述差值的绝对值插入“实时预警表”，所述“实时预警表”包含要素有：业务日期、监控规则、数据日期、基准值、比对值、差异值、阈值、是否预警、数据时间、差错处理状态、差错处理信息；

S412，基于所述大数据平台的调度监控机制，监控所述“实时预警表”中的“是否预警”字段，如果所述“是否预警”字段为“是”，则以报文接口的形式为实时预警平台提供差错查询接口服务，并展示所有的当日需要处理的差错信息，所述差错信息包含要素有：对账系统、付款账户、付款账户名称、收款账户、差错处理状态、差错处理信息（重跑、忽略），同步通过报文接口的形式调用短信平台发送短信通知干系人，干系人包括大数据平台负责人、开发人员和应用运维值班人员。

进一步地，所述S42包括：实时预警平台提供差错处理入口，将差错处理指令发送到大数据平台；具体为实时预警平台通过报文接口的形式将指令发送到对应的大数据平台，大数据平台根据指令进行差错处理。

进一步地，所述S43包括：

若指令为“重跑”，大数据平台对T日新增存贷款业务流水数据产生的账务进行重跑处理，同时更新“实时校准表”差错信息的基准值、比对值、差异值，差错处理状态为“已重跑”状态；

实施例二

如图2所示，本实施例提供一种基于7×24小时的实时数据校准系统，包括硬件系统以及软件模块，其中所述硬件系统包括大数据平台101，所述软件模块包括：

时间段确定模块102，用于基于核心业务系统T-1日总账批量确定所述实时数据校准的时间段，所述时间段的起点为每天0:00，所述时间段的结束时间为核心业务系统T-1日总账批量结束时间；

间隔确定模块103，用于基于所述时间段确定日终批量空隙，所述日终批量空隙为时间段的间隔；

双基准值确定模块104，用于在所述大数据平台上部署7×24小时校准程序以及实时预警平台，并且在所述日终批量空隙内进行所述数据校准的两次基准更新获得两个基准值，所述两个基准值分别是所述时间段的起点的“T-1日流数据余额”和所述时间段的结束时间的“T-1日总账余额”；本实施例所述两个基准值分别是0:00时间节点的“T-1日流数据余额”和0:40时间节点的“T-1日总账余额”；

实时数据校准模块105，异步比对两个基准值，计算出两个基准值的差值，并根据所述差值由所述大数据平台进行进一步的处理获得实时数据校准结果。

该系统可实现上述实施例一提供的校准方法，具体的控制方法可参见实施例一中的描述，在此不再赘述。

如图3所示，上半部分为实时的数据流向图，下半部分为本发明校准程序的应用设计图，包含了基准计算、差异比对和阈值预警三大模块。图3展示了校准程序应用步骤，实现了7×24小时的实时数据校准。

本发明还提供了一种存储器，存储有多条指令，指令用于实现如实施例一的方法。

如图4所示，本发明还提供了一种电子设备，包括处理器301和与处理器301连接的存储器302，存储器302存储有多条指令，指令可被处理器加载并执行，以使处理器能够执行如实施例一的方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于7×24小时的实时数据校准方法，在实时数据校准系统内实现，所述实时数据校准系统包括大数据平台，其特征在于，实时数据校准方法包括：

S4，异步比对两个基准值，计算出两个基准值的差值，并根据所述差值由所述大数据平台进行进一步的处理获得实时数据校准结果；

所述S3包括：

S33，校准程序实时监控核心业务系统T-1日总账批量完成状态，0:40获得“T-1日总账余额”，替换为新的T日基准后，实时合并计算T日新增存贷款业务流水数据；

所述S32包括：

2.根据权利要求1所述的一种基于7×24小时的实时数据校准方法，其特征在于，所述S33包括：

3.根据权利要求2所述的一种基于7×24小时的实时数据校准方法，其特征在于，所述S4所述异步比对两个基准值由7×24小时校准程序执行，所述S4的所述进一步的处理包括：

S43，大数据平台接收到实时预警平台差错请求，根据所述差错请求内的差错处理类型完成差错处理，并将所述差错处理的处理结果反馈给所述实时预警平台；

4.根据权利要求3所述的一种基于7×24小时的实时数据校准方法，其特征在于，所述S41包括：

5.根据权利要求3所述的一种基于7×24小时的实时数据校准方法，其特征在于，所述S43包括：

6.一种基于7×24小时的实时数据校准系统，用于执行权利要求1-5任一所述的基于7×24小时的实时数据校准方法，其特征在于，包括硬件系统以及软件模块，其中所述硬件系统包括大数据平台，所述软件模块包括：

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-5任一所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-5任一所述的方法。