CN115034905A - 一种适用于银行交易流水预警以及数据处置的方法、系统、终端设备及存储介质 - Google Patents

Abstract

本发明提供了一种适用于银行交易流水预警以及数据处置的方法、系统、终端设备及存储介质，涉及计算机系统领域，本发明通过设置交易监控，满足热点交易管理和消息通知的业务述求，本方法提供告警和处置策略配置，允许根据具体策略进行热点交易管理，比如进行存量交易归档与清理、交易削峰限流以及账户属性管控等，提高账户交易的灵活性和智能化管理，通过对于交易管控的方法，可以准确分析当前业务发展的热潮和后续发展方向，为新业务部署提供参考和基础指标数据。

Description

一种适用于银行交易流水预警以及数据处置的方法、系统、终 端设备及存储介质

技术领域

本发明涉及计算机系统领域，具体而言，涉及一种适用于银行交易流水预警以及数据处置的方法、系统、终端设备及存储介质。

背景技术

银行核心系统对外提供账户管理、理财支付、存款、贷款、会计核算等银行基础产品服务，存在大量的账务和清结算交易流水，随之会引发关于存储风险、高效查询以及数据归档等方面的治理。目前针对上述问题，业界主要从数据库系统选型、引入分布式数据库以及分库分表分区等方面进行优化。

现有技术方案，通过提升硬件存储性能、改善存储方式、优化库表分层等方面进行改造，只在短期内进行解决问题，存在账户交易管控不足。并且由于缺少监控和预警分析机制，造成运维人员不能及时了解系统存在的热点交易以及场景，错失治理最佳时机。

发明内容

本发明提供了一种银行交易流水预警以及数据处置方法，通过设置交易阈值和时间窗口大小，动态计算哪些账户存在热点交易，并且提供邮件提醒、热点记账以及归档存量交易记录。通过改方法提升对账户交易流水的组成分析与应急响应，提升系统监控稳定运行。

一种适用于银行交易流水预警以及数据处置的方法，具体步骤包括：

S01、银行账务系统进行记账处理，生成交易流水。

S02、通过流式任务监控账务流水。

S03、通过消息管道接入变更流水。

S04、监控组件按照账户+日期维度汇总流水。

S05、根据时间窗口以及阈值，进行交易累计。

S06、对于步骤S05汇总后，提取超过阈值线的账户、发布渠道以及产品属性，通过系统配置的告警用户，进行邮件或者短信提醒；并且自动生成账户属性代办流程以及数据归档操作流程，流程初始状态为待处理。

S07、异步操作，针对S06产生的数据流程，进行账户属性变动。

S08、异步操作，针对S07常熟的数据归档流程，进行数据备份以及制定清理策略。

进一步的：适用于银行交易流水预警以及数据处置的系统，包括：

汇总排序，负责将流式任务推送过来的流水，按照账户+交易日期的方式进行汇总，汇总时需要通过系统设置的时间窗口进行更新或者新增埋点账户，为后续决策模块进行阈值过滤。

决策模块，基于汇总模块提供的账户一定周期内的统计数据，进行账务流水数量计数统计，并且通过系统内设置的告警阈值，筛选出需要进行重点关注或者数据归档数量的账户。

归档模块，对账户的交易流水进行离线数仓备份，并且根据系统内配置的过期流水策略，动态生成存量流水的清理策略。归档模块可以生成系统内周期性的调度JOB，也可以在系统内部调用RPC或者消息通知目标系统，进行相关功能实现。

执行模块，根据系统内部配置的账户属性变动参数，对账户进行热点余额改造。同时可以在账户层增加热点治理标记，标识当前账户已经加入数据自动治理的计划之中。

告警模块，根据系统内配置的告警参数，通过部门以及业务场景等参考因素，自动检索对应的主管单位或者责任代表人，提醒关注当前账户的交易流水。

进一步的：所述告警模块支持进行短信、邮件以及回调网站进行任务通知。

进一步的：终端设备可以包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当终端设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。

进一步的：一种存储介质，该存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

本发明的有益效果：本发明通过设置交易监控，满足热点交易管理和消息通知的业务述求，本方法提供告警和处置策略配置，允许根据具体策略进行热点交易管理，比如进行存量交易归档与清理、交易削峰限流以及账户属性管控等，提高账户交易的灵活性和智能化管理，通过对于交易管控的方法，可以准确分析当前业务发展的热潮和后续发展方向，为新业务部署提供参考和基础指标数据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明方法的流程示意图；

图2示出了本发明系统的组成示意图；

图3示出了本发明终端设备的组成示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，本发明所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。还应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，还需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了本发明方法的步骤流程图。

本方法主要用于后台服务器处理，少量的基础参数需要由管理人员进行预先植入。方法具体如下步骤：

S01、银行账务系统进行记账处理，生成交易流水。一般交易流水中包含账户、账务日期、交易金额以及对手交易信息。一般地，交易信息保存在关系型数据库中，存储方式可以为单库或者分库分表进行存储。

S02、通过流式任务监控账务流水。监控的数据可能发生insert、update以及delete的操作，在本任务中主要进行监控insert操作。流式监控可以采用CDC对接kafkastream processor，采用基于binlog的任务去获取数据。流水入topic的策略可以基于账户进行路由，保证同账户的流水只在一个机器中进行处理。

S03、通过消息管道接入变更流水。该消息管道主要用于基于storm或者flink的事件处理引擎进行流入接口功能。

S04、监控组件按照账户+日期维度汇总流水。通过mapReduce分布式汇总方法，将汇总的任务发布在集群机器中。

S05:根据时间窗口以及阈值，进行交易累计。窗口越小，就能越快的发现变更。窗口越大，变更越平滑，但是延迟越严重。窗口可以设置为跳跃窗口，例如对客户3天的数据进行每3天统计；也可以设置重叠窗口，对客户3天的数据进行每天统计。阈值为系统内部设置的交易累计告警阈值，初始值由系统内置而成。阈值可以针对不同的场景和客户，进行区分设置。另外阈值也可以进行动态调整，例如不存在资源问题或者近期存在替代的产品或者交易，可以动态进行调增或者调减告警阈值。

S06、对于步骤S05汇总后，提取超过阈值线的账户、发布渠道以及产品属性，通过系统配置的告警用户，进行邮件或者短信提醒；并且自动生成账户属性代办流程以及数据归档操作流程，流程初始状态为待处理。账户代办流程主要审批是否给账户增加热点标记以及是否实行热点记账，如果流程审批通过并且确定上述操作，后台触发账户属性变动流程，流程结束后，更新当前流程状态为已处理；数据归档流程主要包括是否对数据进行离线数仓入库备份以及是否制定存量数据清理策略，数据入仓主要配置从备库抽取数据到HDFS数据库，存量数据清理策略主要用来制定清理的时间范围以及过滤条件。

S07、异步操作，针对S06产生的数据流程，进行账户属性变动。

S08、异步操作，针对S07常熟的数据归档流程，进行数据备份以及制定清理策略。其中数据清理策略可以配置为远程RPC任务，具体参数通过工作流程的变量传入；也可以为本地JOB，配置执行的周期以及最大清数条数。

如图2所示，适用于银行交易流水预警以及数据处置的系统，包括：

汇总排序，负责将流式任务推送过来的流水，按照账户+交易日期的方式进行汇总，汇总时需要通过系统设置的时间窗口进行更新或者新增埋点账户，为后续决策模块进行阈值过滤。

决策模块，基于汇总模块提供的账户一定周期内的统计数据，进行账务流水数量计数统计，并且通过系统内设置的告警阈值，筛选出需要进行重点关注或者数据归档数量的账户。

归档模块，对账户的交易流水进行离线数仓备份，并且根据系统内配置的过期流水策略，动态生成存量流水的清理策略。归档模块可以生成系统内周期性的调度JOB，也可以在系统内部调用RPC或者消息通知目标系统，进行相关功能实现。

执行模块，根据系统内部配置的账户属性变动参数，对账户进行热点余额改造。同时可以在账户层增加热点治理标记，标识当前账户已经加入数据自动治理的计划之中。

告警模块，根据系统内配置的告警参数，通过部门以及业务场景等参考因素，自动检索对应的主管单位或者责任代表人，提醒关注当前账户的交易流水。

告警模块，可以支持进行短信、邮件以及回调网站进行任务通知。

如图3所示，该终端设备6可以包括：处理器601、存储介质602和总线603，存储介质602存储有处理器601可执行的机器可读指令，当终端设备运行时，处理器601与存储介质602之间通过总线603通信，处理器601执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。具体实现方式和技术效果类似，在此不再赘述。

为了便于说明，在上述终端设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的终端设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。

以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种适用于银行交易流水预警以及数据处置的方法，其特征在于，包括以下步骤：

S01、银行账务系统进行记账处理，生成交易流水；

S02、通过流式任务监控账务流水；

S03、通过消息管道接入变更流水；

S04、监控组件按照账户+日期维度汇总流水；

S05、根据时间窗口以及阈值，进行交易累计；

S06、对于步骤S05汇总后，提取超过阈值线的账户、发布渠道以及产品属性，通过系统配置的告警用户，进行邮件或者短信提醒；并且自动生成账户属性代办流程以及数据归档操作流程，流程初始状态为待处理；

S07、异步操作，针对S06产生的数据流程，进行账户属性变动；

S08、异步操作，针对S07常熟的数据归档流程，进行数据备份以及制定清理策略。

2.根据权利要求1所述的方法，其特征在于，交易流水中包含账户、账务日期、交易金额以及对手交易信息，交易信息保存在关系型数据库中，存储方式可以为单库或者分库分表进行存储。

3.根据权利要求1所述的方法，其特征在于，流式监控采用基于binlog的任务去获取数据，流水入topic的策略基于账户进行路由。

4.根据权利要求1所述的方法，其特征在于，阈值为系统内部设置的交易累计告警阈值，初始值由系统内置而成。

5.根据权利要求1所述的方法，其特征在于，账户代办流程审批是否给账户增加热点标记以及是否实行热点记账，如果流程审批通过并且确定上述操作，后台触发账户属性变动流程，流程结束后，更新当前流程状态为已处理；数据归档流程主要包括是否对数据进行离线数仓入库备份以及是否制定存量数据清理策略，数据入仓主要配置从备库抽取数据到HDFS数据库，存量数据清理策略主要用来制定清理的时间范围以及过滤条件。

6.根据权利要求1所述的方法，其特征在于，数据清理策略可以配置为远程RPC任务，具体参数通过工作流程的变量传入。

7.一种适用于银行交易流水预警以及数据处置的系统，其特征在于，包括：

汇总排序，负责将流式任务推送过来的流水，按照账户+交易日期的方式进行汇总，汇总时需要通过系统设置的时间窗口进行更新或者新增埋点账户，为后续决策模块进行阈值过滤；

决策模块，基于汇总模块提供的账户一定周期内的统计数据，进行账务流水数量计数统计，并且通过系统内设置的告警阈值，筛选出需要进行重点关注或者数据归档数量的账户；

归档模块，对账户的交易流水进行离线数仓备份，并且根据系统内配置的过期流水策略，动态生成存量流水的清理策略；

执行模块，根据系统内部配置的账户属性变动参数，对账户进行热点余额改造；

告警模块，根据系统内配置的告警参数，通过部门以及业务场景等参考因素，自动检索对应的主管单位或者责任代表人，提醒关注当前账户的交易流水。

8.一种终端设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述终端设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至6任一项所述的方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的方法的步骤。

Images