CN109960629A - 对支付系统业务量实时监控的方法和装置 - Google Patents

Abstract

本发明提供了一种对支付系统业务量实时监控的方法和装置，该方法包括：接收支付系统交易数据，确定增量数据；对增量数据进行分布式处理；对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。本发明通过对新增记录且交易成功的增量数据进行实时监控，能够解决了现有业务监控系统时效性差问题，使得数据处理响应时间缩短，平均处理延迟变小，能够满足生产系统并发业务处理和实时统计的需求。

Description

对支付系统业务量实时监控的方法和装置

技术领域

本发明涉及数据监控领域，尤其涉及一种对支付系统业务量实时监控的方法和装置。

背景技术

数据库业务量是大部分支付系统应用的核心和瓶颈，对其监控尤为必要，而目前支付系统采用自主研发的支付业务监控系统对大额支付系统、小额支付系统和网银支付系统业务量进行监控。该系统通过定时触发器的方式从数据库中获取数据进行展示，业务监控延迟较高，业务人员反馈不能很好的满足业务实时监控的需求，同时前端展示界面设计复杂，不够友好。在这个背景下，如何在大数据平台上利用目前主流的实时计算技术，解决现有业务监控系统时效性差，成为了急需解决的问题。

发明内容

为了提高业务监控时效，满足业务实时监控的需求，本发明提供了一种对支付系统业务量实时监控的方法和装置。

第一方面，本发明提供一种对支付系统业务量实时监控的方法，所述方法包括：

接收支付系统交易数据，确定增量数据；

对所述增量数据进行分布式处理；

对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

第二方面，本发明提供一种对支付系统业务量实时监控和展示的装置，所述装置包括：

接收模块，用于接收支付系统交易数据，确定增量数据；

分布式计算模块，用于对所述增量数据进行分布式处理；

实时监控模块，用于对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面提供的对支付系统业务量实时监控的方法的步骤。

第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面提供的对支付系统业务量实时监控的方法的步骤。

本发明通过对新增记录且交易成功的增量数据进行实时监控，能够解决了现有业务监控系统时效性差问题，使得数据处理响应时间缩短，平均处理延迟变小，能够满足生产系统并发业务处理和实时统计的需求。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的对支付系统业务量实时监控的方法的流程示意图；

图2为本发明实施例提供的对支付系统业务量实时监控的整体框架流程图；

图3为本发明实施例提供的对支付系统业务量实时监控的装置的框图；

图4为本发明实施例提供的电子设备框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前支付系统采用自主研发的支付业务监控系统对大额支付系统、小额支付系统和网银支付系统业务量进行监控。该系统通过定时触发器的方式从数据库中获取数据进行展示，业务监控延迟较高，业务人员反馈不能很好地满足业务实时监控的需求。为了解决上述问题，本发明提供一种对支付系统业务量实时监控的方法和装置。如图1所示，图1为本发明实施例提供的对支付系统业务量实时监控的方法的流程示意图，图中该方法包括：

步骤101，接收支付系统交易数据，确定增量数据。

具体为，将当前支付系统的所有交易数据存储在Oracle数据库中，其中Oracle数据库是以分布式数据库为核心的一组软件产品，具有高效率、可靠性好、适应高吞吐量的特点。在Oracle数据库包含支付系统交易数据的增量数据，其中，增量数据是指在每次交易完成后新增的数据。

步骤102，对增量数据进行分布式处理。

具体为，为提高对数据的处理速度，本发明实施例采用分布式运算的体系架构。在这里，进行分布式处理的对象是支付系统交易数据的增量数据。

步骤103，对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

具体为，根据分布式运算对增量数据进行处理后，对处理后的数据进行实时监控，其中本发明实施例的实时监控是指，监控增量数据是否为新增记录，若是新增记录，则监控该新增记录是否交易成功，并将交易成功的增量数据确定为实时监控的数据。

本发明实施例通过对新增记录且交易成功的增量数据进行实时监控，能够解决了现有业务监控系统时效性差问题，使得数据处理响应时间缩短，平均处理延迟变小，能够满足生产系统并发业务处理和实时统计的需求。

基于上述实施例的内容，作为一种可选实施例：还包括：

将新增记录且交易成功的增量数据对应的交易信息进行汇总，存储于数据库；

利用WEB技术实时展示数据库中的数据。

具体为，在得到新增记录且交易成功的增量数据后，分别按照处理时间、发起行、接收行、业务类型、地区等维度对当前发生的交易的金额和笔数进行汇总计算。例如：处理时间为2019年3月5日13:00，A银行(发起行)向B银行(接收行)发起业务类型为汇款的请求，每次汇款的交易金额为100万元，共交易3次，其中发起请求的地区为H市。

将上述所有汇总结果放入分布式内存数据库Redis中，用于前端WEB技术实时展现数据库中的数据。而当天业务终止后，通过定时调起定制化程序将当天汇总的业务量和金额统计数据结果持久化到Hbase进行保存。其中，在前端展示方面，利用Redis高效的性能和Hbase的扩展性保存了全系统所有的交易量明细数据，结合Redis API、Hbase API和银清科技开发Java Web框架(简称CJDP3.1)编写用于数据交互接口，主要体现在请求/响应json格式数据；用户端Web页面使用Bootstrap组件进行页面整体布局，ECharts组件为表现数据提供具体的容器和定制化表现形式，如柱形图表现TOPN排名，中国地图表现各个城市处理中心的业务处理量；使用原生Javascript定时函数setInterval来主动获取服务端数据，并更新页面数据。为用户提供了较直观、立体、实时的动态展示效果，用户还可以选择不同的展示维度，如选择月、日来查看按月、按日的统计数据，选择秒来查看当前交易系统的准实时交易量变化。同时，用户还可以根据需要调整数据展示主题色等。

本发明实施例简化了前端页面展示复杂度，提高用户观感，提升友好度，采取多样的展示插件来直观描述支付系统业务量变化。

基于上述实施例的内容，作为一种可选实施例：对增量数据进行分布式处理包括：

利用OGG组件实时抽取增量数据，得到抽取后的数据；

将抽取后的数据转换为报文格式放入消息队列；

对放入消息队列的数据进行实时流式分布式计算。

具体为，在本发明实施例中，使用OGG组件实时抽取Oracle中的增量数据，得到抽取后的数据。其中，OGG是一种基于日志的结构化数据复制备份软件，它通过解析在线日志或归档日志获得数据的增量变化。在Oracle端配置OGG的抽取进程，将抽取的数据以bin-log的方式进行存储和传输；之后对抽取后的数据转换为报文json格式，放入消息队列如Kafka中，应用Spark Streaming程序对放入消息队列Kafka的数据进行实时流式分布式计算。其中分布式计算分为批量处理和流式处理，在本发明实施例中为了体现实时性，使用实时流式分布式计算消息队列Kafka中的数据。

本发明实施例通过对获取的数据后进行实时流式计算处理，达到快速计算，提高效率的效果。

基于上述实施例的内容，作为一种可选实施例：对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据包括：

判断分布式处理后的增量数据的op_type字节是否为I，确定op_type字节为I的增量数据为新增记录；

判断新增记录的交易字段是否满足预设条件，确定满足预设条件的交易字段为新增记录且交易成功的增量数据。

具体为，判断分布式处理后的增量数据中的op_type字节是否为I，即若出现“op_type＝I”，则表示当前数据为新增的记录，进行后续统计处理，否则丢弃该消息。在确定得到新增记录后，判断该新增记录中的交易字段是否满足预设条件，其中预设条件可以为某字段等于预设数值，比如：判断“PROCSTAT”字段，是否为“PRO3”。若满足该条件，表示这笔交易处理成功，否则不做处理。

本发明实施例通过对增量数据进一步判断，得到的增量数据既需要满足是新增记录，又要符合交易成功的条件，这样减少每次请求的数据处理量，加快响应速度。

基于上述实施例的内容，作为一种可选实施例：如图2所示，图2为本发明实施例提供的对支付系统业务量实时监控的整体框架流程图。本发明实施例的具体流程为：Oracle汇聚了当前支付系统所有交易数据的数据库。使用OGG组件实时抽取Oracle中的增量数据。在Oracle端配置OGG的抽取进程，将抽取的数据以bin-log的方式进行存储和传输，在Kafka的生产者端配置OGG的读取进程，把数据转换成json格式送入消息队列Kafka中。SparkStreaming程序作为Kafka的消费者端，获取数据后进行实时流式计算处理，首先判断每条消息的“op_type”字段，如果为“I”表示新增的记录则进行后续统计处理，否则丢弃该消息。接下来判断“PROCSTAT”字段，如果为“PRO3”，表示这笔交易处理成功，否则不做处理。对交易成功的字段再分别按照处理时间、发起行、接收行、业务类型、地区等维度对当前发生的交易的金额和笔数进行汇总计算。计算结果放入分布式内存数据库Redis中用于前端实时展现。当天业务终止通过定时调起定制化程序将当天汇总的业务量和金额统计数据结果持久化到Hbase进行保存。

根据本发明的另一个方面，本发明实施例还提供一种对支付系统业务量实时监控的装置，参见图3，图3为本发明实施例提供的对支付系统业务量实时监控的装置的框图。该装置用于在前述各实施例中进行支付系统业务量实时监控。因此，在前述各实施例中的支付系统业务量实时监控方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。

如图所示，该装置包括：

接收模块301，用于接收支付系统交易数据，确定增量数据；

分布式计算模块302，用于对增量数据进行分布式处理；

实时监控模块303，用于对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

本发明实施例通过对新增记录且交易成功的增量数据进行实时监控，能够解决了现有业务监控系统时效性差问题，使得数据处理响应时间缩短，平均处理延迟变小，能够满足生产系统并发业务处理和实时统计的需求。

基于上述实施例的内容，作为一种可选实施例：还包括：

存储模块，用于将新增记录且交易成功的增量数据对应的交易信息进行汇总，存储于数据库；

展示模块，用于利用WEB技术实时展示数据库中的数据。

本发明实施例简化了前端页面展示复杂度，提高用户观感，提升友好度，采取多样的展示插件来直观描述支付系统业务量变化。

基于上述实施例的内容，作为一种可选实施例：分布式计算模块包括：

OGG组件实时抽取单元，用于利用OGG组件实时抽取增量数据，得到抽取后的数据；

转换单元，用于将抽取后的数据转换为报文格式放入消息队列；

实时流式分布式计算单元，用于对放入消息队列的数据进行实时流式分布式计算。

本发明实施例通过对获取的数据后进行实时流式计算处理，达到快速计算，提高效率的效果。

基于上述实施例的内容，作为一种可选实施例：实时监控模块包括：

新增记录确定单元，判断分布式处理后的增量数据的op_type字节是否为I，确定op_type字节为I的增量数据为新增记录；

交易成功确定单元，用于判断新增记录的交易字段是否满足预设条件，确定满足预设条件的交易字段为新增记录且交易成功的增量数据。

本发明实施例通过对增量数据进一步判断，得到既满足是新增记录又符合交易成功的数据，这样减少每次请求的数据处理量，加快响应速度。

图4为本发明实施例提供的电子设备框图，如图4所示，该设备包括：处理器401、存储器402和总线403；

其中，处理器401及存储402分别通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行上述实施例所提供的对支付系统业务量实时监控的方法，例如包括：接收支付系统交易数据，确定增量数据；对增量数据进行分布式处理；对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现对支付系统业务量实时监控方法的步骤。例如包括：接收支付系统交易数据，确定增量数据；对增量数据进行分布式处理；对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后，本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种对支付系统业务量实时监控的方法，其特征在于，所述方法包括：

接收支付系统交易数据，确定增量数据；

对所述增量数据进行分布式处理；

对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述新增记录且交易成功的增量数据对应的交易信息进行汇总，存储于数据库；

利用WEB技术实时展示数据库中的数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述增量数据进行分布式处理包括：

利用OGG组件实时抽取所述增量数据，得到抽取后的数据；

将所述抽取后的数据转换为报文格式放入消息队列；

对放入消息队列的数据进行实时流式分布式计算。

4.根据权利要求1所述的方法，其特征在于，所述对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据包括：

判断分布式处理后的增量数据的op_type字节是否为I，确定op_type字节为I的增量数据为新增记录；

判断新增记录的交易字段是否满足预设条件，确定满足预设条件的交易字段为新增记录且交易成功的增量数据。

5.一种对支付系统业务量实时监控的装置，其特征在于，所述装置包括：

接收模块，用于接收支付系统交易数据，确定增量数据；

分布式计算模块，用于对所述增量数据进行分布式处理；

实时监控模块，用于对分布式处理后的增量数据实时监控，确定新增记录且交易成功的增量数据。

6.根据权利要求5所述的装置，其特征在于，还包括：

存储模块，用于将所述新增记录且交易成功的增量数据对应的交易信息进行汇总，存储于数据库；

展示模块，用于利用WEB技术实时展示数据库中的数据。

7.根据权利要求5所述的装置，其特征在于，所述分布式计算模块包括：

OGG组件实时抽取单元，用于利用OGG组件实时抽取所述增量数据，得到抽取后的数据；

转换单元，用于将所述抽取后的数据转换为报文格式放入消息队列；

实时流式分布式计算单元，用于对放入消息队列的数据进行实时流式分布式计算。

8.根据权利要求5所述的装置，其特征在于，所述实时监控模块包括：

新增记录确定单元，用于判断分布式处理后的增量数据的op_type字节是否为I，确定op_type字节为I的增量数据为新增记录；

交易成功确定单元，用于判断新增记录的交易字段是否满足预设条件，确定满足预设条件的交易字段为新增记录且交易成功的增量数据。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述对支付系统业务量实时监控的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述对支付系统业务量实时监控的方法的步骤。