CN111741007B - 一种基于网络层报文解析的金融业务实时监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于网络层报文解析的金融业务实时监控系统及方法,所述系统包括网络报文解析子系统和业务监控子系统；所述网络报文解析子系统包括：报文获取模块、报文分发模块、报文处理模块和规则服务器；所述业务监控子系统包括：业务信息统计模块，用于根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；事件触发模块，用于设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；事件推送模块，用于接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。本发明压缩了从网络层到应用层的时耗，有效提高了金融业务监控的实时性。

Description

一种基于网络层报文解析的金融业务实时监控系统及方法

技术领域

本发明涉及金融业务监控，特别是涉及一种基于网络层报文解析的金融业务实时监控系统及方法。

背景技术

大数据的实时应用越来越多，包括在实时风控、客户发现、精准营销、业务监控等领域。怎样尽可能的提升实时的时效，能在秒级毫秒级的范围内完成计算及分析是大家关心的问题。

在金融领域，常常需要对金融业务数据进行实时监控，但是，就目前而言，目前大部分金融数据都是基于应用的处理，包括从业务系统的数据库做实时抽取或者DSG/OGG等数据库同步技术或者日志同步技术，这些都是在应用层实现。从网络层到应用层的转换还是会有时间损耗。这就使得在进行金融业务信息解析、统计、和检测时会出现不及时的情况，进而影响推送和监控的实时性，对金融业务的实时监控带来了诸多不便。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于网络层报文解析的金融业务实时监控系统及方法，压缩了从网络层到应用层的时耗，并基于报文处理进行金融业务信息的解析、统计、检测和推送，有效提高了金融业务监控的实时性。

本发明的目的是通过以下技术方案来实现的：一种基于网络层报文解析的金融业务实时监控系统，包括网络报文解析子系统和业务监控子系统；

所述网络报文解析子系统包括：

报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；

报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装，并将组装得到的报文传输给业务监控子系统；

规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则；

所述业务监控子系统包括：

业务信息统计模块，用于根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

事件触发模块，用于设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；

事件推送模块，用于接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。

优选地，所述业务信息统计模块统计的业务信息包括交易成功率、连续交易失败笔数和未有交易的持续时间。

所述事件触发模块包括：

规则引擎，用于设定事件的触发规则，所述触发规则包括但不限于:连续交易失败笔数超过设定阈值、连续未有交易的持续时间超过设定阈值、以及成功率低于设定阈值；

业务信息检测单元，用于利用事件的触发规则，对统计的业务信息进行检测，并在满足触发规则时，将对应的业务信息传输给事件推送模块。

所述事件推送模块包括：

业务信息过滤单元，用于预设的业务信息过滤规则，对接收到的业务信息进行过滤；

业务信息合并单元，用于对过滤后的相同业务信息进行合并;在不同触发规则下对应于相同的业务信息时，事件推送模块就会接收到多个相同的业务信息，故需要进行合并；

优先级排序单元，用于根据预设的不同触发规则下的业务信息优先级，对合并后的业务信息进行优先级排序；

推送单元，用于将优先级排序后的业务信息向远程的监控平台进行推送。

一种基于网络层报文解析的金融业务实时监控方法，包括以下步骤：

S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；

S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；

S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；

S5.业务信息统计模块根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

S6.通过事件触发模块设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；

S7.事件推送模块对接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。

本发明的有益效果是：本发明从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗，并应用了分布式处理设计，并发式处理，进一步压缩了报文处理时间，并基于处理后的报文进行金融业务信息的解析、统计、检测和推送，有效提高了金融业务监控的实时性；在进行金融业务推送时对业务信息进行了有效的过滤、合并，滤除了无用和重复的业务信息，并进行了优先级排序，有利于远程监控平台对优先级更高的业务信息进行重点监控。

附图说明

图1为本发明的系统原理框图；

图2为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于网络层报文解析的金融业务实时监控系统，包括网络报文解析子系统和业务监控子系统；

所述网络报文解析子系统包括：

报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

在本申请的实施例中，所述报文获取模块采用PCAP抓包进行报文获取，包括网络分接单元和BPF过滤器；所述网络分接单元，用于在数据链路层增加一个旁路处理，当一个数据包到达网络接口时利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，再通过Tap函数将数据包发给BPF过滤器；所述BPF过滤器，用于根据用预定义的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区，并传输给报文分发模块，匹配失败则直接丢弃。

报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；

在本申请的实施例中，所述报文分发模块包括：白名单过滤单元，用于通过白名单配置的方式对报文获取模块输出的数据进行筛选过滤，得到需要的应用报文；任务分发单元，用于对报文进行分发处理：考虑重要度及紧急度两个因素及权重设计，在满足应用的重要度和紧急度的前提下，对整体需要发送报文用hash算法进行散列分发。

报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装，并将组装得到的报文传输给业务监控子系统；

在本申请的实施例中，所述报文处理模块包括：协议识别单元，用于对接收到的报文进行通讯协议识别，所述通讯协议包括TCP、UDP、HTTP或HTTPS协议；类型识别单元，用于对接收到的报文进行报文内容的组织结构识别，所述组织结构包括ISO8583、Json、XML、SOP或SOAP；协议分流单元，用于构建报文接口规范知识库，将已知报文的报文接口规范按格式构建在知识库中；根据识别得到的报文通讯协议和报文类型，在报文接口规范知识库中查找对应的报文接口规范格式，故对不同格式的报文进行分流操作；协议解析单元，用于构建不同报文接口规范格式对应的解析器，在接收到分流后的报文后，根据报文接口规范格式，加载相应的解析器，对报文各个域的属性信息进行内容解析，得到结构化的报文数据，所述属性信息包括域名称、域数据类型和域长度；报文配对单元，用于将结构化报文数据中关联的请求和响应报文匹配成对；报文加解密单元，用于连接加密机对匹配成对的报文中的关键域进行加解密操作；报文脱敏单元，用于对加解密后报文中的敏感信息进行脱敏处理；报文组装单元，用于将脱敏后的结构化报文组装成新的报文数据包。

规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则；

在本申请的实施例中，所述规则服务器包括：过滤规则配置单元，用于为报文分发模块配置筛选过滤规则，所述筛选过滤规则包括白名单配置；加解密规则配置单元，用于为数据处理模块配置加解密规则，以便于数据处理模块按照配置规则进行加解密操作；管理规则配置单元，用于配置请求和响应报文的关联规则，以便于数据处理模块进行报文配对；替换规则配置单元，用于配置敏感信息和对应的替换规则，以便于数据处理模块在进行脱敏处理时，确定报文中的敏感信息，并利用对应的替换规则进行替换，以实现脱敏处理；

所述业务监控子系统包括：

业务信息统计模块，用于根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

事件触发模块，用于设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；

事件推送模块，用于接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。

在本申请的实施例中，所述网络报文解析子系统还包括报文存储模块，用于对报文处理模块处理得到的报文进行保存；所述业务信息统计模块统计的业务信息包括交易成功率、连续交易失败笔数和未有交易的持续时间。

所述事件触发模块包括：

规则引擎，用于设定事件的触发规则，所述触发规则包括但不限于:连续交易失败笔数超过设定阈值、连续未有交易的持续时间超过设定阈值以及成功率低于设定阈值；

业务信息检测单元，用于利用事件的触发规则，对统计的业务信息进行检测，并在满足触发规则时，将对应的业务信息传输给事件推送模块。

所述事件推送模块包括：

业务信息过滤单元，用于预设的业务信息过滤规则，对接收到的业务信息进行过滤；

业务信息合并单元，用于对过滤后的相同业务信息进行合并;在不同触发规则下对应于相同的业务信息时，事件推送模块就会接收到多个相同的业务信息，故需要进行合并；

优先级排序单元，用于根据预设的不同触发规则下的业务信息优先级，对合并后的业务信息进行优先级排序；

推送单元，用于将优先级排序后的业务信息向远程的监控平台进行推送。

如图2所示，一种基于网络层报文解析的金融业务实时监控方法，包括以下步骤：

S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；

S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；

S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；

S5.业务信息统计模块根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

S6.通过事件触发模块设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；

S7.事件推送模块对接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。

综上，本发明从通讯报文直接解析重组需要的业务报文和指标，压缩从网络层到应用层的时耗，并应用了分布式处理设计，并发式处理，进一步压缩了报文处理时间，并基于处理后的报文进行金融业务信息的解析、统计、检测和推送，有效提高了金融业务监控的实时性；在进行金融业务推送时对业务信息进行了有效的过滤、合并，滤除了无用和重复的业务信息，并进行了优先级排序，有利于远程监控平台对优先级更高的业务信息进行重点监控。

以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于网络层报文解析的金融业务实时监控系统，其特征在于：包括网络报文解析子系统和业务监控子系统；

所述网络报文解析子系统包括：

报文获取模块，用于从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

报文分发模块，通过白名单配置定义的方式筛选过滤需要应用报文，再对报文进行分发处理；

报文处理模块，用于对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装，并将组装得到的报文传输给业务监控子系统；

规则服务器，用于为报文获取模块和报文处理模块配置相应的数据处理规则；

所述业务监控子系统包括：

业务信息统计模块，用于根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

事件触发模块，用于设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；所述触发规则包括:连续交易失败笔数超过设定阈值、连续未有交易的持续时间超过设定阈值、以及成功率低于设定阈值；

事件推送模块，用于接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送；

所述事件推送模块包括：

业务信息过滤单元，用于预设的业务信息过滤规则，对接收到的业务信息进行过滤；

业务信息合并单元，用于对过滤后的相同业务信息进行合并;在不同触发规则下对应于相同的业务信息时，事件推送模块就会接收到多个相同的业务信息，故需要进行合并；

优先级排序单元，用于根据预设的不同触发规则下的业务信息优先级，对合并后的业务信息进行优先级排序；

推送单元，用于将优先级排序后的业务信息向远程的监控平台进行推送。

2.根据权利要求1所述的一种基于网络层报文解析的金融业务实时监控系统，其特征在于：所述网络报文解析子系统还包括报文存储模块，用于对报文处理模块处理得到的报文进行保存。

3.根据权利要求1所述的一种基于网络层报文解析的金融业务实时监控系统，其特征在于：所述业务信息统计模块统计的业务信息包括交易成功率、连续交易失败笔数和未有交易的持续时间。

4.根据权利要求1所述的一种基于网络层报文解析的金融业务实时监控系统，其特征在于：所述事件触发模块包括：

规则引擎，用于设定事件的触发规则；

业务信息检测单元，用于利用事件的触发规则，对统计的业务信息进行检测，并在满足触发规则时，将对应的业务信息传输给事件推送模块。

5.一种基于网络层报文解析的金融业务实时监控方法，采用权利要求1~4中任意一项所述的系统，其特征在于：包括以下步骤：

S1.在规则服务器中预配置筛选过滤规则、加解密规则、关联规则和替换规则；

S2.利用报文获取模块从网络设备驱动程序中收集链路层数据包，并按照预定义的规则对收集的数据包进行过滤，过滤后的数据传输给报文分发模块；

S3.报文分发模块利用规则服务器中的筛选过滤规则，对来自报文分发模块的数据进行筛选过滤，得到需要应用报文，再对报文进行分发处理；

S4.报文处理模块对来自于报文分发模块的报文数据进行分布式处理，依次完成对报文数据的报文协议识别、报文类型识别、协议分流、报文解析、报文配对、报文加解密、报文脱敏和报文组装；

S5.业务信息统计模块根据报文处理模块输出的报文信息，解析出金融业务信息，并进行业务信息统计；

S6.通过事件触发模块设定事件触发规则，并基于触发规则对统计的业务信息进行检测，当满足触发规则时，将对应的业务信息传输给事件推送模块；

S7.事件推送模块对接收到的业务信息进行过滤、合并和优先级排序后，向远程的监控平台进行推送。

Images