CN109361532B - 网络数据分析的高可用系统和方法及计算机可读存储介质 - Google Patents

Abstract

本发明提供网络数据分析的高可用系统和方法，搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块；接收分析任务并采集网络数据，对网络数据进行分析、数据持久化，转发网络数据至数据分析模块；接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的易数据发送数据消费端。对集群服务器组中的各节点进行心跳信号检测，若检测结果异常，则执行自动故障切换或自动扩容。通过集群控制数据分片和数据冗余，在高量级数据下提升存储性能，通过创新数据分发算法提升处理性能，采用流计算架构减少数据处理延时，集群方式实现高可用，无需人工介入，有效缩短切换时长。

Description

网络数据分析的高可用系统和方法及计算机可读存储介质

技术领域

本发明涉及网络性能监控领域，具体地，涉及一种网络数据分析的高可用系统和方法及计算机可读存储介质。

背景技术

通常来说系统高可用主要可以分为“存储高可用”和“计算高可用”两个方面。常见的架构有“主备”、“主从”和“集群”等。

主备架构的优势在于简单，主备机之间不需要进行交互，状态判断和切换操作由人工执行。主要缺点在于：人工切换操作效率低，并且手工做容易出错；备机仅仅作为备份，硬件成本上有浪费。主从架构的优势在于，相对于主备方案，发挥了从机的硬件性能。主要缺点在于：需要对任务进行分类，任务分配器会复杂一些；如果主从机之间延时比较大，可能会出现数据不一致的问题。

集群架构相对于主备和主从避免了人工切换可能引起的问题，但相对的存在设计上的复杂性，并且当涉及到数据存储是可能面临数据分区的问题。通常的高可用集群会将先数据保存在分布式储存集群中，如Hadoop的HDFS，Amazon的S3等，然后计算集群从分布式存储中加载数据并计算。

专利文献CN102123076B公开了网络安全设备的高可用性方法、设备及系统。在一个实施例中，备份入侵检测与防御(IDP)设备包括:一个或多个网络接口，接收来自主IDP设备的状态更新消息，其中，状态更新消息表示被主IDP设备检查的网络会话以及用于设备的被识别的应用层协议，该一个或多个网络接口接收主设备已经切换或故障切换到备份网络设备的指示，以及该一个或多个网络接口在接收到指示之后接收网络会话的多个数据包，多个数据包的每一个均包括包含应用层数据的相应净荷；协议解码器，根据多个数据包中的一个的应用层数据检测新事务的开始；以及控制单元，仅对在所述新事务的开始之后并包括所述新事务的开始的网络会话的多个数据包的应用层数据进行有状态处理。上述专利文献会对网络数据报文进行分析，支持计算过程的高可用，但是采用主备模式，在线以中间人方式获取数据，应用在网络安全领域，且不支持动态添加从节点以实现动态扩容。

专利文献CN1855873B描述了一种网络节点，该网络节点确保了每次入口站(例如PC)对特殊的MACDA数据包进行传送时，都将该数据包的副本转发(经由高可用性VLAN)给与远程网络节点和/或出口服务器(例如防火墙)相关联的该入口站的端口而不转发给与数据存储服务器或入口站(例如PC)相关联的该入口站的端口。该网络节点还确保了每次入口站(例如PC)对普通的MACDA数据包进行传送时，都将该数据包的副本转发给与入口站、远程网络节点、出口服务器和/或数据存储服务器相关联的该入口站的所有端口，以便这些站/服务器可以经由默认的VLAN保持其连通性。上述专利文献实现了网络数据接收的高可用，但是仅支持网络层协议，且应用在虚拟网络领域。

专利文献CN108022125A公开了一种基于Hadoop的HA机制集群精准广告推送方法，首先组建一个工作群,在工作群中安装相应的软件搭建的平台其次采集社交网络信息；第三，对采集到的社交网络数据进行分词处理、词汇权值计算、出现频率较大的关键词抽取；第四根据提取关键词权值进行排序；第五对排序的结果分析用户的关注喜好，当用户登陆社交网络时选取合适的时机合适的地方对用户推送相应的广告。利用框架中运算模型的特点，能够准确地判断出社交网络用户的关注热点，使广告能更精准地推送到目标客户，使挖掘结果更能反映互联网舆论的客观事实，有较强的可扩展性和容错性。上述专利文献实现了高可用服务，但是其数据源主要是网页数据或者用户行为数据，采用Hadoop生态系统的MapReduce进行分布式计算，需要从HDFS上加载数据，并将计算中间结果写回至HDFS上，计算过程存在较大的时延，无法满足项目实时性的要求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种网络数据分析的高可用系统和方法及计算机可读存储介质。

根据本发明提供的一种网络数据分析的高可用方法，包括以下步骤,集群控制步骤：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集步骤、数据分析步骤中的任一个或任多个；数据采集步骤：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理；数据分析步骤：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端。

优选地，所述网络数据分析的高可用方法还包括故障切换和扩容步骤，故障切换和扩容步骤：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

优选地，所述集群控制步骤包括，数据采集管理步骤：控制数据采集步骤的实例创建、实例停止，动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，监控数据采集步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；数据分析管理步骤：控制数据分析步骤的实例创建、实例停止，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，监控数据分析步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；集群管理步骤：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务。

优选地，所述数据采集步骤包括，第一管理步骤：接收集群控制步骤的命令进行数据采集步骤管理，提供监控接口供集群控制步骤使用；采集步骤：接收外部设备提供的网络数据；网络层解码步骤：对网络数据进行解码，根据解码结果进行报文重组、异常处理，将解码后的网络数据发送至路由步骤；路由步骤：根据路由规则将网络数据路由至指定的转发步骤，接收第一管理步骤的命令动态更新并应用路由规则；转发步骤：令网络数据转发至数据分析步骤，对网络数据写入本地文件系统。

优选地，所述数据分析步骤包括，第二管理步骤：接收集群控制步骤的命令进行数据分析步骤管理，提供交易数据的查询接口，提供监控接口供集群控制步骤使用；接收步骤：接收数据采集步骤转发的网络数据；应用层解码步骤：对网络数据进行应用层协议解码，形成非结构化的文本记录，接收第二管理步骤的命令进行应用层协议栈的动态更新；交易关联步骤：根据交易模型对文本记录进行交易关联，形成交易记录，接收第二管理步骤的命令进行交易模型的动态更新；消息输出步骤：将交易记录输出至数据消费端，接收第二管理步骤的命令进行交易输出规则的动态更新。

优选地，所述故障切换和扩容步骤包括自动故障切换步骤；自动故障切换步骤：令故障节点的分析任务重新分配至其他存活节点，动态更新数据采集步骤的路由策略，动态更新数据分析步骤的解码和关联模型和输出规则。

优选地，所述故障切换和扩容步骤还包括自动扩容步骤；自动扩容步骤：对集群服务器组新增节点，初始化新增节点的数据采集步骤，验证新增节点的网络数据源是否正确，若网络数据源正确，则初始化数据分析步骤，动态更新数据采集步骤的路由策略，分配分析任务至新增节点。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。根据本发明提供的一种网络数据分析的高可用系统，包括以下模块，集群控制模块：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块、数据分析模块中的任一个或任多个；数据采集模块：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理，转发网络数据至数据分析模块；数据分析模块：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端。

优选地，所述网络数据分析的高可用系统还包括故障切换和扩容模块；故障切换和扩容模块：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

与现有技术相比，本发明具有如下的有益效果：

1、由于对10Gbps量级的巨大数据进行实时存储，且采用本地存储，通过集群控制数据分片和数据冗余，相对于分布式存储方案有着更高的存储性能；

2、使用动态路由策略和创新的数据分发算法，实现基于网络会话的分布式计算，解决网络数据强上下文依赖时采用负载均衡无法解决的数据派发问题，同时提升处理性能；

3、采用流计算架构，从数据接收到数据分析再到数据输出完全基于内存进行，没有同步的文件系统读写操作，避免了磁盘IO对处理性能的影响，能够在极短的延时内完成数据的分析并将交易记录提供给用户，减少数据处理延时；

4、采用集群方式实现高可用，避免传统主备或者主从方案故障切换需要人工介入而导致的切换时间长和操作易出错的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为系统示意图；

图2为系统模块图；

图3为故障切换和扩容流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种网络数据分析的高可用方法，包括以下步骤：集群控制步骤：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集步骤、数据分析步骤中的任一个或任多个；数据采集步骤：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理，转发网络数据至数据分析步骤；数据分析步骤：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端。其中，对网络数据进行预处理采用数据分发算法，通过数据采集模块对网络数据进行预处理得到应用层数据，将应用层数据以会话为颗粒度进行调度并以此为基础进行任务分区，使用该方法能够尽可能的提升处理性能。数据持久化处理采用高性能存储，使用本地文件系统对原始网络数据进行存储，通过集群来控制存储的分区和冗余，相对于常规的分布式存储，能够有效的提升存储和读取性能，以应对大数据量的场景。

具体地，所述网络数据分析的高可用方法还包括故障切换和扩容步骤；故障切换和扩容步骤：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

具体地，所述集群控制步骤包括，数据采集管理步骤：控制数据采集步骤的实例创建、实例停止。优选地，通过数据采集模块提供的接口对数据采集模块进行控制，比如创建或者停止数据采集模块实例。动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，其中，动态调整数据采集的路由规则能够采用基于会话的动态路由算法。监控数据采集步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；数据分析管理步骤：控制数据分析步骤的实例创建、实例停止，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，监控数据分析步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；集群管理步骤：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务。

具体地，所述数据采集步骤包括，第一管理步骤：接收集群控制步骤的命令进行数据采集步骤管理，提供监控接口供集群控制步骤使用；采集步骤：接收外部设备提供的网络数据；网络层解码步骤：对网络数据进行解码，根据解码结果进行报文重组、异常处理，将解码后的网络数据发送至路由步骤；路由步骤：根据路由规则将网络数据路由至指定的转发步骤，接收第一管理步骤的命令动态更新并应用路由规则；转发步骤：令网络数据转发至数据分析步骤，对网络数据写入本地文件方法。

具体地，所述数据分析步骤包括，第二管理步骤：接收集群控制步骤的命令进行数据分析步骤管理，提供交易数据的查询接口，提供监控接口供集群控制步骤使用；接收步骤：接收数据采集步骤转发的网络数据；应用层解码步骤：对网络数据进行应用层协议解码，形成非结构化的文本记录，接收第二管理步骤的命令进行应用层协议栈的动态更新；交易关联步骤：根据交易模型对文本记录进行交易关联，形成交易记录，接收第二管理步骤的命令进行交易模型的动态更新；消息输出步骤：将交易记录输出至数据消费端，接收第二管理步骤的命令进行交易输出规则的动态更新。

具体地，所述故障切换和扩容步骤包括自动故障切换步骤，自动故障切换步骤：令故障节点的分析任务重新分配至其他存活节点，动态更新数据采集步骤的路由策略，动态更新数据分析步骤的解码和关联模型和输出规则。

具体地，所述故障切换和扩容步骤还包括自动扩容步骤，自动扩容步骤：对集群服务器组新增节点，初始化新增节点的数据采集步骤，验证新增节点的网络数据源是否正确，若网络数据源正确，则初始化数据分析步骤，动态更新数据采集步骤的路由策略，分配分析任务至新增节点。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本发明提供的一种网络数据分析的高可用系统，包括以下模块：集群控制模块：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块、数据分析模块中的任一个或任多个；数据采集模块：接收分析任务并采集网络数据，对网络数据进行分析预处理、数据持久化处理，转发网络数据至数据分析模块；数据分析模块：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端。分析任务由外部设备提交至处理集群控制模块，集群控制模块将分析任务分解后分别下发至数据采集模块、数据分析模块，其中分析任务分解是对分析任务的拆分和分区。数据采集模块主要负责从网络数据中提取分析任务需要使用的网络数据并进行预处理；数据分析模块主要负责根据分析任务的任务描述对提取的网络数据进行分析。其中，交易关联是将应用层数据按照用户配置的业务场景使用状态机模型进行关联，将一条或者多条相关的应用层数据组合成一条存在业务意义的业务数据或者交易数据，应用层数据是在数据采集模块中进行应用层解码后形成的应用层网络数据。

具体地，所述的网络数据分析的高可用系统还包括故障切换和扩容模块；故障切换和扩容模块：集群启动后，对集群服务器组中的各节点进行心跳信号检测，优选地，各节点的集群管理模块会通过心跳机制每2秒感知集群的数据分析节点之外的其他节点的状态，所述心跳机制的秒数可根据配置调整。若心跳信号检测结果异常，则执行自动故障切换或自动扩容。若心跳信号减少，则执行自动故障切，若心跳信号新增，则执行自动扩容。

具体地，所述集群控制模块包括，数据采集管理模块：控制数据采集模块的实例创建、实例停止。优选地，通过数据采集模块提供的接口对数据采集模块进行控制，比如创建或者停止数据采集模块实例。动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，其中，动态调整数据采集的路由规则能够采用基于会话的动态路由算法。根据数据采集模块提供的接口，监控数据采集模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；数据分析管理模块：通过数据分析模块提供的接口，控制数据分析模块的实例创建、实例停止，根据集群管理模块的命令，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，根据数据分析模块提供的接口，监控数据分析模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；集群管理模块：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务。

具体地，所述数据采集模块包括，第一管理模块：接收集群控制模块的命令进行数据采集模块管理，提供监控接口供集群控制模块使用，以帮助监控数据采集模块。当发现数据采集模块异常时，集群系统将会进行故障切换操作；采集模块：接收外部设备提供的网络数据，优选地，采用高速(10Gbps)接收外部设备提供的网络数据；网络层解码模块：根据TCP/IP层协议对网络数据进行解码、分析，根据解析的TCP/IP信息形成的解码结果进行报文重组、异常处理，例如乱序、重传，将解码后的网络数据发送至路由模块；路由模块：根据路由规则将网络数据路由至指定的转发模块，接收第一管理模块的命令动态更新并应用路由规则；转发模块：令网络数据转发至数据分析模块，对网络数据写入本地文件系统，优选地，使用内存交换技术，将网络数据通过内存转发至下游分析模块，将数据建立索引后写入本地文件系统，以支持后续数据包提取操作。

具体地，所述数据分析模块包括：第二管理模块：接收集群控制模块的命令进行数据分析模块管理，提供交易记录的查询接口，能够根据预定义的查询语法提供对应的交易数据，提供监控接口供集群控制模块使用，以帮助监控数据分析模块，当发现数据分析模块异常时，集群系统将会进行故障切换操作；接收模块：接收数据采集模块转发的网络数据，通过内存交换技术，从上游数据采集模块中接收预处理完成的网络数据；应用层解码模块：对网络数据进行应用层协议解码，根据协议栈定义完成应用层协议解码，解码后会将原先的网络数据转化为非结构化的文本记录，形成非结构化的文本记录，接收第二管理模块的命令进行应用层协议栈的动态更新；交易关联模块：根据交易模型对文本记录进行交易关联，将一条或多条文本记录根据模型的定义形成交易记录，接收第二管理模块的命令进行交易模型的动态更新；消息输出模块：将交易记录输出至数据消费端，所述数据消费端是第三方消费端，例如文件系统、kafka、HDFS、数据库等，以提供用户对数据进行进一步的使用。接收第二管理模块的命令进行交易输出规则的动态更新。

具体地，所述故障切换和扩容模块包括自动故障切换模块；自动故障切换模块：令存活节点重建网络数据分析实例，令故障节点的分析任务迁移至重建的网络数据分析实例，会在其他存活的节点下重建数据分析模块实例，将之前故障节点处理的任务迁移至重建的数据分析模块实例上；令故障节点的分析任务重新分配至其他存活节点，动态更新数据分析模块的解码、关联模型、输出规则；动态更新数据采集模块的路由策略，重建数据分析模块实例后，该节点的数据采集管理模块会通过接口动态的更新该节点下的数据采集模块的路由规则。将原先在故障节点处理的数据接收并提供给重建后的数据分析模块进行处理；根据路由策略接入网络数据并启动数据分析模块，当数据源就绪后，启动重建后的数据分析模块，将原先故障系统的处理任务迁移至当前模块中执行；发送故障信息，故障切换完成后，通知运维人员故障信息以帮助故障处理。优选地，在重建网络数据分析实例之前，进行是否主机节点判断，如果故障节点非Leader节点则不需要进行重新选举。如果故障节点是Leader节点，则使用Gossip协议来选择Leader节点。

具体地，所述故障切换和扩容模块还包括自动扩容模块；自动扩容模块：对集群服务器组新增节点，初始化新增节点的数据采集模块，验证新增节点的网络数据源是否正确，若网络数据源正确，则初始化数据分析模块。优选地，当新节点被加入集群后，集群会对先初始化该节点的数据采集模块，并验证该节点的数据源是否正确。如果数据源异常，则会停止自动扩容流程；当数据采集模块初始化完成后，集群将初始化一个或者多个数据分析模块实例，实例数量将由集群配置决定；动态更新数据采集模块的路由策略，分配分析任务至新增节点，当新节点就绪后，集群将会动态修改所有节点的路由规则，将部分处理任务迁移至新增的节点上。当数据源就绪后，启动所有新启动的数据分析模块实例。将原先在其他节点上处理的任务迁移至新节点上进行处理。

本发明提供的网络数据分析的高可用系统，可以通过网络数据分析的高可用方法的步骤流程实现。本领域技术人员可以将网络数据分析的高可用方法理解为所述网络数据分析的高可用系统的优选例。

以下结合附图对本发明做进一步的阐述。

如图1所示，本发明采用分布式集群架构来实现高可用，所述集群架构至少包括一个数据分析节点，所述数据分析节点用于与其他节点进行通讯，控制整个集群；接收外部设备所采集的网络数据；从用户网络中采集网络数据并分析网络数据；将分析结果输出到指定的数据接收端，即数据消费端。

数据分析节点内部的具体模块结构如图2所示，数据分析节点包括数据采集模块、数据分析模块、集群控制模块。数据采集模块用于接收外部设备提供的网络数据，将数据转发至目标数据分析模块，对接收到的数据持久化处理。数据采集模块主要包括第一管理模块、采集模块、网络层解码模块、路由模块、转发模块。数据分析模块用于接收数据采集模块处理后的网络数据，根据定义的协议栈对应用层数据进行解码，根据定义的交易模型对解码后的数据进行交易关联，将关联完成的交易记录发送至下周数据消费端。数据分析模块主要包括第二管理模块、接收模块、应用层界面模块、交易关联模块、消息输出模块。集群控制模块用于管理数据采集模块和数据分析模块，与其他节点组成集群实现系统高可用。集群控制模块主要包括数据采集管理模块、数据分析管理模块、集群管理模块。

下面以两台服务器组成的集群为例，具体实施如下：在集群控制模块中，在每台服务器上部署集群控制模块。集群控制模块会集成数据采集模块和数据分析模块，并负它们责启动和停止；启动集群控制模块，并配置相关服务。先启动的会作为Leader节点，之后其他节点将会被添加至该集群；集群启动后将通过RESTAPI方式对外提供服务。用户可以通过API来下发分析任务。一个分析任务将包含如下内容：需要处理网络流量的范围，通过IP和Port来确定；该任务的协议栈，如HTTP、RPC等；该任务的交易关联模型，用于描述如何从一个个独立的记录关联成一个存在业务意义的交易记录；该任务的输出目标，用于描述如何将关联完成的交易记录输出至接收端。常见的接收端有：本地文件系统、Kafka、HDFS、数据库等；在数据采集模块中，通过分光设备(TAP)，将用户需要分析的网络流量镜像多份到所有服务器的高性能网卡上；数据采集模块会根据配置来绑定服务器的网卡，并从绑定的网卡上接收数据；对接收的数据进行网络层解码，并根据解码获取的TCP/IP层信息进行数据路由，根据控制系统下发的任务进行数据存储和数据转发。一般而言每个节点会保存一份需要自己处理的数据和一份其他节点需要处理的数据。具体会由集群控制模块进行下发；当集群节点数量发生变化时，集群控制节点可以动态的调整数据路由策略来完成处理任务的转移；在数据分析模块中，通过内存交换技术，Linux上可以采用ShareMemory，以极高吞吐率接收由采集模块转发过来的数据；数据分析模块会内置大量常见的应用层解码器，如HTTP、XML等。用户也可以自定义解码器并上传到分析模块以支持用户私有协议的解码。根据协议栈完成应用层协议的解码，解码完成后将会以原始记录的方式提供给下游消费者，类似于Json的数据结构；交易关联模块在接收原始记录后，根据用户定义交易关联模型对原始记录进行关联。将一条或者多条相关的原始记录组合在一起形成交易记录；根据用户定义的输出方式，将关联完成的交易记录转发至目标接收端。

本发明具体可以应用在风控操作、实时营销、反欺诈等领域，上述领域对于数据的可靠性和实时性有较高的要求，常规的主备方案在发生异常情况时需要人为介入排障，从而导致服务不可用并引入风险。在风控操作方面，目前的常规风控系统为T+1，每日日终从数据库抽取全部交易信息，利用本发明的数据接口，能够实时获取逐笔交易明细，输送给风控模型进行匹配处理，风险管理可以变事后为事中，在无需改动应用的前提下，创新性地利用网络数据作为数据源，并采用了实时的流处理方式对原始网络数据进行分析，将实时风控数据提供给用户，令用户获得了实时风控的能力；在实时营销方面，将特定的产品，理财业务，对指定的客户进行实时营销。在这种场景下数据中包含的信息维度越多，供使用方给客户打标签的信息维度也就越充分，为了能够准确反映用户行为特征，需要对大量数据进行实时的分析处理，本发明采用了针对网络数据优化的数据分发算法，支持了在分布式环境下对全量用户行为数据进行全量解码，确保关键信息不丢失；在事中反欺诈方面，最主要的特性在于本发明可以实现实时阻断，例如在用户授权的场景中，当用户的资质不符合评判标表，能实时立即阻断，具体表现为请求经过处理系统不给返回，在这种场景下，推送的越快，模型匹配的越快，实时性能处理越高，对于阻断处理也就越及时，充分体现了本发明的高实时性。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种网络数据分析的高可用系统，其特征在于，包括以下模块：

集群控制模块：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块、数据分析模块中的任一个或任多个；

数据采集模块：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理，转发网络数据至数据分析模块；

数据分析模块：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端；

所述集群控制模块包括：

数据采集管理模块：控制数据采集模块的实例创建、实例停止，动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，监控数据采集模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；

数据分析管理模块：控制数据分析模块的实例创建、实例停止，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，监控数据分析模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；

集群管理模块：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务；

所述数据采集模块包括：

第一管理模块：接收集群控制模块的命令进行数据采集模块管理，提供监控接口供集群控制模块使用；

采集模块：接收外部设备提供的网络数据；

网络层解码模块：对网络数据进行解码，根据解码结果进行报文重组、异常处理，将解码后的网络数据发送至路由模块；

路由模块：根据路由规则将网络数据路由至指定的转发模块，接收第一管理模块的命令动态更新并应用路由规则；

转发模块：令网络数据转发至数据分析模块，对网络数据写入本地文件系统；

所述数据分析模块包括：

第二管理模块：接收集群控制模块的命令进行数据分析模块管理，提供交易数据的查询接口，提供监控接口供集群控制模块使用；

接收模块：接收数据采集模块转发的网络数据；

应用层解码模块：对网络数据进行应用层协议解码，形成非结构化的文本记录，接收第二管理模块的命令进行应用层协议栈的动态更新；

交易关联模块：根据交易模型对文本记录进行交易关联，形成交易记录，接收第二管理模块的命令进行交易模型的动态更新；

消息输出模块：将交易记录输出至数据消费端，接收第二管理模块的命令进行交易输出规则的动态更新。

2.根据权利要求1所述的网络数据分析的高可用系统，其特征在于，还包括故障切换和扩容模块；

故障切换和扩容模块：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

3.根据权利要求2所述的网络数据分析的高可用系统，其特征在于，所述故障切换和扩容模块包括自动故障切换模块；

自动故障切换模块：令故障节点的分析任务重新分配至其他存活节点，动态更新数据采集模块的路由策略，动态更新数据分析模块的解码和关联模型和输出规则。

4.根据权利要求2所述的网络数据分析的高可用系统，其特征在于，所述故障切换和扩容模块还包括自动扩容模块；

自动扩容模块：对集群服务器组新增节点，初始化新增节点的数据采集模块，验证新增节点的网络数据源是否正确，若网络数据源正确，则初始化数据分析模块，动态更新数据采集模块的路由策略，分配分析任务至新增节点。

5.一种网络数据分析的高可用方法，其特征在于，包括以下步骤：

集群控制步骤：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集步骤、数据分析步骤中的任一个或任多个；

数据采集步骤：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理；

数据分析步骤：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端；

所述集群控制步骤包括：

数据采集管理步骤：控制数据采集步骤的实例创建、实例停止，动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，监控数据采集步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；

数据分析管理步骤：控制数据分析步骤的实例创建、实例停止，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，监控数据分析步骤的运行状态，若运行状态异常，则通知集群管理步骤进行故障切换；

集群管理步骤：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务；

所述数据采集步骤包括：

第一管理步骤：接收集群控制步骤的命令进行数据采集步骤管理，提供监控接口供集群控制步骤使用；

采集步骤：接收外部设备提供的网络数据；

网络层解码步骤：对网络数据进行解码，根据解码结果进行报文重组、异常处理，将解码后的网络数据发送至路由步骤；

路由步骤：根据路由规则将网络数据路由至指定的转发步骤，接收第一管理步骤的命令动态更新并应用路由规则；

转发步骤：令网络数据转发至数据分析步骤，对网络数据写入本地文件系统；

所述数据分析步骤包括：

第二管理步骤：接收集群控制步骤的命令进行数据分析步骤管理，提供交易数据的查询接口，提供监控接口供集群控制步骤使用；

接收步骤：接收数据采集步骤转发的网络数据；

应用层解码步骤：对网络数据进行应用层协议解码，形成非结构化的文本记录，接收第二管理步骤的命令进行应用层协议栈的动态更新；

交易关联步骤：根据交易模型对文本记录进行交易关联，形成交易记录，接收第二管理步骤的命令进行交易模型的动态更新；

消息输出步骤：将交易记录输出至数据消费端，接收第二管理步骤的命令进行交易输出规则的动态更新。

6.根据权利要求5所述的网络数据分析的高可用方法，其特征在于，还包括故障切换和扩容步骤；

故障切换和扩容步骤：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5至6中任一项所述的方法的步骤。

Images