CN108880903B - 一种数据流监控方法、系统、装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种数据流监控方法，当需要监控某个待监控数据流时，只需要在其流经的路径上增设预设的监控模型即可实现对相应数据流的监控，其中，每个监控模型都是在通用模板上结合各待监控数据流的数据类型信息和数据特征信息进行个性化设置得到的，即针对每个待监控数据流的特点进行灵活设置，使得每个监控模型只需要进行一些小的参数调整就可以发挥作用，而模块化的设计使得其具有更高的通用性、与现有业务系统良好的集成性以及更高的实用性。本申请还同时公开了一种数据流监控系统、装置及计算机可读存储介质，具有上述有益效果。

Description

一种数据流监控方法、系统、装置及计算机可读存储介质

技术领域

本申请涉及数据监控技术领域，特别涉及一种数据流监控方法、系统、装置及计算机可读存储介质。

背景技术

随着业务环境越来越复杂，各种信息系统的复杂程度不断增加，数据流的交互也更加频繁，目前虽然已经存在各种消息队列的技术框架可以解决点与点之间数据传输稳定性的问题，但是从业务系统的视图很难全局把握每个环节之间是否合理正确并且符合业务需求。

比如在某种场合下某一个数据传输开关没有打开，导致重要数据没有传递到下一环，导致业务系统部分关键功能不可用；比如随着业务要求的提升，需要对原先未进行监控的数据流进行监控时等，虽然类似的这个问题可以从传统软件设计的需求里面专门分别针对性解决这个问题(即添加专项补丁)，但是在项目工期紧张的情况下，这种监控比较分散并且没有统一管理，且会明显增加开发过程中的负担。

针对上面提出的问题，现有技术绝大多数是通过为产品提出非功能性需求的方式加以专项解决，即发现存在一个问题即专项研发一个对应的问题解决方式，存在开发难度大、效率低，适用范围极小，导致灵活性较差，难以满足当前复杂信息系统下灵活、可添加、自定义程度高的数据流监控要求。

因此，如何克服现有数据流监控方式存在的各项技术缺陷，提供一种无须专项开发、适用范围更广、监控实现难度更低、模块化和通用性更高、更加符合当前数据流监控要求的数据流监控机制是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据流监控方法，当需要监控某个待监控数据流时，只需要在其流经的路径上增设预设的监控模型即可实现对相应数据流的监控，其中，每个监控模型都是在通用模板上结合各待监控数据流的数据类型信息和数据特征信息进行个性化设置得到的，即针对每个待监控数据流的特点进行灵活设置，使得每个监控模型只需要进行一些小的参数调整就可以发挥作用，而模块化的设计使得其具有更高的通用性、与现有业务系统良好的集成性以及更高的实用性。

本申请的另一目的在于提供了一种数据流监控系统、装置及计算机可读存储介质。

为实现上述目的，本申请提供一种数据流监控方法，该方法包括：

获取流经每个预设路径的待监控数据流；

利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；其中，每个所述监控模型的具体监控参数根据流经每个预设路径的待监控数据流的数据类型和数据特征信息进行设置；

根据各所述监控结果判断网络内是否存在异常配置点。

可选的，所述监控模型的建立过程包括：

从流经每条所述预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

根据所述数据类型信息确定相应监控模型的数据监控模式；

根据所述数据特征信息确定相应监控模型的数据监控对象；

根据与每个所述历史数据流对应的数据监控对象和数据监控模式对应生成每个所述监控模型。

可选的，利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果，包括：

根据所述数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

按所述数据监控模式对所述目标数据流进行监控，得到目标数据统计表；

将所述目标数据统计表作为使用所述监控模型对相应待监控数据流进行监控后得到的监控结果。

可选的，根据各所述监控结果判断网络内是否存在异常配置点，包括：

根据所述网络的架构设计图判断各所述监控结果中是否存在异常数据；

若是，则根据得到所述异常数据的监控模型确定异常数据产生路径，并将所述异常数据产生路径作为所述异常配置点，以对所述异常配置点的数据传输配置参数进行调整。

可选的，该数据流监控方法还包括：

按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各所述周期生成的数据监控日志进行持久化存储。

为实现上述目的，本申请还提供了一种数据流监控系统，该系统包括：

待监控数据流获取单元，用于获取流经每个预设路径的待监控数据流；

数据流监控单元，用于利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；其中，每个所述监控模型的具体监控参数根据流经每个预设路径的待监控数据流的数据类型和数据特征信息进行设置；

异常配置点存在判断单元，用于根据各所述监控结果判断网络内是否存在异常配置点。

可选的，该数据流监控系统还包括：

信息提取单元，用于从流经每条所述预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

监控模式确定单元，用于根据所述数据类型信息确定相应监控模型的数据监控模式；

数据监控对象确定单元，用于根据所述数据特征信息确定相应监控模型的数据监控对象；

监控模型生成单元，用于根据与每个所述历史数据流对应的数据监控对象和数据监控模式对应生成每个所述监控模型。

可选的，所述数据流监控单元包括：

数据流筛选子单元，用于根据所述数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

相应监控模式监控子单元，用于按所述数据监控模式对所述目标数据流进行监控，得到目标数据统计表；

数据流监控结果获得子单元，用于将所述目标数据统计表作为使用所述监控模型对相应待监控数据流进行监控后得到的监控结果。

可选的，所述异常配置点存在判断单元包括：

异常数据存在判断子单元，用于根据所述网络的架构设计图判断各所述监控结果中是否存在异常数据；

异常数据产生路径及异常配置点确定子单元，用于当存在所述异常数据时，根据得到所述异常数据的监控模型确定异常数据产生路径，并将所述异常数据产生路径作为所述异常配置点，以对所述异常配置点的数据传输配置参数进行调整。

可选的，该数据流监控系统还包括：

日志汇总及持久化保存单元，用于按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各所述周期生成的数据监控日志进行持久化存储。

为实现上述目的，本申请还提供了一种数据流监控装置，该装置包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述内容所描述的数据流监控方法的步骤。

为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的数据流监控方法的步骤。

显然，本申请所提供的一种数据流监控方法，当需要监控某个待监控数据流时，只需要在其流经的路径上增设预设的监控模型即可实现对相应数据流的监控，其中，每个监控模型都是在通用模板上结合各待监控数据流的数据类型信息和数据特征信息进行个性化设置得到的，即针对每个待监控数据流的特点进行灵活设置，使得每个监控模型只需要进行一些小的参数调整就可以发挥作用，而模块化的设计使得其具有更高的通用性、与现有业务系统良好的集成性以及更高的实用性。本申请同时还提供了一种数据流监控系统、装置及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种数据流监控方法的流程图；

图2为本申请实施例提供的另一种数据流监控方法的流程图；

图3为本申请实施例提供的数据流监控方法中一种与已存业务系统相结合以及如何进行后续数据监控和运维的逻辑示意图；

图4为在实施例三的基础上提供的一种关联新数据产生示意图；

图5为在实施例三的基础上提供的一种数值时序格式化方法的流程图；

图6为在实施例三的基础上提供的一种交互分析方法的示意图；

图7为本申请实施例提供的一种数据流监控系统的结构框图。

具体实施方式

本申请的核心是提供一种数据流监控方法，当需要监控某个待监控数据流时，只需要在其流经的路径上增设预设的监控模型即可实现对相应数据流的监控，其中，每个监控模型都是在通用模板上结合各待监控数据流的数据类型信息和数据特征信息进行个性化设置得到的，即针对每个待监控数据流的特点进行灵活设置，使得每个监控模型只需要进行一些小的参数调整就可以发挥作用，而模块化的设计使得其具有更高的通用性、与现有业务系统良好的集成性以及更高的实用性。本申请的另一核心为提供一种数据流监控系统、装置及计算机可读存储介质，具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

实施例一

以下结合图1，图1为本申请实施例提供的一种数据流监控方法的流程图，其具体包括以下步骤：

S101：获取流经每个预设路径的待监控数据流；

本步骤旨在从每个需要进行监控的待监控数据流所流经的路径上获取到该待监控数据流。为实现数据流监控目的，首先需要的是获得该待监控数据流，而在网络内每个数据要都少不了传输的过程，因此只需要在其传输的路径上就可以获得该监控数据。

S102：利用分别预设于每个预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；

在S101的基础上，本步骤旨在通过预先设置在传输每个待监控数据流的路径上的监控模型对相应路径上传输的待监控数据流进行监控，得到各监控结果。其中，每个监控模型的具体监控参数是在通用模板上结合流经每个预设路径的待监控数据流的数据类型和数据特征信息进行个性化设置得到的，以期可以结合不同预设路径上传输的待监控数据流的特点进行针对性的监控。

具体的，该监控模型要实现监控目的至少要包括数据监控对象和数据监控模式，其中，数据监控对象用于确定流经一条路径的待监控数据流中的哪些数据是真正需要被监控的数据，其表现形式多种多样，可以表现为一种或多种特定格式的数据，也可以指能够筛选出符合要求的数据的筛选规则，例如使用特定的发送者IP和特定接收这IP来限定同时满足这两条的数据为目标数据流，也可以使用诸如邮箱名、MAC地址、其它能够作为筛选标准的参数，此处并保证做具体限定，可根据在目标流经的待监控数据流的特点结合监控目的灵活选择。

其中，该数据监控模式用于确定如何监控目标数据流，是统计一段时间内符合要求的目标数据的条数，还是看目标数据中具体某项参数的大小是否与其它步骤中相同参数间的关系符合逻辑，甚至是与历史同期内某项事件的发生次数、频率进行横向对比等等，该数据监控模式用于根据监控目的来具体监控目标数据流中的某些参数，以进一步发现其中是否存在异常数据。

S103：根据各监控结果判断网络内是否存在异常配置点。

在S102的基础上，本步骤旨在根据各监控模型对相应路径上流经的各待监控数据进行监控后得到的监控结果判断网络内是否存在异常配置点。

具体的，有些单一的异常数据就可以反映异常配置点的存在，因为异常的配置信息一定会导致异常数据的存在，但是有些异常数据的确定还需要与存在关联性的多个监控模型共同返回的监控结果来共同判断，以共同得到确定的结论，例如单个监控结果中返回了一个金额数值，光从这个金额数值无法确定是否存在异常，但在结合在产生该金额数值的上层数据进行监控得到的监控结果时，就可以发现该金额数值与预期数值存在明显错误，因此就可以异常配置点出在了产生该异常金额数值的处理环节。

进一步的，在基于监控结果确定出的异常配置点后，就可以及时通知技术人员有针对性的进行配置调整，以尽快恢复正常的处理流程，减少异常数据对正常业务系统造成的影响。具体通知方式多种多样，例如可以通过预设的邮件地址、即时通讯软件、系统弹窗、语音提示信息等进行通知，可根据实际情况下所有可能存在的限制条件进行灵活选择，此处不做具体限定。

更进一步的，考虑到某些数据在短期内可能被认为是正确，但在长期中就会发现之前被认为是正确的数据中其实在现在来看确是存在问题的，因此有必要存储每一时段内产生的监控结果，并进行持久化存储以待结合后期新产生的数据再次进行异常配置点的存在判断，以发现那些不太容易发现的异常配置点。

其中一种包括但不限于的实现方式为：

按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各周期生成的数据监控日志进行持久化存储。

基于上述技术方案，本申请实施例提供的一种数据流监控方法，当需要监控某个待监控数据流时，只需要在其流经的路径上增设预设的监控模型即可实现对相应数据流的监控，其中，每个监控模型都是在通用模板上结合各待监控数据流的数据类型信息和数据特征信息进行个性化设置得到的，即针对每个待监控数据流的特点进行灵活设置，使得每个监控模型只需要进行一些小的参数调整就可以发挥作用，而模块化的设计使得其具有更高的通用性、与现有业务系统良好的集成性以及更高的实用性。

实施例二

以下结合图2，图2为本申请实施例提供的另一种数据流监控方法的流程图，本实施例在实施例一的基础上，提供了一种如何在各预设路径上设置各监控模型来监控各待监控数据流的方式，并结合监控模型的组成部分给出了一种具体的数据流监控方式，具体实施步骤如下：

S201：从流经每条预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

S202：根据数据类型信息确定相应监控模型的数据监控模式；根据数据特征信息确定相应监控模型的数据监控对象；

S203：根据与每个历史数据流对应的数据监控对象和数据监控模式对应生成每个监控模型；

本实施例以流经每条预设路径的历史数据流作为生成相应监控模型的基础数据，根据从中提取出的数据类型信息和数据特征信息确定相应监控模型的数据监控模式和数据监控对象，以使每个监控模型更加适合对相应路径上的传输的待监控数据流进行监控，而在生成各监控模型后还需要将其设置在对应的预设路径上才能够其真正发挥作用。

S204：获取流经每个预设路径的待监控数据流；

S205：根据数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

本步骤利用包含于监控模型的数据监控对象对待监控数据流进行筛选，得到与该数据监控对应相符的目标数据流。

S206：按数据监控模式对目标数据流进行监控，得到目标数据统计表，并将其作为监控结果；

在S205的基础上，本步骤旨在按包含与同一监控模型中的数据监控模式来对目标数据流进行监控，以得到目标数据统计表，并将其作为该监控模型对流程相应路径上的待监控数据流的监控结果。

S207：根据网络的架构设计图判断各监控结果中是否存在异常数据；

在S206的基础上，本步骤旨在通过将监控结果与该网络的架构设计图间的比较来看各监控结果中是否存在异常数据，其中，该架构设计图从该网络的设计意图出发可从中明确网络内不同数据根据处理的先后顺序间的关系以及制约条件，因此可根据该架构设计图判断各监控结果中是否存在异常数据。

S208：根据得到异常数据的监控模型确定异常数据产生路径，并将异常数据产生路径作为异常配置点，以对异常配置点的数据传输配置参数进行调整。

在S207的基础上，本步骤旨在根据依次确定存在的异常数据的来源监控结果，根据确定出的目标监控结果确定是由哪个监控模型生成的，再根据目标监控模型所处的数据传输路径确定上层的配置点，得到异常配置点，在确定异常配置点后就可以对其配置参数进行调整，以防止相同类型的异常数据再次出现，减少其对业务系统造成的损失和降低造成的影响。

实施例三

请参见图3至图6，本实施例在上述实施例的基础上，提供了通用的可以跟现有业务系统进行模块级别集成的数据流监控和运维框架，其中最为重要的是定义了一套简单易用的监控配置语言：

该监控配置语言用于生成不同的监控模型来对不同传输路径上的待监控数据流进行监控，本实施例提供一种包含4个参数的监控配置语言：

(源名称，目的名称，流模式，流模式参数)。

其中，源名称是数据发送者的名称(可以为IP地址、MAC、邮箱地址等)；目的名称是数据接收者的名称；流模式和流模式参数配合使用，都是可选参数。进一步的，流模式可包括：

a)智能:默认值。由系统自动判断合理的值，流模式参数无需提供；

b)最小：表示最小的数值或者速率，流模式参数可以是10表示最小值是10，也可以是10/hrs表示最低是每小时10条数据；

c)最大：表示最大的数值或者速率，流模式参数可以是100表示最大值是100，也可以是100/hrs表示最高是每小时100条数据；

对于指定了最小和最大的流模式，智能模式可同时生效监控异常的变化。流模式参数如果是速率的话，支持的时间单位有months(月)，weeks(周)，days(天)，hrs(小时)，mins(分钟)。时间单位前面可以增加数值，比如100/7mins表示每7分钟100条。

在业务系统的每一个有数据产生或者数据传输的流程中，集成本系统只需要两步，请参见图3，图3为本申请实施例提供的数据流监控方法中一种与已存业务系统相结合以及如何进行后续数据监控和运维的逻辑示意图：

1、定义对应的监控配置语言：

如(订单创建,支付确认)表示订单创建后下一个数据流是支付确认；

2、对每一条产生的或者传输的数据，调用监控函数，参数只需要提供数据的量化指标：

量化指标可以是数值，比如是金额和大小，也可以是次数，比如多少条日志。

流程图分为上下两个部分，上面的方框是已存在的业务系统，下面的方框是数据流运维系统。对已存在的业务系统的应该只有两步：定义配置配置语言和有数据产生或者传输的时候调用监控的函数。

以下对图3各部分进行详细说明：

1、定义监控配置语言，明确本环节的数据流特点，可以采取智能，最大或最小的流模式；

2、每一个新的定义都会自动同步到运维系统的数据流网络进行构建，连接所有的数据流，示例效果图4(与订单支付确认相关的所有新数据)；

3、业务系统在每一条数据产生或者数据传输的时候调用一次监控函数，传递量化数值指标，然后正常进行业务系统正常的操作，这一步可以根据需要多次调用；

4、业务流系统根据需要可以自行结束，运维系统正常运作；

5、每一次监控都会触发一条原始日志的生成，日志的内容包括(时间，源名称，目的名称，量化数值)，所有的日志进入日志队列，由日志收集模块进行存储；

6、数值时序格式化模块从日志收集模块持续获取新增的数据，除了原始日志外，对每一组(源名称，目的名称)的所有日志进行时序格式化，时序格式化的默认时间单位是分钟。时序格式化算法采取等待+超时的方法进行收集，对于迟到的数据最多等待5分钟就进行忽略，请参见如图5所示的数值时序格式化流程图：

6.1、收到一条日志，如(2018-05-17 16:31:12,订单创建，支付确认，1)；

6.2、日志格式化到分钟对齐，也是去除秒，如(2018-05-17 16:31,订单创建，支付确认，1)；

6.3、判断日期是否超过五分钟，若是直接丢弃迟到数据，退出流程；

6.4、判断是否存在时序缓存，缓存按照(对齐到分钟的时间，源名称，目的名称)进行判断重复性。如示例要找是否存在(2018-05-17 16:31,订单创建，支付确认)的缓存；

6.5、如果不存在缓存，创建一条缓存，数值为0，然后进入更新计数。如例子是时序缓存是(2018-05-17 16:31,订单创建，支付确认，0)；

6.6、如果存在缓存，直接更新计数。数值直接相加。如示例是数值加1；

6.7、每次时序缓存更新都写入到数据库；

6.8、判断时序缓存是否已经存在超过五分钟，如果超过直接丢弃缓存；

6.9、最后结束整个时序格式化流程。

7、如果流模式是最大或者最小的时候，触发一次异常阈值检测，智能模式忽略这一步，异常阈值的判断依赖于流模式参数；

7.1、如果流模式参数是数值：最大模式判断原始日志的量化数值是否大于这个值；最小模式判断原始日志的量化数值是否小于这个值；

7.2、如果流模式参数是速率，根据时序的单位从时序列表中获取时间周期的数据，比如说2hrs取过去120分中的数值的和。等到的和跟数值的情况类型判断是否大于或者小于流模式参数。

8、异常序列分析是根据正常序列库的历史数据判断最新的序列是否正常，可按照如下指标来进行是否属于异常序列的判断：

8.1、过去5分钟，10分钟，30分钟，60分钟，3小时，6小时，12小时，24小时，3天，1周的数值的和是否超过正常序列的50％；

8.2、过去5分钟，10分钟，30分钟，60分钟，3小时，6小时，12小时，24小时，3天，1周的连续变化标准方差是否超过正常序列的100％；

8.3、对于长时间的序列(如3小时以上)采取更粗粒度的缓存，比如说最开始的每分钟的时间序列，超过1小时合并成10分钟间隔的序列，超过24小时合并成1小时间隔的序列。正常的时间序列最多保留90天。

8.4、上面计算用到的正常序列的计算取过去5个时间周期的平均值。比如说判断25～30分的时间序列，如0～5，5～10，10～15，15～20，20～25一共5个时间段的平均值。这样可以避免某些访问因为工作时间的原因合理的上涨。

9、执行交互分析，要结合数据流网络，时序日志和其它环境异常序列库，交互分析在业务层次上判断系统是否在正常运作，以下详细说明；

10、异常阈值检测，异常序列检测和交互分析中的一个或多个异常行为都会触发告警；

11、如果触发告警系统根据邮件或信息系统集成化告警方式；

12、告警的序列都会存储进入告警序列库；

13、没有触发告警的正常序列进入正常序列库，正常序列库会保留最近90天的日志供审计。

对于第9步骤提及的交互分析，在此处结合一个具体例子进行说明，请参见图6所示的交互分析示意图：

交互分析相对于异常序列检测，交互分析采取图的技术进行分析，对于某个时间片段的网络，如9点0分到9点5分的统计：

在异常序列的和值和变化方差的基础上，增加以下的计算指标：

1)每一个有顺序两个的数据流的数值变化和比例，如果(订单创建->支付确认->支付成功，30-20＝10，30/20＝1.5)

2)其它环境离线异常序列库是可以离线更新的，对于无历史数据的环境可以提供启动数据。随着历史数据的增加，异常系列库对于异常检测的重要比例会自动下降，最终的用途是用来归纳总结容易出现问题的数据流，并且供研发团队改进提供依据。

对于差异的两个时间片段，计算每一个指标和值变化和趋势变化的值，因为有多个不同类型的计算结果，比如(支付确认，支付成功)从30变化到15，和(订单创建->支付确认->支付成功)的比例从1.5变化到1.2，异常综合计算按照以下的流程：

1)所有的数值差异按照正常(20％以下差异)，一般变化(20％～50％差异)，中等变化(50％～100％差异)，巨大变化(100％以上差异)分别量化成0，1，2，3三个数值；

2)至少2个中等变化或者至少1个巨大变化直接触发告警和标识告警的数据流；

3)量化的数值分别进行和值和变化方差的计算，全局判断一次系统的异常情况。

本实施例提供的一种基于自定义通用监控配置语言与已存业务系统相结合以及如何进行后续数据监控和运维的方式，可与现有的业务系统以模块化形式快速进行集成和使用，能够有效降低开发成本；多套业务系统之间可以采取统一规范的运维系统，便于运维管理；在完全没有历史配置和数据的情况下也可以自动适配新的数据流，可以智能适配各种应用场景；可以采集同一套业务系统在不同运行环境中运维分析结果，可以互相辅助分析并且可以放过来提高业务系统的自身质量。

因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。

下面请参见图5，图5为本申请实施例提供的一种数据流监控系统的结构框图，该数据流监控系统可以包括：

待监控数据流获取单元100，用于获取流经每个预设路径的待监控数据流；

数据流监控单元200，用于利用分别预设于每个预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；其中，每个监控模型的具体监控参数根据流经每个预设路径的待监控数据流的数据类型和数据特征信息进行设置；

异常配置点存在判断单元300，用于根据各监控结果判断网络内是否存在异常配置点。

进一步的，该数据流监控系统还可以包括：

信息提取单元，用于从流经每条预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

监控模式确定单元，用于根据数据类型信息确定相应监控模型的数据监控模式；

数据监控对象确定单元，用于根据数据特征信息确定相应监控模型的数据监控对象；

监控模型生成单元，用于根据与每个历史数据流对应的数据监控对象和数据监控模式对应生成每个监控模型。

其中，数据流监控单元200可以包括：

数据流筛选子单元，用于根据数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

相应监控模式监控子单元，用于按数据监控模式对目标数据流进行监控，得到目标数据统计表；

数据流监控结果获得子单元，用于将目标数据统计表作为使用监控模型对相应待监控数据流进行监控后得到的监控结果。

其中，异常配置点存在判断单元300可以包括：

异常数据存在判断子单元，用于根据网络的架构设计图判断各监控结果中是否存在异常数据；

异常数据产生路径及异常配置点确定子单元，用于当存在异常数据时，根据得到异常数据的监控模型确定异常数据产生路径，并将异常数据产生路径作为异常配置点，以对异常配置点的数据传输配置参数进行调整。

进一步的，该数据流监控系统还可以包括：

日志汇总及持久化保存单元，用于按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各周期生成的数据监控日志进行持久化存储。

基于上述实施例，本申请还提供了一种数据流监控装置，该数据流监控装置可以包括存储器和处理器，其中，该存储器中存有计算机程序，该处理器调用该存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然，该数据流监控装置还可以包括各种必要的网络接口、电源以及其它零部件等。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据流监控方法，其特征在于，包括：

获取流经每个预设路径的待监控数据流；

利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；其中，每个所述监控模型的具体监控参数根据流经每个预设路径的待监控数据流的数据类型和数据特征信息对通用模板进行个性化设置得到；

根据各所述监控结果判断网络内是否存在异常配置点；

其中，所述监控模型的建立过程包括：

从流经每条所述预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

根据所述数据类型信息确定相应监控模型的数据监控模式；所述数据监控模式包括流模式和流模式参数，所述流模式参数用于规定预设阈值，以及规定所述预设阈值是与所述待监控数据流中符合特定要求的目标数据的出现次数进行比较，还是与所述目标数据在预设时间周期内的出现速率进行比较；所述流模式用于规定所述预设阈值与所述出现次数或所述出现速率之间的比较方式；

根据所述数据特征信息确定相应监控模型的数据监控对象；所述数据监控对象包含所述历史数据流的数据发送者和数据接收者，所述数据特征信息为所述数据发送者和所述数据接收者的名称；

根据与每个所述历史数据流对应的数据监控对象和数据监控模式对应生成每个所述监控模型。

2.根据权利要求1所述的数据流监控方法，其特征在于，利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果，包括：

根据所述数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

按所述数据监控模式对所述目标数据流进行监控，得到目标数据统计表；

将所述目标数据统计表作为使用所述监控模型对相应待监控数据流进行监控后得到的监控结果。

3.根据权利要求2所述的数据流监控方法，其特征在于，根据各所述监控结果判断网络内是否存在异常配置点，包括：

利用所述监控结果与所述网络的架构设计图进行比较，判断各所述监控结果中是否存在异常数据；其中，所述架构设计图包含所述网络内不同数据处理先后顺序间的关系以及制约条件；

若是，则根据得到所述异常数据的监控模型确定异常数据产生路径，并将所述异常数据产生路径作为所述异常配置点，以对所述异常配置点的数据传输配置参数进行调整。

4.根据权利要求1至3任一项所述的数据流监控方法，其特征在于，还包括：

按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各所述周期生成的数据监控日志进行持久化存储。

5.一种数据流监控系统，其特征在于，包括：

待监控数据流获取单元，用于获取流经每个预设路径的待监控数据流；

数据流监控单元，用于利用分别预设于每个所述预设路径上的监控模型对相应的待监控数据流进行监控，得到各监控结果；其中，每个所述监控模型的具体监控参数根据流经每个预设路径的待监控数据流的数据类型和数据特征信息对通用模板进行个性化设置得到；

异常配置点存在判断单元，用于根据各所述监控结果判断网络内是否存在异常配置点；

其中，还包括：

信息提取单元，用于从流经每条所述预设路径的各历史数据流中分别提取得到数据类型信息和数据特征信息；

监控模式确定单元，用于根据所述数据类型信息确定相应监控模型的数据监控模式；所述数据监控模式包括流模式和流模式参数，所述流模式参数用于规定预设阈值，以及规定所述预设阈值是与所述待监控数据流中符合特定要求的目标数据的出现次数进行比较，还是与所述目标数据在预设时间周期内的出现速率进行比较；所述流模式用于规定所述预设阈值与所述出现次数或所述出现速率之间的比较方式；

数据监控对象确定单元，用于根据所述数据特征信息确定相应监控模型的数据监控对象；所述数据监控对象包含所述历史数据流的数据发送者和数据接收者，而所述数据特征信息为所述数据发送者和所述数据接收者的名称；监控模型生成单元，用于根据与每个所述历史数据流对应的数据监控对象和数据监控模式对应生成每个所述监控模型。

6.根据权利要求5所述的数据流监控系统，其特征在于，所述数据流监控单元包括：

数据流筛选子单元，用于根据所述数据监控对象对流经对应预设路径的待监控数据流进行筛选，得到目标数据流；

相应监控模式监控子单元，用于按所述数据监控模式对所述目标数据流进行监控，得到目标数据统计表；

数据流监控结果获得子单元，用于将所述目标数据统计表作为使用所述监控模型对相应待监控数据流进行监控后得到的监控结果。

7.根据权利要求6所述的数据流监控系统，其特征在于，所述异常配置点存在判断单元包括：

异常数据存在判断子单元，用于利用所述监控结果与所述网络的架构设计图进行比较，判断各所述监控结果中是否存在异常数据；其中，所述架构设计图包含所述网络内不同数据处理先后顺序间的关系以及制约条件；

异常数据产生路径及异常配置点确定子单元，用于当存在所述异常数据时，根据得到所述异常数据的监控模型确定异常数据产生路径，并将所述异常数据产生路径作为所述异常配置点，以对所述异常配置点的数据传输配置参数进行调整。

8.根据权利要求5至6任一项所述的数据流监控系统，其特征在于，还包括：

日志汇总及持久化保存单元，用于按周期将每个周期内生成的监控结果进行汇总，生成数据监控日志，并对各所述周期生成的数据监控日志进行持久化存储。

9.一种数据流监控装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的数据流监控方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据流监控方法的步骤。

Images