CN114048365B - 一种基于大数据流处理技术的运维监控治理方法 - Google Patents

Abstract

本发明涉及一种基于大数据流处理技术的运维监控治理方法,包括，步骤S1，采集模块获取待处理数据；步骤S2，采集模块根据待处理数据类型将待处理数据发送至存储模块当前类型待处理数据库；步骤S3，中控模块根据预设时间当前类型存储数据库存储的数据内容获取存储数据相关度，并将预设时间当前类型存储数据库存储的数据内容发送至待处理数据库；步骤S4，中控模块根据当前类型待处理数据库内数据内容获取异常数据内容相关度；步骤S5，中控模块根据存储的数据内容相关度与异常数据内容相关度比值获取的数据关联度，判定将待处理数据保存至存储模块当前类型存储数据库或当前类型待处理数据库。

Description

一种基于大数据流处理技术的运维监控治理方法

技术领域

本发明涉及数据监控治理领域，尤其涉及一种基于大数据流处理技术的运维监控治理方法。

背景技术

随着大数据使用越来越广泛，流式大数据的实时处理已成为现阶段数据监控处理亟待解决的问题，目前运维监控主要适用于具有一定规模基础的单位和部门，如电力、银行、证券、电信、政府、医疗、教育、保险、广电、铁路、民航、烟草、军工以及大中型企业用户。其运维监控系统相对独立，并且数据种类繁多和数据格式不统一，存在网络数据、应用性能数据、机房数据、服务器数据、平台性能数据、数据库性能数据和终端数据等，然而大量的数据流具有数据分散、数据量大和数据标准和规范不统一等，造成获取数据当无法明确数据的状态，尤其是异常数据的问题，导致运维监控数据的开发利用满足不了运维监控业务的需要。

发明内容

为此，本发明提供一种基于大数据流处理技术的运维监控治理方法，可以解决无法与同一类型数据进行关联度分析判定数据状态的技术问题。

为实现上述目的，本发明提供一种基于大数据流处理技术的运维监控治理方法，包括：

步骤S1，采集模块获取待处理数据，所述数据包括数据内容、数据类型及数据采集时间；

步骤S2，所述采集模块根据待处理数据类型将待处理数据发送至存储模块当前类型待处理数据库；

步骤S3，中控模块根据预设时间当前类型存储数据库存储的数据内容获取存储数据相关度，并将预设时间当前类型存储数据库存储的数据内容发送至所述待处理数据库；

步骤S4，所述中控模块根据当前类型待处理数据库内数据内容获取异常数据内容相关度；

步骤S5，所述中控模块根据存储的数据内容相关度与异常数据内容相关度比值获取的数据关联度，判定将待处理数据保存至所述存储模块当前类型存储数据库或当前类型待处理数据库；

在所述步骤S5中，当所述中控模块获取的数据关联度差值小于预设值时，中控模块将待处理数据保存至当前类型存储数据库，当中控模块获取的数据关联度差值大于预设值时，中控模块将获取的异常数据内容离散度与预设值相比较，若获取的异常数据离散度小于预设值，中控模块将当前待处理数据保存至当前类型存储数据库，若获取的异常数据离散度大于预设值，中控模块将当前待处理数据保存至待处理数据库。

进一步地，所述中控模块获取预设时间t内，所述当前类型存储数据库数据内容a1、a2···an,其中，a1为预设时间内当前类型存储数据库存储的第一数据内容，a2为预设时间内当前类型存储数据库存储的第二数据内容，···an为预设时间内当前类型存储数据库存储的第n数据内容，中控模块获取存储数据相关度r1，设定

其中,A＝(a1+a2+···+an)/n，其中，n为大于等于2的自然数，n为预设时间内当前类型存储数据库存储的数据内容数量，i＝1,2···n。

进一步地，所述中控模块将预设时间内当前类型存储数据库存储的数据内容发送至所述待处理数据库，中控模块根据当前类型存储数据库存储的数据与待处理数据内容获取待处理数据相关度r2，设定

其中，B＝(a1+a2+···+an+a(n+1))/(n+1),其中，a(n+1)为待处理数据内容，j＝1,2···(n+1)。

进一步地，所述中控模块获取数据关联度r0，设定r0＝r1/r2，中控模块将获取的数据关联度与预设关联度标准值R0相比较，判定是否将待处理数据保存所述存储模块中当前类型存储数据库，其中，

当r0≤R0,所述中控模块判定将当前待处理数据保存至所述存储模块中当前类型存储数据库；

当r0＞R0,所述中控模块判定将待处理数据进行再次分析。

进一步地，当所述中控模块判定将待处理数据进行再次分析时，中控模块根据获取的数据关联度与预设关联度R相比较，对预设时间t进行调节，其中，

当r0≤R1，所述中控模块将预设时间t提高至t1，设定t1＝t×(1+(R1-r0)/R1)；

当R1＜r0＜R2，所述中控模块将预设时间t提高至t2,设定t2＝t×(1+(R2-r0)×(r0-R1)/(0.5×R1×R2))；

当r0≥R2，所述中控模块将预设时间t提高至t3，设定t3＝t×(1+(r0-R2)²/R2)；

其中，所述中控模块预设关联度R，设定第一预设关联度R1，第二预设关联度R2。

进一步地，所述中控模块将调节后的预设时间tk当前类型存储数据库数据内容b1，b2···bm发送至当前类型待处理数据库，中控模块根据当前类型存储数据库数据内容与待处理数据内容a(n+1)，获取异常数据离散度d，设定d＝((b1-b0)²+(b2-b0)²+···+(bm-b0)²+(a(n+1)-b0)²)/(m+1),其中，k＝1，2，3，m为大于等于2的自然数，m为调节后的预设时间tk当前类型存储数据库数据内容数量。

进一步地，所述中控模块将获取的异常数据离散度与预设离散度相比较，判定当前数据是否为异常数据，其中，

当d≤D1，所述中控模块判定将待处理数据内容保存至当前类型存储数据库；

当D1＜d＜D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态；

当d≥D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设时间异常数据量，判定当前异常数据内容状态；

其中，所述中控模块预设离散度D，设定第一预设离散度D1，第二预设离散度D2。

进一步地，当所述中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库相邻异常数据采集时间间隔差的绝对值△t与预设值时间间隔差T相比较，判定当前异常数据内容状态，其中，

当△t≤T1，所述中控模块判定当前异常数据内容为故障数据；

当T1＜△t＜T2，所述中控模块判定将预设时间tk提高至tk1，设定tk1＝(1+(△t-T2)/T2)，重复步骤S5；

当△t≥T2，所述中控模块判定当前异常数据为错误数据；

其中，所述中控模块预设时间间隔差T，设定第一预设时间间隔差T1，第二预设时间间隔差T2。

进一步地，当所述中控模块获取异常数据离散度大于等于第二预设离散度时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设检查时间内异常数据量h与预设异常数据量H相比较，判定当前异常数据内容状态，其中，

当h≤H1，所述中控模块判定当前异常数据为错误数据；

当H1＜h＜H2，所述中控模块判定当前异常数据为故障数据；

当h≥H2，所述中控模块判定将预设时间tk降低至tk2,设定tk2＝tk×(1-(h-H2)/H2)，重复步骤S5；

其中，所述中控模块预设异常数据量H，设定第一预设数据量H1,第二预设数据量H2。

进一步地，本发明提供一种基于大数据流处理技术的运维监控治理系统，包括，采集模块，用于获取待处理数据；

存储模块，其与所述采集模块相连接，用于存储数据，所述存储数据包括若干存储数据库和若干待处理数据库，所述存储数据库包括第一类型存储数据库，第二类型存储数据库···第Y类型存储数据库，所述待处理数据库包括第一类型待处理数据库，第二类型待处理数据库···第Y类型待处理数据库；

中控模块，其与所述存储模块相连接，用于判定待处理数据状态。

与现有技术相比，本发明的有益效果在于，本发明设置中控模块，中控模块根据存储的数据内容相关度与异常数据内容相关度比值获取的数据关联度，判定将待处理数据保存至所述存储模块当前类型存储数据库或当前类型待处理数据库；当所述中控模块获取的数据关联度差值小于预设值时，中控模块将待处理数据保存至当前类型存储数据库，当中控模块获取的数据关联度差值大于预设值时，中控模块将获取的异常数据内容离散度与预设值相比较，若获取的异常数据离散度小于预设值，中控模块将当前待处理数据保存至当前类型存储数据库，若获取的异常数据离散度大于预设值，中控模块将当前待处理数据保存至待处理数据库。

尤其，本发明将获取的预设时间内当前类型存储数据库的数据内容设为存储数据组，中控模块获取存储数据组的存储数据相关度，中控模块将存储数据组的数据内容发送至当前类型待处理数据库与待处理数据形成新的数据组，中控模块根据新的数据组内数据内容获取待处理数据相关度，中控模块将存储数据相关度与待处理数据相关度的比值设为数据关联度，数据关联度用以评价待处理数据与存储的数据的关联程度，中控模块将获取的数据关联度与预设关联度标准值相比较，若获取的数据关联度小于等于预设标准值，说明待处理数据与存储的数据关联度较大，中控模块判定将其保存于所述存储模块中当前类型存储数据库中，若获取的数据关联度大于预设标准值，说明待处理数据与存储的数据关联度较小，中控模块通过对待处理数据进行更为详细的分析，以判定待处理数据存在异常的原因。

尤其，本发明中控模块无法判定待处理数据异常原因时，中控模块判定将待处理数据进行再次分析，中控模块根据获取的数据关联度与预设关联度相比较，对预设时间进行调节，以增加分析数据的数量，增加待分析样本量，提高待处理数据判定准确性，其中，当中控模块获取的数据关联度小于等于第一预设关联度，中控模块以获取的数据关联度与第一预设关联度的差值为基准小幅度的提高预设时间，以小幅度的提高待分析数据量，若中控模块获取的数据关联度在第一预设关联度与第二预设关联度之间时，中控模块以获取的数据关联度分别与第一预设关联度和第二预设关联度的差值的乘积为基准提高预设时间，以提高待分析数据量，若当中控模块获取的数据关联度大于等于第二预设关联度，中控模块以获取的数据关联度与第二预设关联度的差值为基准大幅度的提高预设时间，以大幅度的提高待分析数据量，准确的对待处理数据进行评价。

尤其，本发明中控模块根据调节后的预设时间获取当前类型存储数据库存储的数据，与待处理数据形成新的数据组，并根据中控模块设置的方法获取异常数据离散度，用以评价在扩大了数据量的前提下加入待处理数据后，该数据组离散情况，中控模块获取异常数据离散度小于等于第一预设离散度，说明待处理数据与现数据组保持一定的稳定性，中控模块将待处理数据保存至当前类型存储数据库，若中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间，说明待处理数据与当前数据组表现为不稳定，中控模块判定待处理数据为异常数据，同时中控模块根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态，若中控模块获取异常数据离散度大于等于第二预设离散度，说明待处理数据与当前数据组相关性极低，中控模块将其判定为异常数据，并根据当前类型待处理数据库异常数据预设时间异常数据量，判定当前异常数据内容状态。

尤其，本发明中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间时，说明待处理数据与当前数据组表现为不稳定，中控模块设定根据当前类型待处理数据库相邻异常数据采集时间间隔差的绝对值与预设值相比较，对异常数据的状态进行判定，其中，若中控模块获取的相邻异常数据采集时间间隔差的绝对值小于等于第一预设时间间隔差，说明当前异常数据在当前类型待处理数据的保存时间间隔较短，说明，异常数据呈现循环式分布，造成该情况的原因在于待处理数据为标识故障的数据，当前数据代表的设备或其他出现故障，若中控模块获取的相邻异常数据采集时间间隔差的绝对值在第一预设时间间隔差和第二预设时间间隔差之间，说明当前异常数据状态的原因仍不确定，中控模块提高预设时间，进一步的扩大数据量，重复步骤S5,直至获取异常数据的状态，若中控模块获取的异常数据采集时间间隔差的绝对值大于等于第二预设时间间隔差，中控模块判定当前异常数据为错误数据。

尤其，本发明中控模块获取异常数据离散度大于等于第二预设离散度之间时，说明待处理数据与当前数据组相关性极低，中控模块根据当前类型待处理数据库异常数据预设检查时间内异常数据量与预设异常数据量相比较，判定当前异常数据内容状态，其中，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量小于等于第一预设异常数据量，说明预设检查时间内异常数据量较少，说明当前异常数据为错误值，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量在第一预设异常数据量和第二预设异常数据量之间，说明预设检测时间内异常数据量在一定范围内，说明当前异常数据量为故障数据，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量大于等于第二预设异常数据量，说明预设检测时间内异常数据量较大，中控模块降低预设时间,重复步骤S5,以缩小相关数据量，避免因预设时间过长，数据量具有周期性影响异常数据判定。

附图说明

图1为发明实施例基于大数据流处理技术的运维监控治理系统结构示意图；

图2为发明实施例基于大数据流处理技术的运维监控治理方法示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明实施例基于大数据流处理技术的运维监控治理系统结构示意图，包括，

采集模块，用于获取待处理数据；

存储模块，其与所述采集模块相连接，用于存储数据，所述存储数据包括若干存储数据库和若干待处理数据库，所述存储数据库包括第一类型存储数据库，第二类型存储数据库···第Y类型存储数据库，所述待处理数据库包括第一类型待处理数据库，第二类型待处理数据库···第Y类型待处理数据库；

中控模块，其与所述存储模块相连接，用于判定待处理数据状态。

请参阅图2所示，其为本发明实施例基于大数据流处理技术的运维监控治理方法示意图，包括，

步骤S1，采集模块获取待处理数据，所述数据包括数据内容、数据类型及数据采集时间；

步骤S2，所述采集模块根据待处理数据类型将待处理数据发送至存储模块当前类型待处理数据库；

步骤S3，中控模块根据预设时间当前类型存储数据库存储的数据内容获取存储数据相关度，并将预设时间当前类型存储数据库存储的数据内容发送至所述待处理数据库；

步骤S4，所述中控模块根据当前类型待处理数据库内数据内容获取异常数据内容相关度；

步骤S5，所述中控模块根据存储的数据内容相关度与异常数据内容相关度比值获取的数据关联度，判定将待处理数据保存至所述存储模块当前类型存储数据库或当前类型待处理数据库；

在所述步骤S5中，当所述中控模块获取的数据关联度差值小于预设值时，中控模块将待处理数据保存至当前类型存储数据库，当中控模块获取的数据关联度差值大于预设值时，中控模块将获取的异常数据内容离散度与预设值相比较，若获取的异常数据离散度小于预设值，中控模块将当前待处理数据保存至当前类型存储数据库，若获取的异常数据离散度大于预设值，中控模块将当前待处理数据保存至待处理数据库。

具体而言，本发明实施例对数据类型不作限定，只要其能够对数据进行分类即可，本发明实施例提供一种实施方法，应用程序数据中数据类型包括，存在网络数据、应用性能数据、机房数据、服务器数据、平台性能数据、数据库性能数据和终端数据等，本发明实施例提供另一种实施方法，在实验数据中数据类型包括第一实验方法数据、第二实验方法数据、第三实验方法数据等。

具体而言，本发明实施例提供一种优选的实施方案，步骤001，采集模块获取待处理数据；步骤002,采集模块根据获取的待处理数据中数据类型，将待处理数据发送至存储模块中的当前类型待处理数据库；步骤003，中控模块获取预设时间内存储模块中当前类型存储数据库内数据内容形成第一数据组，中控模块获取第一数据组内数据内容的相关度设为存储数据相关度；步骤004，中控模块将第一数据组的数据发送至当前类型待处理数据库，与待处理数据形成第二数据组，中控模块获取第二数据组的待处理数据相关度；步骤005,中控模块根据存储数据相关度与待处理数据相关度的比值获取数据关联度；步骤006,中控模块将获取的数据关联度与预设值相比较，若获取的数据关联度小于预设值，中控模块判定将待处理数据保存至存储模块中当前类型存储数据库，若获取的数据关联度大于预设值，中控模块对待处理数据进行再次分析；步骤007，中控模块根据数据关联度与预设值标准值相比较，对预设时间进行调节，中控模块获取调节后的预设时间内存储模块中当前类型存储数据库数据，并将其发送至当前类型待处理数据库与待处理数据形成第三数据组；步骤008，中控模块获取第三数据组数据离散度，若获取的第三数据组数据离散度小于预设值，中控模块判定将当前数据保存至当前类型存储数据库，若获取的第三数据组数据离散度大于预设值，中控模块根据当前类型待处理数据库异常数据预设时间异常数据量和根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态；步骤009,中控模块经过上述步骤仍无法判定异常数据状态，中控模块再次对预设时间进行调节，以扩大或缩小数据组中数据量，以准确获取异常数据状态。

所述中控模块获取预设时间t内，所述当前类型存储数据库数据内容a1、a2···an,其中，a1为预设时间内当前类型存储数据库存储的第一数据内容，a2为预设时间内当前类型存储数据库存储的第二数据内容，···an为预设时间内当前类型存储数据库存储的第n数据内容，中控模块获取存储数据相关度r1，设定

其中,A＝(a1+a2+···+an)/n，其中，n为大于等于2的自然数，n为预设时间内当前类型存储数据库存储的数据内容数量，i＝1,2···n。

所述中控模块将预设时间内当前类型存储数据库存储的数据内容发送至所述待处理数据库，中控模块根据当前类型存储数据库存储的数据与待处理数据内容获取待处理数据相关度r2，设定

其中，B＝(a1+a2+···+an+a(n+1))/(n+1),其中，a(n+1)为待处理数据内容，j＝1,2···(n+1)。

所述中控模块获取数据关联度r0，设定r0＝r1/r2，中控模块将获取的数据关联度与预设关联度标准值R0相比较，判定是否将待处理数据保存所述存储模块中当前类型存储数据库，其中，

当r0≤R0,所述中控模块判定将当前待处理数据保存至所述存储模块中当前类型存储数据库；

当r0＞R0,所述中控模块判定将待处理数据进行再次分析。

尤其，本发明将获取的预设时间内当前类型存储数据库的数据内容设为存储数据组，中控模块获取存储数据组的存储数据相关度，中控模块将存储数据组的数据内容发送至当前类型待处理数据库与待处理数据形成新的数据组，中控模块根据新的数据组内数据内容获取待处理数据相关度，中控模块将存储数据相关度与待处理数据相关度的比值设为数据关联度，数据关联度用以评价待处理数据与存储的数据的关联程度，中控模块将获取的数据关联度与预设关联度标准值相比较，若获取的数据关联度小于等于预设标准值，说明待处理数据与存储的数据关联度较大，中控模块判定将其保存于所述存储模块中当前类型存储数据库中，若获取的数据关联度大于预设标准值，说明待处理数据与存储的数据关联度较小，中控模块通过对待处理数据进行更为详细的分析，以判定待处理数据存在异常的原因。

当所述中控模块判定将待处理数据进行再次分析时，中控模块根据获取的数据关联度与预设关联度R相比较，对预设时间t进行调节，其中，

当r0≤R1，所述中控模块将预设时间t提高至t1，设定t1＝t×(1+(R1-r0)/R1)；

当R1＜r0＜R2，所述中控模块将预设时间t提高至t2,设定t2＝t×(1+(R2-r0)×(r0-R1)/(0.5×R1×R2))；

当r0≥R2，所述中控模块将预设时间t提高至t3，设定t3＝t×(1+(r0-R2)²/R2)；

其中，所述中控模块预设关联度R，设定第一预设关联度R1，第二预设关联度R2。

具体而言，本发明实施例对预设时间t不作限定，其需要根据采集的数据类型进行设定，本发明实施例提出一种优选的实施方式，当采集的数据类型为网络监控时，预设时间t为0.2-10s。

尤其，本发明中控模块无法判定待处理数据异常原因时，中控模块判定将待处理数据进行再次分析，中控模块根据获取的数据关联度与预设关联度相比较，对预设时间进行调节，以增加分析数据的数量，增加待分析样本量，提高待处理数据判定准确性，其中，当中控模块获取的数据关联度小于等于第一预设关联度，中控模块以获取的数据关联度与第一预设关联度的差值为基准小幅度的提高预设时间，以小幅度的提高待分析数据量，若中控模块获取的数据关联度在第一预设关联度与第二预设关联度之间时，中控模块以获取的数据关联度分别与第一预设关联度和第二预设关联度的差值的乘积为基准提高预设时间，以提高待分析数据量，若当中控模块获取的数据关联度大于等于第二预设关联度，中控模块以获取的数据关联度与第二预设关联度的差值为基准大幅度的提高预设时间，以大幅度的提高待分析数据量，准确的对待处理数据进行评价。

所述中控模块将调节后的预设时间tk当前类型存储数据库数据内容b1，b2···bm发送至当前类型待处理数据库，中控模块根据当前类型存储数据库数据内容与待处理数据内容a(n+1)，获取异常数据离散度d，设定d＝((b1-b0)²+(b2-b0)²+···+(bm-b0)²+(a(n+1)-b0)²)/(m+1),其中，k＝1，2，3，m为大于等于2的自然数，m为调节后的预设时间tk当前类型存储数据库数据内容数量。

所述中控模块将获取的异常数据离散度与预设离散度相比较，判定当前数据是否为异常数据，其中，

当d≤D1，所述中控模块判定将待处理数据内容保存至当前类型存储数据库；

当D1＜d＜D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态；

当d≥D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设时间异常数据量，判定当前异常数据内容状态；

其中，所述中控模块预设离散度D，设定第一预设离散度D1，第二预设离散度D2。

尤其，本发明中控模块根据调节后的预设时间获取当前类型存储数据库存储的数据，与待处理数据形成新的数据组，并根据中控模块设置的方法获取异常数据离散度，用以评价在扩大了数据量的前提下加入待处理数据后，该数据组离散情况，中控模块获取异常数据离散度小于等于第一预设离散度，说明待处理数据与现数据组保持一定的稳定性，中控模块将待处理数据保存至当前类型存储数据库，若中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间，说明待处理数据与当前数据组表现为不稳定，中控模块判定待处理数据为异常数据，同时中控模块根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态，若中控模块获取异常数据离散度大于等于第二预设离散度，说明待处理数据与当前数据组相关性极低，中控模块将其判定为异常数据，并根据当前类型待处理数据库异常数据预设时间异常数据量，判定当前异常数据内容状态。

当所述中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库相邻异常数据采集时间间隔差的绝对值△t与预设值时间间隔差T相比较，判定当前异常数据内容状态，其中，

当△t≤T1，所述中控模块判定当前异常数据内容为故障数据；

当T1＜△t＜T2，所述中控模块判定将预设时间tk提高至tk1，设定tk1＝(1+(△t-T2)/T2)，重复步骤S5；

当△t≥T2，所述中控模块判定当前异常数据为错误数据；

其中，所述中控模块预设时间间隔差T，设定第一预设时间间隔差T1，第二预设时间间隔差T2。

具体而言，本发明实施例中相邻异常数据采集时间间隔差的绝对值△t，设定△t＝|y1-y2|，本发明实施例将当前异常数据，即待处理数据设为A1,当前类型待处理数据库保存的数据按时间顺序排序，分别为Q1,Q2,Q3···Qp,p为当前类型待处理数据库保存数据数量，y1为数据A1与数据Qp采集时间间隔，y2为数据Qp与数据Q(p-1)采集时间间隔。

尤其，本发明中控模块获取异常数据离散度在第一预设离散度和第二预设离散度之间时，说明待处理数据与当前数据组表现为不稳定，中控模块设定根据当前类型待处理数据库相邻异常数据采集时间间隔差的绝对值与预设值相比较，对异常数据的状态进行判定，其中，若中控模块获取的相邻异常数据采集时间间隔差的绝对值小于等于第一预设时间间隔差，说明当前异常数据在当前类型待处理数据的保存时间间隔较短，说明，异常数据呈现循环式分布，造成该情况的原因在于待处理数据为标识故障的数据，当前数据代表的设备或其他出现故障，若中控模块获取的相邻异常数据采集时间间隔差的绝对值在第一预设时间间隔差和第二预设时间间隔差之间，说明当前异常数据状态的原因仍不确定，中控模块提高预设时间，进一步的扩大数据量，重复步骤S5,直至获取异常数据的状态，若中控模块获取的异常数据采集时间间隔差的绝对值大于等于第二预设时间间隔差，中控模块判定当前异常数据为错误数据。

当所述中控模块获取异常数据离散度大于等于第二预设离散度时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设检查时间内异常数据量h与预设异常数据量H相比较，判定当前异常数据内容状态，其中，

当h≤H1，所述中控模块判定当前异常数据为错误数据；

当H1＜h＜H2，所述中控模块判定当前异常数据为故障数据；

当h≥H2，所述中控模块判定将预设时间tk降低至tk2,设定tk2＝tk×(1-(h-H2)/H2)，重复步骤S5；

其中，所述中控模块预设异常数据量H，设定第一预设数据量H1,第二预设数据量H2。

尤其，本发明中控模块获取异常数据离散度大于等于第二预设离散度之间时，说明待处理数据与当前数据组相关性极低，中控模块根据当前类型待处理数据库异常数据预设检查时间内异常数据量与预设异常数据量相比较，判定当前异常数据内容状态，其中，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量小于等于第一预设异常数据量，说明预设检查时间内异常数据量较少，说明当前异常数据为错误值，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量在第一预设异常数据量和第二预设异常数据量之间，说明预设检测时间内异常数据量在一定范围内，说明当前异常数据量为故障数据，若中控模块获取当前类型待处理数据库异常数据预设检查时间内异常数据量大于等于第二预设异常数据量，说明预设检测时间内异常数据量较大，中控模块降低预设时间,重复步骤S5,以缩小相关数据量，避免因预设时间过长，数据量具有周期性影响异常数据判定。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种基于大数据流处理技术的运维监控治理方法，其特征在于，包括：

步骤S1，采集模块获取待处理数据，所述数据包括数据内容、数据类型及数据采集时间；

步骤S2，所述采集模块根据待处理数据类型将待处理数据发送至存储模块当前类型待处理数据库；

步骤S3，中控模块根据预设时间当前类型存储数据库存储的数据内容获取存储数据内容相关度，并将预设时间当前类型存储数据库存储的数据内容发送至所述当前类型待处理数据库，其中，所述中控模块获取预设时间t内，所述当前类型存储数据库数据内容a1、a2···an，其中，a1为预设时间内当前类型存储数据库存储的第一数据内容，a2为预设时间内当前类型存储数据库存储的第二数据内容，···an为预设时间内当前类型存储数据库存储的第n数据内容，中控模块获取存储数据内容相关度r1，设定

其中，A＝(a1+a2+···+an)/n，其中，n为大于等于2的自然数，n为预设时间内当前类型存储数据库存储的数据内容数量，i＝1，2···n，所述中控模块将预设时间内当前类型存储数据库存储的数据内容发送至所述待处理数据库，中控模块根据当前类型存储数据库存储的数据与待处理数据内容获取待处理数据相关度r2，设定

其中，B＝(a1+a2+···+an+a(n+1))/(n+1)，其中，a(n+1)为待处理数据内容，j＝1，2···(n+1)；

步骤S4，所述中控模块根据当前类型待处理数据库内数据内容获取异常数据内容相关度；

步骤S5，所述中控模块根据存储数据内容相关度与异常数据内容相关度比值获取的数据关联度，判定将待处理数据保存至所述存储模块当前类型存储数据库或当前类型待处理数据库；

在所述步骤S5中，当所述中控模块获取的速狙关联度比值小于预设值时，中控模块将待处理数据保存至当前类型存储数据库，当中控模块获取的速狙关联度比值大于预设值时，中控模块将获取的异常数据内容离散度与预设值相比较，若获取的异常数据内容离散度小于预设值，中控模块将当前待处理数据保存至当前类型存储数据库，若获取的异常数据内容离散度大于预设值，中控模块将当前待处理数据保存至当前类型待处理数据库，其中，所述中控模块将调节后的预设时间tk当前类型存储数据库数据内容b1，b2···bm发送至当前类型待处理数据库，中控模块根据当前类型存储数据库数据内容与待处理数据内容a(n+1)，获取异常数据内容离散度d，设定d＝((b1-b0)²+(b2-b0)²+···+(bm-b0)²+(a(n+1)-b0)²)/(m+1)，其中，k＝1，2，3，m为大于等于2的自然数，m为调节后的预设时间tk当前类型存储数据库数据内容数量。

2.根据权利要求1所述的基于大数据流处理技术的运维监控治理方法，其特征在于，所述中控模块获取数据关联度r0，设定r0＝r1/r2，中控模块将获取的数据关联度与预设关联度标准值R0相比较，判定是否将待处理数据保存所述存储模块中当前类型存储数据库，其中，

当r0≤R0，所述中控模块判定将当前待处理数据保存至所述存储模块中当前类型存储数据库；

当r0＞R0，所述中控模块判定将待处理数据进行再次分析。

3.根据权利要求2所述的基于大数据流处理技术的运维监控治理方法，其特征在于，当所述中控模块判定将待处理数据进行再次分析时，中控模块根据获取的数据关联度与预设关联度R相比较，对预设时间t进行调节，其中，

当r0≤R1，所述中控模块将预设时间t提高至t1，设定

t1＝t×(1+(R1-r0)/R1)；

当R1＜r0＜R2，所述中控模块将预设时间t提高至t2，设定

t2＝t×(1+(R2-r0)×(r0-R1)/(0.5×R1×R2))；

当r0≥R2，所述中控模块将预设时间t提高至t3，设定

t3＝t×(1+(r0-R2)²/R2)；

其中，所述中控模块预设关联度R，设定第一预设关联度R1，第二预设关联度R2。

4.根据权利要求1所述的基于大数据流处理技术的运维监控治理方法，其特征在于，所述中控模块将获取的异常数据内容离散度与预设离散度相比较，判定当前数据是否为异常数据，其中，

当d≤D1，所述中控模块判定将待处理数据内容保存至当前类型存储数据库；

当D1＜d＜D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据保存时间间隔，判定当前异常数据内容状态；

当d≥D2，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设时间异常数据量，判定当前异常数据内容状态；

其中，所述中控模块预设离散度D，设定第一预设离散度D1，第二预设离散度D2。

5.根据权利要求4所述的基于大数据流处理技术的运维监控治理方法，其特征在于，当所述中控模块获取异常数据内容离散度在第一预设离散度和第二预设离散度之间时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库相邻异常数据采集时间间隔差的绝对值△t与预设值时间间隔差T相比较，判定当前异常数据内容状态，其中，

当△t≤T1，所述中控模块判定当前异常数据内容为故障数据；

当T1＜△t＜T2，所述中控模块判定将预设时间tk提高至tk1，设定tk1＝(1+(T2-△t)/T2)，重复步骤S5；

当△t≥T2，所述中控模块判定当前异常数据为错误数据；

其中，所述中控模块预设时间间隔差T，设定第一预设时间间隔差T1，第二预设时间间隔差T2。

6.根据权利要求4所述的基于大数据流处理技术的运维监控治理方法，其特征在于，当所述中控模块获取异常数据内容离散度大于等于第二预设离散度时，所述中控模块判定待处理数据为异常数据，中控模块根据当前类型待处理数据库异常数据预设检查时间内异常数据量h与预设异常数据量H相比较，判定当前异常数据内容状态，其中，

当h≤H1，所述中控模块判定当前异常数据为错误数据；

当H1＜h＜H2，所述中控模块判定当前异常数据为故障数据；

当h≥H2，所述中控模块判定将预设时间tk降低至tk2，设定tk2＝tk×(1-(h-H2)/H2)，重复步骤S5；

其中，所述中控模块预设异常数据量H，设定第一预设数据量H1，第二预设数据量H2。

7.一种基于大数据流处理技术的运维监控治理系统，其监控治理方法采用权利要求1-6任一项 所述的方法，其特征在于，所述系统包括，

采集模块，用于获取待处理数据；

存储模块，其与所述采集模块相连接，用于存储数据，所述存储数据包括若干存储数据库和若干待处理数据库，所述存储数据库包括第一类型存储数据库，第二类型存储数据库···第Y类型存储数据库，所述待处理数据库包括第一类型待处理数据库，第二类型待处理数据库···第Y类型待处理数据库；

中控模块，其与所述存储模块相连接，用于判定待处理数据状态。

Images