CN107124314B - 数据监控方法及装置 - Google Patents
数据监控方法及装置 Download PDFInfo
- Publication number
- CN107124314B CN107124314B CN201710333925.1A CN201710333925A CN107124314B CN 107124314 B CN107124314 B CN 107124314B CN 201710333925 A CN201710333925 A CN 201710333925A CN 107124314 B CN107124314 B CN 107124314B
- Authority
- CN
- China
- Prior art keywords
- data
- moment
- monitored
- threshold range
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012806 monitoring device Methods 0.000 claims description 7
- 241001269238 Data Species 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 17
- 241000208340 Araliaceae Species 0.000 description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 235000008434 ginseng Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据监控方法及装置。其中,该方法包括:获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;根据阈值范围监控待监控时刻的数据。本发明解决了现有技术中对数据进行监控时的监控效率低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据监控方法及装置。
背景技术
随着计算机技术和互联网技术的蓬勃发展,人们的日常生活越来越多的转移到了线上。每天都有大量的数据在计算机上进行处理和交互。为了保证数据的处理能够正常的运行,需要对数据进行监控,比如:在网络连接环境中对网络的延时数据进行监控,在网站维护过程中对在线人数进行监控等等。在监控过程中,一般情况下使用的都是固定阈值。根据统计数据或者经验分析,确定出正常值的取值范围,将此范围作为阈值。这种方式存在以下问题:
首先,这种方法确定出的阈值范围不够准确。
其次,此方法对数据逐渐变化的情况会产生误报。以网络延迟为例,现实情况中,可能由于网络流量增大等原因,网络延迟逐渐增大,高于正常情况。这种正常的网络波动会被固定阈值的监控系统判断为网络异常。
最后,固定阈值需要定期进行调整。随着时间的推移,数据会逐渐变化,需要定期更新阈值范围。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据监控方法及装置,以至少解决现有技术中对数据进行监控时的监控效率低的技术问题。
根据本发明实施例的一个方面,提供了一种数据监控方法,包括:获取第一参考数据和第二参考数据,其中,所述第一参考数据为参考时刻的数据,所述参考时刻在待监控时刻之前并与所述待监控时刻相距预设时间段,所述第二参考数据为所述待监控时刻之前的参考时间段内的数据变化信息;根据所述第一参考数据和所述第二参考数据确定所述待监控时刻的数据对应的阈值范围;根据所述阈值范围监控所述待监控时刻的数据。
根据本发明实施例的另一方面,还提供了一种数据监控装置,包括:获取模块,用于获取第一参考数据和第二参考数据,其中,所述第一参考数据为参考时刻的数据,所述参考时刻在待监控时刻之前并与所述待监控时刻相距预设时间段,所述第二参考数据为所述待监控时刻之前的参考时间段内的数据变化信息;确定模块,用于根据所述第一参考数据和所述第二参考数据确定所述待监控时刻的数据对应的阈值范围;监控模块,用于根据所述阈值范围监控所述待监控时刻的数据。
在本发明实施例中,获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;根据阈值范围监控待监控时刻的数据。也就是说,根据从待监控时刻之前的参考时刻和参考时间段获取的数据对待监控时刻的数据的阈值范围进行预测,并根据预测的阈值范围对待监控时刻的数据进行监控,从而使得监控数据的阈值范围能够根据待监控时刻之前的数据自动进行动态变化,得到的阈值范围更加准确。进一步,通过获取参考时刻和参考时间段的数据对待监控时刻的数据范围进行预测,能够使得得到的阈值范围适应数据的变化情况,从而避免产生误报。同时,动态的预测数据的阈值范围能够自动对阈值范围进行调整,从而适应数据的变化,提高了对数据进行监控时的监控效率,进而克服现有技术中对数据进行监控时的监控效率低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的数据监控方法的应用环境示意图;
图2是根据本发明实施例的一种可选的数据监控方法的示意图;
图3是根据本发明实施例的一种可选的数据监控装置的示意图
图4是根据本发明实施例的一种可选的数据监控方法的应用场景示意图一;
图5是根据本发明实施例的一种可选的数据监控方法的应用场景示意图二;以及
图6是根据本发明实施例的一种可选的数据监控设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
在本发明实施例中,提供了一种上述数据监控方法的实施例。作为一种可选的实施方式,该数据监控方法可以但不限于应用于如图1所示的应用环境中,客户端102通过网络106与服务器104连接,服务器104用于通过网络106监控客户端102的数据,客户端102包括一个或者多个客户端;服务器104,用于获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;根据阈值范围监控待监控时刻的数据。
在本实施例中,服务器104根据从待监控时刻之前的参考时刻和参考时间段获取的网络106中的数据对待监控时刻的数据的阈值范围进行预测,并根据预测的阈值范围对待监控时刻的客户端102的数据进行监控,从而使得监控数据的阈值范围能够根据待监控时刻之前的数据自动进行动态变化,得到的阈值范围更加准确。进一步,通过获取参考时刻和参考时间段的数据对待监控时刻的数据范围进行预测,能够使得得到的阈值范围适应数据的变化情况,从而避免产生误报。同时,动态的预测数据的阈值范围能够自动对阈值范围进行调整,从而适应数据的变化,进而克服现有技术中对数据进行监控时的监控效率低的问题。
可选地,在本实施例中,上述客户端可以包括但不限于以下至少之一:手机、平板电脑、笔记本电脑、台式PC机、数字电视及其他进行区域共享的硬件设备。上述网络可以包括但不限于以下至少之一:广域网、城域网、局域网。上述只是一种示例,本实施例对此不做任何限定。
可选地,在本实施例中,服务器104用于:以预设时间段为时间间隔获取当前时刻的数据,作为第一参考数据;获取当前时刻之前多个单位时间中每个单位时间内待监控时刻对应的第一时刻的数据与当前时刻对应的第二时刻的数据的差的平均值,作为第二参考数据,其中,单位时间包括以下之一:年、天、小时、分钟、秒。
可选地,在本实施例中,服务器104用于:根据第一参考数据和第二参考数据获取待监控时刻的预测数据;根据预测数据和第二参考数据确定待监控时刻的数据对应的阈值范围。
可选地,在本实施例中,服务器104用于:获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,标准差信息用于指示参考时间段内的数据的离散程度;根据预测数据、标准差信息以及预设松弛因子确定待监控时刻的数据对应的阈值范围,其中,预设松弛因子用于对阈值范围进行调整。
可选地,在本实施例中,服务器104用于:在待监控时刻获取待监控时刻的数据;判断待监控时刻的数据是否落入阈值范围;在判断出待监控时刻的数据落入阈值范围的情况下,确定待监控时刻的数据为正常数据;在判断出待监控时刻的数据未落入阈值范围的情况下,确定待监控时刻的数据为非正常数据。
可选地,在本实施例中,服务器104用于:发送提示信息,其中,提示信息用于指示待监控时刻的数据为非正常数据。
根据本发明实施例,提供了一种数据监控方法,如图2所示,该方法包括:
S202,获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;
S204,根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;
S206,根据阈值范围监控待监控时刻的数据。
可选地,在本实施例中,上述数据监控方法可以但不限于应用于对网络数据进行监控的场景中。具体的,可以但不限于应用于在对网络延时数据进行监控的场景中,或还可以但不限于应用于在对网络中在线人数进行监控的场景中,以提高对数据进行监控时的监控效率。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,上述第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段。上述参考时刻可以但不限于是待监控时刻附近的一个时刻,也就是说,第一参考数据可以但不限于是待监控时刻近期的数据。例如:以网络延时数据的监控为例,待监控时刻为T1,那么可以获取T1时刻之前的一个较近的时刻T2的网络延时数据作为上述第一参考数据。
可选地,在本实施例中,上述第二参考数据为待监控时刻之前的参考时间段内的数据变化信息。上述参考时间段可以但不限于是待监控时刻之前的一段时间内产生的数据,也就是说,第二参考数据可以但不限于是待监控时刻之前的历史数据。例如:假设数据以天为周期变化,获取的第二参考数据可以是参考时刻与待监控时刻之间的时间段在待监控时刻之前若干天中对应的时间段内的数据的变化信息。
可选地,在本实施例中,为了提高阈值范围的实用性以及数据监控的准确性,可以利用松弛因子对确定的阈值范围进行调整。
可见,通过上述步骤,根据从待监控时刻之前的参考时刻和参考时间段获取的数据对待监控时刻的数据的阈值范围进行预测,并根据预测的阈值范围对待监控时刻的数据进行监控,从而使得监控数据的阈值范围能够根据待监控时刻之前的数据自动进行动态变化,得到的阈值范围更加准确。进一步,通过获取参考时刻和参考时间段的数据对待监控时刻的数据范围进行预测,能够使得得到的阈值范围适应数据的变化情况,从而避免产生误报。同时,动态的预测数据的阈值范围能够自动对阈值范围进行调整,从而适应数据的变化,提高了对数据进行监控时的监控效率,进而克服现有技术中对数据进行监控时的监控效率低的问题。
作为一种可选的方案,获取所述第一参考数据和所述第二参考数据包括:
S1,以预设时间段为时间间隔获取当前时刻的数据,作为第一参考数据;
S2,获取当前时刻之前多个单位时间中每个单位时间内待监控时刻对应的第一时刻的数据与当前时刻对应的第二时刻的数据的差的平均值,作为第二参考数据,其中,单位时间包括以下之一:年、天、小时、分钟、秒。
可选地,在本实施例中,上述参考时刻可以但不限于是当前时刻。可以设置定时器,每隔预设时间段时对当前的数据进行获取,作为上述第一参考数据。例如:每隔5分钟获取一次当前时刻的数据。
在一个可选的实施方式中,以对网络延时数据进行监控为例,假设单位时间为天,可以获取待监控时刻之前N天(例如:7天)的网络延时数据,进而得到每天中待监控时刻对应的第一时刻的网络延时数据与当前时刻对应的第二时刻的网络延时数据,根据第一时刻的数据和第二时刻的数据得到每一天中两个时刻之间的网络延时数据的变化量,在确定每一天中该时间段的平均变化值,将该平均值作为上述第二参考数据。
通过上述步骤,定时获取当前时刻的数据作为第一参考数据,并获取待监控时刻之前的参考时间段的历史数据作为第二参考数据,从而获取数据的阈值范围,并对数据进行监控。使得阈值范围能够适应待监控时刻之前的近期数据以及历史数据的变化规律。从而灵活的调整数据的阈值范围,提高了对数据进行监控时的监控效率,进而克服现有技术中对数据进行监控时的监控效率低的问题。
作为一种可选的方案,根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围包括:
S1,根据第一参考数据和第二参考数据获取待监控时刻的预测数据;
S2,根据预测数据和第二参考数据确定待监控时刻的数据对应的阈值范围。
可选地,在本实施例中,可以根据第一参考数据和第二参考数据对待监控时刻的数据进行预测,从而得到待监控时刻的预测数据。
在一个可选的实施方式中,以网络延时数据的监控为例,假设同一地区到机房的延迟是有规律的,以天为周期变化。例如:每天晚上的延迟要大于下午的延迟。可以根据当前时刻的延迟和延迟波动的历史情况,推测出下一个时刻的延迟。
根据下一公式可以计算出t+1时刻(即待监控时刻)的延迟
其中,p(t+1)为t+1时刻的延迟预测值(即上述预测数据),di(t)为前i天t时刻延迟数据。n为参考的历史数据的天数,例如:可参考7天的历史数据。
可以看出,d0(t)为当前时刻的延迟数据,即第一参考数据。为t+1时刻前n天的历史数据,得到了t+1时刻前n天中t时刻到t+1时刻之间的时间段中的延迟数据变化的平均值,作为上述第二参考数据。
可选地,在本实施例中,可以根据预测数据和第二参考数据确定待监控时刻的数据对应的阈值范围的上下限。例如:获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,标准差信息用于指示参考时间段内的数据的离散程度,根据预测数据、标准差信息以及预设松弛因子确定待监控时刻的数据对应的阈值范围,其中,预设松弛因子用于对阈值范围进行调整。
在一个可选的实施方式中,以网络延时数据的监控为例,由于理论值和实际值不可能完全匹配,因此在实际使用中,可以根据预测数据设定一个数据的波动范围作为上述阈值范围,在这个范围内的数据均认为是正常的。
U(t+1)=p(t+1)+3σ(t+1)+flex
L(t+1)=p(t+1)-3σ(t+1)-flex
其中,U(t+1)和L(t+1)即为延迟的上下限,p(t+1)为待监控时刻的延迟预测值(即上述预测数据),σ(t+1)为t+1时刻第二参考数据的延迟的标准差,3σ(t+1)即为上述标准差信息,flex为上述松弛因子。也就是说,t+1时刻的延迟在U(t+1)和L(t+1)之间,可以认为该时刻网络正常,否则网络就有可能出现异常。
作为一种可选的方案,根据阈值范围监控待监控时刻的数据包括:
S1,在待监控时刻获取待监控时刻的数据;
S2,判断待监控时刻的数据是否落入阈值范围;
S3,在判断出待监控时刻的数据落入阈值范围的情况下,确定待监控时刻的数据为正常数据;
S4,在判断出待监控时刻的数据未落入阈值范围的情况下,确定待监控时刻的数据为非正常数据。
可选地,在本实施例中,在确定待监控时刻的数据为非正常数据之后,可以对出现的非正常数据的情况进行报警。例如:在上述步骤S206之后,可以发送用于指示待监控时刻的数据为非正常数据的提示信息。
通过上述步骤,可以利用确定的阈值范围对数据进行监控,从而确定待监控时刻的数据是否正常。当待监控时刻的数据为非正常数据时,可以对该情况进行告警。例如:以发送提示信息的方式通知待监控时刻的数据非正常的情况。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述数据监控方法的数据监控装置,如图3所示,该装置包括:
1)获取模块32,用于获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;
2)确定模块34,用于根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;
3)监控模块36,用于根据阈值范围监控待监控时刻的数据。
可选地,在本实施例中,上述数据监控装置可以但不限于应用于对网络数据进行监控的场景中。具体的,可以但不限于应用于在对网络延时数据进行监控的场景中,或还可以但不限于应用于在对网络中在线人数进行监控的场景中,以提高对数据进行监控时的监控效率。上述仅是一种示例,本实施例中对此不做任何限定。
可选地,在本实施例中,上述第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段。上述参考时刻可以但不限于是待监控时刻附近的一个时刻,也就是说,第一参考数据可以但不限于是待监控时刻近期的数据。例如:以网络延时数据的监控为例,待监控时刻为T1,那么可以获取T1时刻之前的一个较近的时刻T2的网络延时数据作为上述第一参考数据。
可选地,在本实施例中,上述第二参考数据为待监控时刻之前的参考时间段内的数据变化信息。上述参考时间段可以但不限于是待监控时刻之前的一段时间内产生的数据,也就是说,第二参考数据可以但不限于是待监控时刻之前的历史数据。例如:假设数据以天为周期变化,获取的第二参考数据可以是参考时刻与待监控时刻之间的时间段在待监控时刻之前若干天中对应的时间段内的数据的变化信息。
可选地,在本实施例中,为了提高阈值范围的实用性以及数据监控的准确性,可以利用松弛因子对确定的阈值范围进行调整。
可见,通过上述装置,根据从待监控时刻之前的参考时刻和参考时间段获取的数据对待监控时刻的数据的阈值范围进行预测,并根据预测的阈值范围对待监控时刻的数据进行监控,从而使得监控数据的阈值范围能够根据待监控时刻之前的数据自动进行动态变化,得到的阈值范围更加准确。进一步,通过获取参考时刻和参考时间段的数据对待监控时刻的数据范围进行预测,能够使得得到的阈值范围适应数据的变化情况,从而避免产生误报。同时,动态的预测数据的阈值范围能够自动对阈值范围进行调整,从而适应数据的变化,提高了对数据进行监控时的监控效率,进而克服现有技术中对数据进行监控时的监控效率低的问题。
作为一种可选的方案,获取模块包括:
1)第一获取单元,用于以预设时间段为时间间隔获取当前时刻的数据,作为第一参考数据;
2)第二获取单元,用于获取当前时刻之前多个单位时间中每个单位时间内待监控时刻对应的第一时刻的数据与当前时刻对应的第二时刻的数据的差的平均值,作为第二参考数据,其中,单位时间包括以下之一:年、天、小时、分钟、秒。
可选地,在本实施例中,上述参考时刻可以但不限于是当前时刻。可以设置定时器,每隔预设时间段时对当前的数据进行获取,作为上述第一参考数据。例如:每隔5分钟获取一次当前时刻的数据。
在一个可选的实施方式中,以对网络延时数据进行监控为例,假设单位时间为天,可以获取待监控时刻之前N天(例如:7天)的网络延时数据,进而得到每天中待监控时刻对应的第一时刻的网络延时数据与当前时刻对应的第二时刻的网络延时数据,根据第一时刻的数据和第二时刻的数据得到每一天中两个时刻之间的网络延时数据的变化量,在确定每一天中该时间段的平均变化值,将该平均值作为上述第二参考数据。
通过上述装置,定时获取当前时刻的数据作为第一参考数据,并获取待监控时刻之前的参考时间段的历史数据作为第二参考数据,从而获取数据的阈值范围,并对数据进行监控。使得阈值范围能够适应待监控时刻之前的近期数据以及历史数据的变化规律。从而灵活的调整数据的阈值范围,提高了对数据进行监控时的监控效率,进而克服现有技术中对数据进行监控时的监控效率低的问题。
作为一种可选的方案,确定模块包括:
1)第三获取单元,用于根据第一参考数据和第二参考数据获取待监控时刻的预测数据;
2)第一确定单元,用于根据预测数据和第二参考数据确定待监控时刻的数据对应的阈值范围。
可选地,在本实施例中,可以根据第一参考数据和第二参考数据对待监控时刻的数据进行预测,从而得到待监控时刻的预测数据。
在一个可选的实施方式中,以网络延时数据的监控为例,假设同一地区到机房的延迟是有规律的,以天为周期变化。例如:每天晚上的延迟要大于下午的延迟。可以根据当前时刻的延迟和延迟波动的历史情况,推测出下一个时刻的延迟。
根据下一公式可以计算出t+1时刻(即待监控时刻)的延迟
其中,p(t+1)为t+1时刻的延迟预测值(即上述预测数据),di(t)为前i天t时刻延迟数据。n为参考的历史数据的天数,例如:可参考7天的历史数据。
可以看出,d0(t)为当前时刻的延迟数据,即第一参考数据。为t+1时刻前n天的历史数据,得到了t+1时刻前n天中t时刻到t+1时刻之间的时间段中的延迟数据变化的平均值,作为上述第二参考数据。
可选地,在本实施例中,第一确定单元用于:获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,其中,标准差信息用于指示参考时间段内的数据的离散程度;根据预测数据、标准差信息以及预设松弛因子确定待监控时刻的数据对应的阈值范围,其中,预设松弛因子用于对阈值范围进行调整。
在一个可选的实施方式中,以网络延时数据的监控为例,由于理论值和实际值不可能完全匹配,因此在实际使用中,可以根据预测数据设定一个数据的波动范围作为上述阈值范围,在这个范围内的数据均认为是正常的。
U(t+1)=p(t+1)+3σ(t+1)+flex
L(t+1)=p(t+1)-3σ(t+1)-flex
其中,U(t+1)和L(t+1)即为延迟的上下限,p(t+1)为待监控时刻的延迟预测值(即上述预测数据),σ(t+1)为t+1时刻第二参考数据的延迟的标准差,3σ(t+1)即为上述标准差信息,flex为上述松弛因子。也就是说,t+1时刻的延迟在U(t+1)和L(t+1)之间,可以认为该时刻网络正常,否则网络就有可能出现异常。
作为一种可选的方案,监控模块包括:
1)第四获取单元,用于在待监控时刻获取待监控时刻的数据;
2)判断单元,用于判断待监控时刻的数据是否落入阈值范围;
3)第二确定单元,用于在判断出待监控时刻的数据落入阈值范围的情况下,确定待监控时刻的数据为正常数据;
4)第三确定单元,用于在判断出待监控时刻的数据未落入阈值范围的情况下,确定待监控时刻的数据为非正常数据。
可选地,在本实施例中,监控模块还包括:发送单元,用于发送提示信息,其中,提示信息用于指示待监控时刻的数据为非正常数据。
通过上述装置,可以利用确定的阈值范围对数据进行监控,从而确定待监控时刻的数据是否正常。当待监控时刻的数据为非正常数据时,可以对该情况进行告警。例如:以发送提示信息的方式通知待监控时刻的数据非正常的情况。
实施例3
本发明实施例的应用环境可以但不限于参照实施例1中的应用环境,本实施例中对此不再赘述。本发明实施例提供了用于实施上述数据监控方法的一种可选的具体应用示例。
作为一种可选的实施例,上述数据监控方法可以但不限于应用于如图4所示的对网络延迟数据进行监控的场景中。每隔5分钟,系统会将近期数据和历史数据发送至预测系统,预测系统根据预测函数会给出待监控时刻的正常延迟阈值范围,若实际延迟大于预测阈值范围,则判断网络有可能出现异常。
在本实施例中,为了预测阈值范围,可以获取历史数据。由于每次阈值范围产生都需要读取历史数据,为了减少预测所需时间,可以将历史数据存储在Redis中。阈值范围计算还需要近期数据,调用阈值预测同样需要传入此参数。
假设同一地区到机房的延迟是有规律的,以天为周期变化。例如:每天晚上的延迟要大于下午的延迟。因此,可以根据上一时间点的延迟和延迟波动的历史情况,推测出下一个时间点的延迟。
根据下一公式可以计算出t+1时刻的延迟:
其中,p(t+1)为t+1时刻的延迟预测值,di(t)为前i天t时刻延迟。参考了7天的历史数据。
由于理论值和实际值不可能完全匹配,因此在实际使用中,还可以根据预测值设定一个波动范围,在这个范围内的延迟均为正常。
U(t+1)=p(t+1)+3σ(t+1)+flex
L(t+1)=p(t+1)-3σ(t+1)-flex
其中的U(t+1)和L(t+1)即为延迟的上下限,其中σ(t+1)为t+1时刻延迟的标准差,flex为松弛。
综上所述,只要t+1时刻的延迟在U(t+1)和L(t+1)之间,就可以认为该时刻网络正常,否则网络就有可能出现异常。
在一个可选的实施方式中,可以对于监控出的非正常数据生成的告警信息用来进行故障分析。如图5所示,展示了某地区两天的实际延迟及预测出的阈值,在图5中,黑色实线表示真实值(real),两条灰色实线表示上限(upper bound)和下限(lower bound),虚线表示预测值(predicted)。根据图5得到如表1所示统计数据:
表1
其中,RMSE为1.95。
通过表1可以看到第一天和第二天的延迟高峰均出现在22点左右,但峰值不同,上述数据监控方法可以很好的适应这种情况,预测值也会随之升高。整体上看,预测的延迟和实际延迟非常接近。
同时,根据网络波动的不同,阈值的范围也不同。网络波动平稳的时间段阈值小于网络不平稳时刻的阈值。这样在不同的网络情况下都可以保证很好的预测结果,既不会误报,也不会漏报。
在本实施例中,提供了一种动态生成数据监控的阈值范围的方法。该方法利用历史数据,实时计算出下一个时间点的数据波动范围。可以将此方法应用于数据监控中,当数据超过阈值则认为数据可能出现异常。
此方法具有以下优点。首先,精确度高。每次预测都以上一个时间点做参照点,同时参考了历史数据,预测值的精度得到了很大提高。其次,免维护。方法部署完成后无需再次进行调整,阈值范围会随着历史数据自动调整。此外,应用范围广。上述方法是一个通用的时间序列预测方法,根据预测数据对实际情况进行调整,可以适用于不同的业务。同时,资源消耗少。本方法计算简单,可以应用于大规模的数据。
实施例4
根据本发明实施例,还提供了一种用于实施上述数据监控方法的数据监控设备,如图6所示,该设备包括:
1)通讯接口602,设置为获取第一参考数据和第二参考数据,其中,所述第一参考数据为参考时刻的数据,所述参考时刻在待监控时刻之前并与所述待监控时刻相距预设时间段,所述第二参考数据为所述待监控时刻之前的参考时间段内的数据变化信息;
2)处理器604,与通讯接口602连接,设置为根据所述第一参考数据和所述第二参考数据确定所述待监控时刻的数据对应的阈值范围;根据所述阈值范围监控所述待监控时刻的数据。
3)存储器606,与通讯接口602及处理器604连接,设置为存储第一参考数据、第二参考数据以及阈值范围。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
实施例5
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以位于网络中的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,获取第一参考数据和第二参考数据,其中,第一参考数据为参考时刻的数据,参考时刻在待监控时刻之前并与待监控时刻相距预设时间段,第二参考数据为待监控时刻之前的参考时间段内的数据变化信息;
S2,根据第一参考数据和第二参考数据确定待监控时刻的数据对应的阈值范围;
S3,根据阈值范围监控待监控时刻的数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:以预设时间段为时间间隔获取当前时刻的数据,作为第一参考数据;获取当前时刻之前多个单位时间中每个单位时间内待监控时刻对应的第一时刻的数据与当前时刻对应的第二时刻的数据的差的平均值,作为第二参考数据,其中,单位时间包括以下之一:年、天、小时、分钟、秒。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:根据第一参考数据和第二参考数据获取待监控时刻的预测数据;根据预测数据和第二参考数据确定待监控时刻的数据对应的阈值范围。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,标准差信息用于指示参考时间段内的数据的离散程度;根据预测数据、标准差信息以及预设松弛因子确定待监控时刻的数据对应的阈值范围,其中,预设松弛因子用于对阈值范围进行调整。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在待监控时刻获取待监控时刻的数据;判断待监控时刻的数据是否落入阈值范围;在判断出待监控时刻的数据落入阈值范围的情况下,确定待监控时刻的数据为正常数据;在判断出待监控时刻的数据未落入阈值范围的情况下,确定待监控时刻的数据为非正常数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:发送提示信息,其中,提示信息用于指示待监控时刻的数据为非正常数据。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据监控方法,其特征在于,包括:
获取第一参考数据和第二参考数据,其中,所述第一参考数据为参考时刻的数据,所述参考时刻在待监控时刻之前并与所述待监控时刻相距预设时间段,所述第二参考数据为所述待监控时刻之前的参考时间段内的数据变化信息;
根据所述第一参考数据和所述第二参考数据确定所述待监控时刻的数据对应的阈值范围,包括:
根据所述第一参考数据和所述第二参考数据获取所述待监控时刻的预测数据;
根据所述预测数据和所述第二参考数据确定所述待监控时刻的数据对应的所述阈值范围;
所述第二参考数据为参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的平均值,其中,所述单位时间包括以下之一:年、天、小时、分钟、秒;
根据所述阈值范围监控所述待监控时刻的数据。
2.根据权利要求1所述的方法,其特征在于,获取所述第一参考数据包括:
以所述预设时间段为时间间隔获取参考时刻的数据,作为所述第一参考数据。
3.根据权利要求1所述的方法,其特征在于,根据所述预测数据和所述第二参考数据确定所述待监控时刻的数据对应的所述阈值范围包括:
获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,其中,所述标准差信息用于指示所述参考时间段内的数据的离散程度;
根据所述预测数据、所述标准差信息以及预设松弛因子确定所述待监控时刻的数据对应的所述阈值范围,其中,所述预设松弛因子用于对所述阈值范围进行调整。
4.根据权利要求1所述的方法,其特征在于,根据所述阈值范围监控所述待监控时刻的数据包括:
在所述待监控时刻获取所述待监控时刻的数据;
判断所述待监控时刻的数据是否落入所述阈值范围;
在判断出所述待监控时刻的数据落入所述阈值范围的情况下,确定所述待监控时刻的数据为正常数据;
在判断出所述待监控时刻的数据未落入所述阈值范围的情况下,确定所述待监控时刻的数据为非正常数据。
5.根据权利要求4所述的方法,其特征在于,在确定所述待监控时刻的数据为非正常数据之后,所述方法还包括:
发送提示信息,其中,所述提示信息用于指示所述待监控时刻的数据为非正常数据。
6.一种数据监控装置,其特征在于,包括:
获取模块,用于获取第一参考数据和第二参考数据,其中,所述第一参考数据为参考时刻的数据,所述参考时刻在待监控时刻之前并与所述待监控时刻相距预设时间段,所述第二参考数据为所述待监控时刻之前的参考时间段内的数据变化信息;
所述获取模块包括第二获取单元,用于获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的平均值,作为所述第二参考数据,其中,所述单位时间包括以下之一:年、天、小时、分钟、秒;
确定模块,用于根据所述第一参考数据和所述第二参考数据确定所述待监控时刻的数据对应的阈值范围,所述确定模块包括第三获取单元和第一确定单元:
第三获取单元,用于根据所述第一参考数据和所述第二参考数据获取所述待监控时刻的预测数据;
第一确定单元,用于根据所述预测数据和所述第二参考数据确定所述待监控时刻的数据对应的所述阈值范围;
监控模块,用于根据所述阈值范围监控所述待监控时刻的数据。
7.根据权利要求6所述的装置,其特征在于,所述获取模块还包括:
第一获取单元,用于以所述预设时间段为时间间隔获取参考时刻的数据,作为所述第一参考数据。
8.根据权利要求6所述的装置,其特征在于,所述第一确定单元用于:
获取参考时刻之前多个单位时间中每个单位时间内所述待监控时刻对应的第一时刻的数据与所述参考时刻对应的第二时刻的数据的差的标准差信息,其中,所述标准差信息用于指示所述参考时间段内的数据的离散程度;
根据所述预测数据、所述标准差信息以及预设松弛因子确定所述待监控时刻的数据对应的所述阈值范围,其中,所述预设松弛因子用于对所述阈值范围进行调整。
9.根据权利要求6所述的装置,其特征在于,所述监控模块包括:
第四获取单元,用于在所述待监控时刻获取所述待监控时刻的数据;
判断单元,用于判断所述待监控时刻的数据是否落入所述阈值范围;
第二确定单元,用于在判断出所述待监控时刻的数据落入所述阈值范围的情况下,确定所述待监控时刻的数据为正常数据;
第三确定单元,用于在判断出所述待监控时刻的数据未落入所述阈值范围的情况下,确定所述待监控时刻的数据为非正常数据。
10.根据权利要求9所述的装置,其特征在于,所述监控模块还包括:
发送单元,用于发送提示信息,其中,所述提示信息用于指示所述待监控时刻的数据为非正常数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333925.1A CN107124314B (zh) | 2017-05-12 | 2017-05-12 | 数据监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333925.1A CN107124314B (zh) | 2017-05-12 | 2017-05-12 | 数据监控方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107124314A CN107124314A (zh) | 2017-09-01 |
CN107124314B true CN107124314B (zh) | 2018-11-09 |
Family
ID=59727125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710333925.1A Active CN107124314B (zh) | 2017-05-12 | 2017-05-12 | 数据监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107124314B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109211564B (zh) * | 2018-10-24 | 2020-05-01 | 哈工大机器人(山东)智能装备研究院 | 一种用于滚珠丝杠副健康评估的自适应阈值检测方法 |
CN113627627A (zh) * | 2021-08-11 | 2021-11-09 | 北京互金新融科技有限公司 | 异常监控方法、装置、计算机可读介质及处理器 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102014031A (zh) * | 2010-12-31 | 2011-04-13 | 湖南神州祥网科技有限公司 | 一种网络流量异常检测方法及系统 |
EP2734928A4 (en) * | 2011-07-22 | 2015-06-24 | Empirix Inc | NETWORK MONITORING SYSTEMS AND METHODS AND TESTING THROUGH DIMENSION VALUES BASED PERFORMANCE INDICATORS |
CN104734916B (zh) * | 2015-03-10 | 2018-04-27 | 重庆邮电大学 | 一种基于tcp协议的高效多级异常流量检测方法 |
CN105162994B (zh) * | 2015-09-24 | 2018-07-20 | 携程计算机技术(上海)有限公司 | 呼叫中心话务量故障的检测方法、系统及服务器 |
CN106126391A (zh) * | 2016-06-28 | 2016-11-16 | 北京百度网讯科技有限公司 | 系统监控方法和装置 |
CN106557401A (zh) * | 2016-10-13 | 2017-04-05 | 中国铁道科学研究院电子计算技术研究所 | 一种it设备监控指标的动态阈值设定方法及系统 |
-
2017
- 2017-05-12 CN CN201710333925.1A patent/CN107124314B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107124314A (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522287B (zh) | 分布式文件存储集群的监控方法、系统、设备及介质 | |
US11165802B2 (en) | Network security assessment using a network traffic parameter | |
US10210036B2 (en) | Time series metric data modeling and prediction | |
EP3024178B1 (en) | Prediction method and device for network performance | |
CN102882745B (zh) | 一种用于监控业务服务器的方法和装置 | |
US20130207801A1 (en) | Approach for prioritizing network alerts | |
CN110955586A (zh) | 一种基于日志的系统故障预测方法、装置和设备 | |
EP4075306A1 (en) | Time-series anomaly prediction and alert | |
CN107426033B (zh) | 一种对物联网接入终端进行状态预测的方法和装置 | |
CN104967537A (zh) | 一种报警信息推送方法及装置 | |
CN112506619B (zh) | 作业处理方法、装置、电子设备和存储介质 | |
CN107124314B (zh) | 数据监控方法及装置 | |
CN107306200B (zh) | 网络故障预警方法和用于网络故障预警的网关 | |
CN113204692A (zh) | 数据处理任务执行进度的监测方法及装置 | |
CN107819745B (zh) | 异常流量的防御方法和装置 | |
CN112565391A (zh) | 调整工业互联网平台中实例的方法、装置、设备和介质 | |
CN114691662A (zh) | 一种数据质量检查规则自适应方法、存储介质及系统 | |
CN112994934B (zh) | 数据交互方法、装置及系统 | |
CN109062758A (zh) | 一种服务器系统宕机处理方法、系统、介质及设备 | |
CN111327487A (zh) | 基于深度学习的电力通信网络运行状态监测方法和装置 | |
CN109165145A (zh) | 一种应用程序的使用情况统计方法及装置 | |
CN114861909A (zh) | 模型质量监控方法、装置、电子设备以及存储介质 | |
CN113541979B (zh) | 基于时序数据的故障动态预测方法、装置及计算设备 | |
CN116416764A (zh) | 报警阈值的生成方法和装置、电子设备和存储介质 | |
CN109508356B (zh) | 数据异常预警方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240110 Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
TR01 | Transfer of patent right |