CN107844401A - 数据监控方法、装置和计算机存储介质 - Google Patents

数据监控方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN107844401A
CN107844401A CN201711088328.3A CN201711088328A CN107844401A CN 107844401 A CN107844401 A CN 107844401A CN 201711088328 A CN201711088328 A CN 201711088328A CN 107844401 A CN107844401 A CN 107844401A
Authority
CN
China
Prior art keywords
data
duration
monitoring method
data monitoring
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711088328.3A
Other languages
English (en)
Inventor
范芳铭
曹悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Pinwei Software Co Ltd
Original Assignee
Guangzhou Pinwei Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Pinwei Software Co Ltd filed Critical Guangzhou Pinwei Software Co Ltd
Priority to CN201711088328.3A priority Critical patent/CN107844401A/zh
Publication of CN107844401A publication Critical patent/CN107844401A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据监控方法，包括：在接收到数据请求时，分布式存储处理所述数据请求的时长；获取存储的预设数量的所述时长；分别计算获取的所述时长的平均值和标准差；在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。本发明还公开了一种数据监控装置和计算机存储介质，通过对存储的处理数据请求的时长进行分析，实现在接收到大规模数据请求时，监控处理数据请求的时长是否出现延迟。

Description

数据监控方法、装置和计算机存储介质
技术领域
本发明涉及大数据处理领域，尤其涉及一种数据监控方法、装置和计算机存储介质。
背景技术
唯品会是一个以抢购和折扣为运营模式的电商网站，目前注册会员超过2亿。其根据用户的爱好和习惯，给用户推送合适的商品，因此，需要快速、稳定的超大规模实时数据运算技术来支撑。然而实时数据的运算转瞬即逝，数据处理的正确性及延迟性等问题引起了程序开发者的高度重视，通过数据监控技术监控实时数据，可在数据处理出现错误或者延迟时，给运维人员以警告，以便快速及时处理此类问题。
现有的数据监控技术一般包括传统的数据库触发器、各类实时计算自带的监控及记录分布式日志。但是，在数据处理发生异常时，实时追踪定位的难度系数较大，而且数据处理的延迟性比较高。
发明内容
本发明的主要目的在于提供一种数据监控方法、装置和计算机存储介质，旨在解决传统的数据处理出现异常时，实时追踪定位的难度系数较大以及数据处理的延迟性比较高的技术问题。
为实现上述目的，本发明提供一种数据监控方法，所述数据监控方法包括步骤：
在接收到数据请求时，分布式存储处理所述数据请求的时长；
获取存储的预设数量的所述时长；
分别计算获取的所述时长的平均值和标准差；
在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。
优选地，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：
在所述标准差小于所述平均值的第一预设倍数且大于或等于所述平均值的第二预设倍数时，输出第二告警信息。
优选地，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：
在所述标准差小于所述平均值的第二预设倍数时，输出系统正常运行信息并输出系统运行的各项参数信息。
优选地，所述数据监控方法还包括：
在接收到数据请求时，分布式存储所述数据请求对应的数据；
获取存储的所述数据中待用户处理的数据；
获取所述待用户处理的数据未被处理的时长；
在所述时长大于预设时长时，获取所述待用户处理的数据对应的用户信息，并根据所述用户信息输出提醒信息。
优选地，所述在接收到数据请求时，分布式存储所述数据请求对应的数据的步骤之后，所述数据监控方法还包括：
获取存储的所述数据中的用户信息及对应的历史数据；
根据所述用户信息及对应的历史数据生成推荐信息，并向用户推送所述推荐信息。
优选地，所述获取存储的预设数量的所述时长的步骤包括：
从存储的所述时长中抽取预设百分数的时长。
优选地，所述获取存储的预设数量的所述时长的步骤包括：
从存储的所述时长中获取预设时间段或者预设日期的时长。
此外，为实现上述目的，本发明还提供一种数据监控装置，所述数据监控装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如以上所述的数据监控方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据监控程序，所述数据监控程序被处理器执行时实现如以上所述的数据监控方法的步骤。
本发明提出的数据监控方法、装置和计算机存储介质，通过在接收到数据请求时，分布式存储处理数据请求的时长，然后获取存储的预设数量的时长，再分别计算获取的时长的平均值和标准差，在标准差大于或等于平均值的第一预设倍数时，输出第一告警信息。本发明通过对存储的处理数据请求的时长进行分析，实现在接收到大规模数据请求时，监控处理数据请求的时长是否出现延迟。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明数据监控方法第一实施例的流程示意图；
图3为本发明数据监控方法第二实施例的流程示意图；
图4为本发明数据监控方法第三实施例的流程示意图；
图5为本发明数据监控方法第四实施例的流程示意图；
图6为本发明数据监控方法第五实施例的流程示意图；
图7为本发明数据监控方法第六实施例的流程示意图；
图8为本发明数据监控方法第七实施例的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：
在接收到数据请求时，分布式存储处理所述数据请求的时长；
获取存储的预设数量的所述时长；
分别计算获取的所述时长的平均值和标准差；
在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。
由于现有技术中，在数据处理发生异常时，实时追踪定位的难度系数较大，而且数据处理的延迟性比较高。
本发明提供一种解决方案，通过对存储的处理数据请求的时长进行分析，实现在接收到大规模数据请求时，监控处理数据请求的时长是否出现延迟，以便及时解决数据处理延迟的问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端是服务器。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004、用户接口1003、存储器1005和通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据监控程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据监控程序，并执行以下操作：
在接收到数据请求时，分布式存储处理所述数据请求的时长；
获取存储的预设数量的所述时长；
分别计算获取的所述时长的平均值和标准差；
在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
在所述标准差小于所述平均值的第一预设倍数且大于或等于所述平均值的第二预设倍数时，输出第二告警信息。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
在所述标准差小于所述平均值的第二预设倍数时，输出系统正常运行信息并输出系统运行的各项参数信息。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
在接收到数据请求时，分布式存储所述数据请求对应的数据；
获取存储的所述数据中待用户处理的数据；
获取所述待用户处理的数据未被处理的时长；
在所述时长大于预设时长时，获取所述待用户处理的数据对应的用户信息，并根据所述用户信息输出提醒信息。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
获取存储的所述数据中的用户信息及对应的历史数据；
根据所述用户信息及对应的历史数据生成推荐信息，并向用户推送所述推荐信息。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
从存储的所述时长中抽取预设百分数的时长。
进一步地，处理器1001可以调用存储器1005中存储的数据监控程序，还执行以下操作：
从存储的所述时长中获取预设时间段或者预设日期的时长。
参照图2，图2为本发明数据监控方法第一实施例的流程示意图；
本实施例提出一种数据监控方法，该数据监控方法包括步骤：
步骤S10，在接收到数据请求时，分布式存储处理所述数据请求的时长；
本发明应用在大数据处理领域，在进行大规模实时数据处理时，可以记录实时数据的值的变化情况，并且可以监控实时计算在预设时间段是否出现延迟。唯品会是个以抢购和折扣为模式的电商网站，拥有大规模的注册用户，且每天的用户访问数量非常庞大，本发明基于此背景而提出。数据请求是基于用户操作发送的，例如，在用户登录唯品会网站时，发送处理用户登录信息的数据请求，此外，还有相关联的数据请求，比如，通过获取用户的登录设备信息，发送检测此用户登录是否为安全登录的数据请求。在用户点击页面图标进行浏览商品时，发送显示此商品具体信息的数据请求，发送搜索用户历史浏览数据的数据请求。基于用户的操作，发送多个数据请求供后台处理，是唯品会网站运营模式的特色，以保障系统正常运行，同时给用户提供了智能的服务。
在接收到数据请求时，采用分布式存储方式存储此数据请求对应的数据和处理此数据请求的时长。以hadoop存储为例说明，将数据请求对应的数据和处理此数据请求的时长通过分布式列队，例如kafka、MQ或其他，以异步的方式发送到hadoop集群，形成hdfs文件块，最终形成一张hadoop的分区表。此种方式存储的数据可以长期存储，还可以追溯数据变化的全部情况。此处也可用mongodb存储，或者其他的数据库，或者分布式文件系统存储，本发明不做限定。
步骤S20，获取存储的预设数量的所述时长；
获取存储的处理数据请求的时长，时长的时间单位为毫秒，用科学的计算方法对处理数据请求的时长进行分析以判断响应数据请求是否出现延迟，从而可进一步确定系统是否处于正常运行阶段，或者确定系统的各项功能操作的性能状况。此处对预设数量不做限定，可进行准确且科学的计算即可。
步骤S30，分别计算获取的所述时长的平均值和标准差；
方差是各变量值与其平均值的差的平方的平均数，是测算数值型数据离散程度的最重要的方法。当数据分布比较分散，即数据在平均数附近波动较大时，各个数据与平均数的差的平方和较大，方差就较大；当数据分布比较集中时，即数据在平均数附近波动较小时，各个数据与平均数的差的平方和较小，方差就较小。标准差为方差的算术平方根，是若干数据平均值分散程度的度量，标准差较大，则表示大部分数据和其平均值之间的差异较大，标准差较小，则表示这些数据较接近其平均值。标准差与方差不同的是，标准差和变量的计算单位相同，因此可以用于直接比较结果。
步骤S40，在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。
将计算所得的标准差与平均值进行比较，第一预设倍数的优选值为10，也可根据系统性能或对应的数据请求的正常响应时间做出调整，在此不做限定。第一告警信息为紧急告警，是需要立即处理的告警问题，告警信息以邮件的形式发送至运维人员或系统维护人员的邮箱，或者以短信形式发送至运维人员或系统维护人员的移动终端，本发明对输出第一告警信息的形式不做限定，可以为多种方式，也可以用多种方式同时提醒运维人员或系统维护人员。
本实施例提出的数据监控方法，在接收到数据请求时，分布式存储处理数据请求的时长，然后获取存储的预设数量的时长，再分别计算获取的时长的平均值和标准差，在标准差大于或等于平均值的第一预设倍数时，输出第一告警信息。通过对存储的处理数据请求的时长进行分析，实现在接收到大规模数据请求时，监控处理数据请求的时长是否出现延迟。
进一步地，参照图3，基于第一实施例提出本发明数据监控方法第二实施例，在本实施例中，所述步骤S30之后，所述数据监控方法还包括：
步骤S50，在所述标准差小于所述平均值的第一预设倍数且大于或等于所述平均值的第二预设倍数时，输出第二告警信息。
第二告警信息为提示告警，告知运维人员或系统维护人员，系统出现了处理数据请求较慢的情况，为了不减低用户的体验感，需要优化系统性能，或者分析是什么原因导致这种情况的出现，以使处理数据请求较慢的情况得到改善，回归正常。第二预设倍数的优选值为5，也可根据系统性能或对应的数据请求的正常响应时间做出调整，在此不做限定。输出第二告警信息的方式与输出第一告警信息的方式相同。
本实施例公开的技术方案中，相较于第一实施例，增加了提示告警信息的输出，如此，运维人员或系统维护人员及时了解告警信息的轻重程度，从而更有针对性的处理告警问题，此外，如果收到第二告警信息时，运维人员或系统维护人员正在处理其他紧急事情，可安排其他时间去处理此告警，而无需两边兼顾，增加运维人员或系统维护人员的工作压力。
进一步地，参照图4，基于第一实施例提出本发明数据监控方法第三实施例，在本实施例中，所述步骤S30之后，所述数据监控方法还包括：
步骤S60，在所述标准差小于所述平均值的第二预设倍数时，输出系统正常运行信息并输出系统运行的各项参数信息。
输出系统正常运行信息并输出系统运行的各项参数信息的方式，可在终端设备上弹出界面提示，或发送汇总邮件信息至运维人员或系统维护人员邮箱，在此不做限定。
本实施例公开的技术方案中，输出系统正常运行信息并输出系统运行的各项参数信息以告知运维人员或系统维护人员系统在正常运行，且各项运行参数是正常的，以便运维人员或系统维护人员及时了解系统运行的动态，同时通过对各项运行参数的定期检查，可发现系统潜在的问题。
进一步地，参照图5，基于第一实施例提出本发明数据监控方法第四实施例，在本实施例中，所述数据监控方法还包括：
步骤S70，在接收到数据请求时，分布式存储所述数据请求对应的数据；
步骤S80，获取存储的所述数据中待用户处理的数据；
步骤S90，获取所述待用户处理的数据未被处理的时长；
步骤S100，在所述时长大于预设时长时，获取所述待用户处理的数据对应的用户信息，并根据所述用户信息输出提醒信息。
系统已生产用户订单，但用户未及时付款，或者网络故障导致用户付款未成功，而用户暂时放弃了付款，此时订单处于待处理状态。针对此类情况，本发明提供一种解决方案，获取存储的数据中待用户处理的数据，并获取该数据停留在待处理状态的时长，将此时长与预设时长进行对比，若此时长大于预设时长，则获取该数据对应的用户信息，并根据用户信息输出提醒信息。此处对输出提醒信息的方式不做限定，可发送手机短信，可发送微信消息，可发送QQ消息，也可发送邮件，或者多种提示方式并存，以确保用户不错过此提醒信息。
本实施例公开的技术方案中，在用户忘记付款时，给予提示，在网络出现故障导致用户付款失败时，给予再次付款的提示，使用户与系统的交互智能化，同时促进网站的付款成交量。
进一步地，参照图6，基于第四实施例提出本发明数据监控方法第五实施例，在本实施例中，所述步骤S70之后，所述数据监控方法还包括：
步骤S110，获取存储的所述数据中的用户信息及对应的历史数据；
步骤S120，根据所述用户信息及对应的历史数据生成推荐信息，并向用户推送所述推荐信息。
在用户登录唯品会网站浏览商品时，通过获取存储的数据中的用户信息及历史数据，可知用户的性别、年龄及喜好，根据这些信息在后台搜索数据生成推荐信息，此处所述的推荐信息为用户可能喜欢，或可能需要的商品信息，然后将此推荐信息推送给用户，让用户在浏览商品的同时注意到此推荐信息，若此推荐信息引起用户的兴趣，就会点击查阅。
本实施例公开的技术方案中，在用户登录唯品会网站浏览商品时，通过向用户推送可能感兴趣的商品，以吸引用户的眼球，增加用户购买商品的可能性，以促进网站的交易量，同时也为用户提供了更丰富的服务。
进一步地，参照图7，基于第一实施例提出本发明数据监控方法第六实施例，在本实施例中，所述步骤S20包括：
步骤S21，从存储的所述时长中抽取预设百分数的时长。
本发明中存储的数据是非常庞大的，为了能精准分析这些数据是否正常，可采用从中抽样的方法来获取待计算的时长，然后计算获取的时长的标准差。抽样百分数为预设百分数，可为千分之一或者万分之一，在此不做限定，可根据系统运行情况或者硬件设备情况进行调整。
本实施例公开的技术方案中，采用抽样的方法获取处理数据请求的时长，将其作为待计算的时长，使得利用标准差分析处理数据请求的时长是否正常的方法更准确，得到的结果也更符合系统实际运行的情况。
进一步地，参照图8，基于第一实施例提出本发明数据监控方法第七实施例，在本实施例中，所述步骤S20包括：
步骤S22，从存储的所述时长中获取预设时间段或者预设日期的时长。
本实施例公开的技术方案中，通过获取预设时间段或者预设日期的时长，用于分析系统在不同阶段的运行情况，以便运维人员或系统维护人员掌握系统更多的实时动态信息以应付突发状况。此处的预设时间段和预设日期可根据不同目的和需求做调整，在此不做限定。
此外，本发明实施例还提出一种数据监控装置，所述数据监控装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上实施例所述的数据监控方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据监控程序，所述数据监控程序被处理器执行时实现如上实施例所述的数据监控方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，云端服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据监控方法，其特征在于，所述数据监控方法包括步骤：
在接收到数据请求时，分布式存储处理所述数据请求的时长；
获取存储的预设数量的所述时长；
分别计算获取的所述时长的平均值和标准差；
在所述标准差大于或等于所述平均值的第一预设倍数时，输出第一告警信息。
2.如权利要求1所述的数据监控方法，其特征在于，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：
在所述标准差小于所述平均值的第一预设倍数且大于或等于所述平均值的第二预设倍数时，输出第二告警信息。
3.如权利要求1所述的数据监控方法，其特征在于，所述分别计算获取的所述时长的平均值和标准差的步骤之后，所述数据监控方法还包括：
在所述标准差小于所述平均值的第二预设倍数时，输出系统正常运行信息并输出系统运行的各项参数信息。
4.如权利要求1所述的数据监控方法，其特征在于，所述数据监控方法还包括：
在接收到数据请求时，分布式存储所述数据请求对应的数据；
获取存储的所述数据中待用户处理的数据；
获取所述待用户处理的数据未被处理的时长；
在所述时长大于预设时长时，获取所述待用户处理的数据对应的用户信息，并根据所述用户信息输出提醒信息。
5.如权利要求4所述的数据监控方法，其特征在于，所述在接收到数据请求时，分布式存储所述数据请求对应的数据的步骤之后，所述数据监控方法还包括：
获取存储的所述数据中的用户信息及对应的历史数据；
根据所述用户信息及对应的历史数据生成推荐信息，并向用户推送所述推荐信息。
6.如权利要求1所述的数据监控方法，其特征在于，所述获取存储的预设数量的所述时长的步骤包括：
从存储的所述时长中抽取预设百分数的时长。
7.如权利要求1所述的数据监控方法，其特征在于，所述获取存储的预设数量的所述时长的步骤包括：
从存储的所述时长中获取预设时间段或者预设日期的时长。
8.一种数据监控装置，其特征在于，所述数据监控装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据监控方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据监控程序，所述数据监控程序被处理器执行时实现如权利要求1至7中任一项所述的数据监控方法的步骤。
CN201711088328.3A 2017-11-07 2017-11-07 数据监控方法、装置和计算机存储介质 Pending CN107844401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711088328.3A CN107844401A (zh) 2017-11-07 2017-11-07 数据监控方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711088328.3A CN107844401A (zh) 2017-11-07 2017-11-07 数据监控方法、装置和计算机存储介质

Publications (1)

Publication Number Publication Date
CN107844401A true CN107844401A (zh) 2018-03-27

Family

ID=61681422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711088328.3A Pending CN107844401A (zh) 2017-11-07 2017-11-07 数据监控方法、装置和计算机存储介质

Country Status (1)

Country Link
CN (1) CN107844401A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444172A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据监控方法、装置、介质及设备
CN112328450A (zh) * 2020-11-03 2021-02-05 平安信托有限责任公司 数据监控方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN106021577A (zh) * 2016-06-01 2016-10-12 北京金山安全软件有限公司 一种推送信息的方法、装置及电子设备
CN106407052A (zh) * 2015-07-31 2017-02-15 华为技术有限公司 一种检测磁盘的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN106407052A (zh) * 2015-07-31 2017-02-15 华为技术有限公司 一种检测磁盘的方法及装置
CN106021577A (zh) * 2016-06-01 2016-10-12 北京金山安全软件有限公司 一种推送信息的方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444172A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据监控方法、装置、介质及设备
CN112328450A (zh) * 2020-11-03 2021-02-05 平安信托有限责任公司 数据监控方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN104283967B (zh) 一种基于物联网数据采集的第三方数据服务系统
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
CN108874640B (zh) 一种集群性能的评估方法和装置
US20190163546A1 (en) Correlating failures with performance in application telemetry data
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
US11457029B2 (en) Log analysis based on user activity volume
US8396834B2 (en) Real time web usage reporter using RAM
CN106227780B (zh) 一种海量网页的自动化截图取证方法和系统
CN110493065B (zh) 一种云中心运维的告警关联度分析方法及系统
CN104126182A (zh) 远程通信的系统和方法
CN111125518B (zh) 家电信息推荐的系统及方法
CN108809720A (zh) 云数据系统中告警任务的管理方法和装置
CN111581258B (zh) 一种安全数据分析方法、装置、系统、设备及存储介质
CN107844401A (zh) 数据监控方法、装置和计算机存储介质
CN112948223A (zh) 一种监测运行情况的方法和装置
CN110347653A (zh) 数据处理方法及装置、电子设备和可读存储介质
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN116594843A (zh) 服务监测方法、装置、系统及电子设备
CN110809050A (zh) 基于流式计算的个性化推送系统及方法
CN110113208A (zh) 报警信息处理方法、装置、设备及计算机可读存储介质
CN116205624A (zh) 基于数字孪生的设备运行管理方法及相关产品
CN114443437A (zh) 告警根因输出方法、装置、设备、介质和程序产品
CN112560938B (zh) 模型训练方法、装置及计算机设备
CN115222181A (zh) 机器人运营状态监控系统及方法
CN113656452A (zh) 调用链指标异常的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327

RJ01 Rejection of invention patent application after publication