CN111338882A - 数据监控方法、装置、介质及电子设备 - Google Patents

数据监控方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111338882A
CN111338882A CN201811546430.8A CN201811546430A CN111338882A CN 111338882 A CN111338882 A CN 111338882A CN 201811546430 A CN201811546430 A CN 201811546430A CN 111338882 A CN111338882 A CN 111338882A
Authority
CN
China
Prior art keywords
monitoring
task
data
data collector
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811546430.8A
Other languages
English (en)
Inventor
徐新坤
徐震海
鲍永成
刘海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811546430.8A priority Critical patent/CN111338882A/zh
Publication of CN111338882A publication Critical patent/CN111338882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种数据监控方法、装置、介质及电子设备。该方法包括:获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;通过所述权重信息将所述多个监控任务生成任务包;根据所述监控频率信息拉取所述任务包对应的监控数据;以及通过所述监控数据监控所述目标设备。本发明可以提高数据监控的灵活性。

Description

数据监控方法、装置、介质及电子设备
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据监控方法、数据监控装置、存储介质及电子设备。
背景技术
随着互联网的普及和计算机网络技术的发展,数据的维度越来越高。
在大规模集群中,大量的服务器、虚拟机、应用程序以及各种资源上的各种数据都需要监控。现有的数据监控方法一般采用Push方式,通过目标设备上的agent应用程序采集监控指标。Agent应用程序会将采集的数据发送至消息队列中,监控系统从消息队列中获取到数据后,发送至数据库进行存储。但是,agent应用程序一般预先设置好的配置文件中的监控指标以及采集频率进行数据采集,难以动态改变。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种数据监控方法、数据监控装置、存储介质及电子设备,进而至少在一定程度上克服监控数据获取方式有限、获取不及时的问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种数据监控方法,包括:获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;通过所述权重信息将所述多个监控任务生成任务包;根据所述监控频率信息拉取所述任务包对应的监控数据;以及通过所述监控数据监控所述目标设备。
在本发明的一种示例实施例中,所述根据所述监控频率信息拉取所述任务包对应的监控数据包括:根据所述监控任务制作任务包,并根据预设规则将所述任务包分发给数据收集器;通过所述数据收集器从所述目标设备上拉取所述任务包对应的监控数据。
在本发明的一种示例实施例中,根据预设规则将所述任务包分发给数据收集器之前,还包括;根据所述数据收集器的更新信息确定在线的数据收集器。
在本发明的一种示例实施例中,所述根据预设规则将所述任务包分发给数据收集器,包括:获取在线的数据收集器已接收的任务包数量以及所述数据收集器可执行的任务包总数;根据所述已接收的任务包数量及所述任务包总数确定可用的数据收集器;将所述任务包发送给所述可用的数据收集器。
在本发明的一种示例实施例中,根据所述数据收集器的更新信息确定在线的数据收集器,包括:获取数据收集器发送的更新信息;判断所述更新信息中包含的心跳时间与当前时间的时间差是否超过预设时长;若所述时间差小于等于所述预设时长,则确定所述数据收集器在线。
在本发明的一种示例实施例中,所述通过所述权重信息将所述多个监控任务生成任务包包括:根据未分发的任务包的权重与所述监控任务中的所述权重信息确定所述监控任务的目标任务包;将所述监控任务添加至所述目标任务包之后,更新所述目标任务包的权重。
在本发明的一种示例实施例中,所述根据未分发的任务包的权重与所述监控任务中的所述权重信息确定所述监控任务的目标任务包,包括:判断所述未分发的任务包的权重与所述权重信息中的权重之和是否大于预设阈值;如果所述权重之和不大于预设阈值,则将所述未分发的任务包确定为所述监控任务的目标任务包。
根据本发明实施例的第二方面,提供一种数据监控装置,所述装置包括:任务获取单元,用于获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;任务包确定单元,用于通过所述权重信息将所述多个监控任务生成任务包;数据获取单元,用于根据所述监控频率信息拉取所述任务包对应的监控数据;以及监控单元,用于通过所述监控数据监控所述目标设备。
根据本发明实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的数据监控方法。
根据本发明实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的数据监控方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,通过获取多个监控任务,该监控任务中包括对于目标设备的监控频率信息及权重信息,然后通过权重信息将多个监控任务生成任务包,再根据监控频率信息拉取任务包对应的监控数据,并且通过该监控数据监控目标设备。一方面,可以通过对于目标设备的监控任务使得获取的监控数据更加有针对性和目的性,提高了监控数据获取的效率;另一方面,可以通过调整监控频率信息从而灵活地获取目标设备的监控数据,提高数据监控的灵活性;并且,减少了因监控数据积压产生阻塞的风险,提高了健壮性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本发明的实施例中用于实现数据监控方法的系统架构示意图;
图2示意性示出了根据本发明的实施例的数据监控方法的流程图;
图3示意性示出了根据本发明的另一实施例的数据监控方法的流程图;
图4示意性示出了根据本发明的又一实施例的数据监控方法的流程图;
图5示意性示出了根据本发明的又一实施例的数据监控方法的流程图;
图6示意性示出了根据本发明的又一实施例的数据监控方法的流程图;
图7示意性示出了根据本发明的示例性实施例的数据监控方法的系统架构图;
图8示意性示出了根据本发明的实施例的数据监控装置的框图;
图9示意性示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本示例实施方式中首先提供了一种用于实现数据监控方法的系统架构。参考图1所示,该系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送请求指令等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图片处理应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本申请实施方式所提供的数据监控方法一般由服务器105执行,相应地,数据监控装置一般设置于终端设备101中。
基于上述系统架构100,本示例中首先提供一种数据监控方法。如图2所示,该方法可以包括步骤S210、S220、S230。其中:
步骤S210,获取多个监控任务,该监控任务中包括对于目标设备的监控频率信息及权重信息;
步骤S220,通过权重信息将多个监控任务生成任务包;
步骤S230,根据监控频率信息拉取任务包对应的监控数据;以及通过监控数据监控目标设备。
根据本示例性实施方式中的数据监控方法,通过获取多个监控任务,该监控任务中包括对于目标设备的监控频率信息及权重信息,然后通过权重信息将多个监控任务生成任务包,再根据监控频率信息拉取任务包对应的监控数据,并且通过该监控数据监控目标设备。一方面,可以通过对于目标设备的监控任务使得获取的监控数据更加有针对性和目的性,提高了监控数据获取的效率;另一方面,可以通过调整监控频率信息从而灵活地获取目标设备的监控数据,提高数据监控的灵活性;并且,减少了因监控数据积压产生阻塞的风险,提高了健壮性。
下面,将结合图2至图7对本示例性实施方式中的数据监控方法的各个步骤进行更加详细的说明。
如图2所示,在步骤S210中,获取多个监控任务,该监控任务中包括对于目标设备的监控频率信息及权重信息。
本示例性实施方式中,目标设备可以包括各种终端设备,例如,计算机、交换机等等;也可以包括系统、应用程序或者其他设备,例如,虚拟机等;示例性实施方式对此不做特殊限制。
监控任务可以用来获取需要监控的目标设备上的信息,因此,监控任务可以包括目标设备自身具有的特征信息,例如,目标设备的标识号、设备类型、目标设备的网络连接协议等等;也可以包括目标设备的作用或者用途,例如,用于监控、用于录音、用于录像等等。然而,监控任务中还可以包括数据监控的实际需求,或者对于目标设备的监控指标,例如目标设备的运算速率、存储空间的占用率等。并且,监控任务中还可以包括对于监控数据的采集需求,例如,需要每隔一小时获取一次监控数据、需要监控某台目标设备的数据、采集cpu使用率等等。
对于不同的监控需求可以创建不同的监控任务。并且,还可以为监控任务设置权重,因此监控任务中还可以包括权重信息。该权重信息可以表示执行监控任务所需的资源的大小,或者表示监控任务的重要程度。例如,监控任务为每分钟获取一次cpu使用率,那么可以设置该任务的权重为1,而每秒钟获取一次cpu使用率的监控任务的权重可以设置为60等等。当然,监控任务也可以包括其他参数信息,例如,加密信息、密钥信息等。举例而言,监控任务可以包括目标设备的IP(网络互连协议,Internet Protocol)、目标设备的类型、监控数据的数据采集频率。可选地,监控任务中可以包括:目标设备的IP、目标设备的驱动类型、密钥信息、数据采集频率、监控数据的数据采集的指标、该监控任务的权重信息等。
在一些实施方式中,获取监控任务还可以确定监控任务中包含的参数信息,该参数信息可以包括监控任务的权重、数据采集频率、目标设备信息、数据采集指标。
在步骤S220中,根据权重信息可以将多个监控任务生成任务包。
在本示例实施方式中,权重信息可以包括各监控任务的权重,或者监控任务对应的目标设备的权重。根据各监控任务的权重可以将多个监控任务进行压缩打包,从而生成任务包。举例而言,可以将权重较大的监控任务先进行打包,生成对应的任务包;或者可以根据权重信息对监控任务进行分类,然后将同一类的监控任务打包在一起,形成任务包等。并且,也可以通过其他方式将监控任务制作成任务包,例如,按照监控任务中的包含的参数信息进行打包,数据采集频率相同的监控任务可以制作为一个任务包等等。
在步骤S230中,根据监控频率信息可以从目标设备上拉取任务包对应的监控数据;并且可以通过该监控数据监控目标设备。
参考图2所示,本示例性实施方式中,监控数据可以包括目标设备上保存的数据,或者目标设备运行时产生的数据,例如,目标设备的内存占用率、目标设备的数据库中的数据等等。当然,监控数据也可以包括其他数据,例如,目标设备的型号、目标设备的数量等。本示例实施方式对此不做限定。
获取到监控数据后,可以根据监控数据监控目标设备。通过监控数据可以确定目标设备的各项指标,或者目标设备的运行状态,例如目标设备的内存占用率等。并且,通过监控数据还可以确定目标设备获取的数据,例如目标设备检测到的空气质量数据,目标设备上保存的用户信息等。然而,根据监控数据也可以监控目标设备的其他信息,例如通过监控数据可以监控目标设备的数量等,本示例实施方式对此不做特殊限定。
根据监控任务中的数据采集频率可以获取到目标设备的监控数据。其中,数据采集频率可以指拉取监控数据的频率,或者拉取监控数据的间隔时间。该数据采集频率可以根据监控需求设置,例如,每分钟获取1次数据、每小时获取2次数据、每间隔10分钟获取数据等等。进而,从目标设备上拉取数据可以根据监控任务的数据采集频率来拉取相应的数据。其中,目标设备可以对外提供一接口,通过该接口可以获取目标设备上的数据。该接口可以包括硬件接口,或者软件接口;例如,API接口、自定义接口等等;本示例实施方式对此不做限定。
拉取数据的方式可以通过Pull方法,即,目标设备可以根据任务中的采集频率将数据通过接口上传至目标地址中。目标地址可以包括该目标设备上的地址,或者其他目标设备上的地址,即目标设备之间可以通过该接口互相传递数据。然而,目标地址也可以包括其他设备,或者系统,例如,收集数据的设备、数据监控系统等等。此外,拉取数据的方式也可以通过其他方法,例如,Push方法、get方法、或者自定义方法等等。
为了提高数据拉取的效率,根据监控任务中包含的数据采集频率拉取所述目标设备的监控数据之前,还可以包括根据预设规则将任务包分发给数据收集器,通过数据收集器从目标设备拉取数据,进而从数据收集器中获取任务包对应的监控数据。
本示例性实施方式中,所述数据收集器可以包括能够进行数据收集的设备,或者应用程序;例如,数据采集软件、agent工具等等;本示例实施方式对此不做特殊限定。并且,数据收集器可以具有标识信息,例如,数据收集器的名称;标识号等;或者数据收集器也可以包括其他信息,例如,数据收集器的IP地址、数据收集器的版本号、数据收集的状态等等。该数据收集器可以收集目标设备上的数据;并且,每个数据收集器可以采集多个目标设备上的数据,或者根据指令采集指定的目标设备上的数据。
进而,在数据收集器采集了目标设备上的监控数据后,可以根据监控任务获取数据收集器中的监控数据。举例而言,数据监控系统可以通过与数据收集器取得连接,从而获取数据收集器上采集的数据。数据收集器可以通过Pull的方式,主动将采集的数据上传至与其相连的设备或者系统中。也就是说,数据收集器能够采集目标设备上的各种数据,在采集到数据后可以将该数据上传至与其相连的设备或者系统中。因此,在需要对目标设备进行监控时,可以通过API与数据收集器取得连接,然后根据监控任务中的数据采集频率就可以得到数据收集器上传的监控数据。并且,还可以根据需求调整监控任务中的数据采集频率,从而动态的调整监控数据更新的周期。
在一些实施方式中,将任务包分发给数据收集器可以通过应用程序编程接口(Application Programming Interface,简称API)来执行,将任务包通过API发送至数据收集器。因此,数据收集器在启动后可以向该API注册自己的信息,并且还可以定时向通过API更新自己的信息。根据数据收集器的更新信息可以确定数据收集器是否在线。数据收集器的更新信息可以包括任何数据,例如心跳信号等。根据数据收集器的心跳数据可以确定在线的数据收集器,以便于接收通过API发送的任务包。
可选地,在将任务包分发给数据收集器之前,还可以根据所述数据收集器的更新信息确定在线的数据收集器。从而,可以将任务包分发给在线的数据收集器,保证监控任务能够及时被执行。其中,根据数据收集器的更新信息确定在线的数据收集器,可以通过该更新信息的发送时间来确定。举例而言,如果数据收集器每隔60秒发送一次更新信息,那么可以通过数据收集器上次发送更新信息与当前时间之间的时长来判断该数据收集器是否在线,如果该时长已经超过60秒,那么可以确定数据收集器离线。
由上可知,根据权重信息将多个监控任务生成任务包还可以包括步骤S301和步骤S302。如图3所示,其中:
在步骤S301中,获取到监控任务时,可以根据未分发的任务包的权重与所述权重信息中的权重确定所述监控任务的目标任务包。其中,任务包的权重可以指任务包中包含的监控任务的权重的总和;即,任务包中所包含的监控任务的权重相加为该任务包的权重。当然,任务包的权重也可以根据任务包中包含的监控任务的权重的其他计算方式得出,例如,监控任务的权重的乘积等等。此外,权重信息中的权重可以是监控任务的权重,该权重可以根据监控任务的实际需求设置。举例而言,可以根据监控任务被执行时所需的资源的大小来设置其权重;或者也可以根据监控任务被执行时能够获取的数据的大小来设置其权重。
因此,根据未分发的任务包的权重与权重信息中的权重可以确定所述监控任务的目标任务包。举例而言,可以将未分发的任务包的权重进行排序,将权重最小的任务包确认为所述监控任务的目标任务包。
进而,步骤S302中,确定该监控任务的目标任务包就可以将该监控任务打包至该目标任务包中,作为该目标任务包中的监控任务。将所述监控任务添加至所述目标任务包之后,可以更新所述目标任务包的权重。可以根据任务包设置权重的方式将添加了新的监控任务的目标任务包的权重进行更新。举例而言,如果任务包的权重是其包含的监控任务的权重之和,那么在目标任务包添加了监控任务后,可以将该监控任务的权重与该目标任务包的原始权重相加,作为更新后的目标任务包的权重。例如,目标任务包的权重为5,监控任务的权重为3,那么将监控任务添加至该目标任务包中后,该目标任务包的权重应该更新为8。
此外,步骤S301中根据未分发的任务包的权重与权重信息中的权重确定监控任务的目标任务包还可以包括步骤S401和步骤S402。如图4所示,其中:
在本示例性实施方式中,在步骤S401中,获取到监控任务时,可以根据该监控任务的权重判断未分发的任务包的权重与该监控任务的权重之和是否大于预设阈值。其中,预设阈值可以根据实际需求设置,例如,根据设备的任务处理能力设置等;并且该预设阈值可以设置为任何数值,例如,10、15等等,本示例实施方式对此不做限定。
如果步骤S401中判定所述权重之和不大于预设阈值,那么在步骤S402中可以将该未分发的任务包确定为所述监控任务的目标任务包。如果该权重之和大于预设阈值,那么可以继续判断下一个未分发的任务包与监控任务的权重之和是否大于预设阈值。因此,可以获取到所有未分发的任务包,然后依次判断这些未分发的任务包与该监控任务的权重之和,在确认权重之后不大于预设阈值时,将此时的任务包作为目标任务包。如果查询了所有的未分发任务包,没有找到与该监控任务相加的权重之后不大于预设阈值的任务包,那么也可以创建一个新任务包,将该监控任务添加进去。
在一些实施方式中,根据所述数据收集器的更新信息确定在线的数据收集器还可以包括步骤S501、步骤S502及步骤S503。如图5所示,其中:
步骤S501,获取数据收集器发送的更新信息;
步骤S502,判断所述更新信息中包含的心跳时间与当前时间的时间差是否超过预设时长;
步骤S503,若所述时间差小于等于所述预设时长,则确定所述数据收集器在线。
在本示例性实施方式中,数据收集器可以通过接口与其他设备或者系统互相通信,例如,数据收集器对应的服务器、数据监控系统等等。在服务器或者数据监控系统需要获取数据收集器上的数据时,可以通过接口与数据收集器取得联系。与数据收集器相连后,可以定时收到数据收集器发送的更新信息,如果能够收到该更新信息可以确定连接正常。因此,步骤S501中可以获取到数据收集器发送的更新信息。
在获取到更新信息后,步骤S502中,可以计算该更新信息中包含的心跳时间与当前时间的时间差。其中所述心跳时间可以包括数据收集器上一次发送心跳信号的时间。得到心跳时间与当前时间的时间差后可以判断该时间差是否超过预设时长。预设时长可以包括数据收集器更新信息的发送间隔时间,也可以包括其他时间,例如,自定义的时长等等。
判断所述时间差是否超过预设时长后,在步骤S503中,如果该时间差小于等于预设时长,那么可以确定该数据收集器在线。如果在计算该数据收集器的更新信息中包含的心跳时间与当前时间的时间差后,发现该时间差已经超过预设时长,那么可以确定该数据收集器离线。
因此,在可选地实施方式中,上述根据预设规则将所述任务包分发给数据收集器,还可以包括步骤S601、步骤S602和步骤S603。如图6所示,其中:
步骤S601,获取在线的数据收集器已接收的任务包数量以及所述数据收集器可执行的任务包总数;
步骤S602,根据所述已接收的任务包数量及所述任务包总数确定可用的数据收集器;
步骤S603,将所述任务包发送给所述可用的数据收集器。
由上可知,在本示例实施方式中,确定数据收集器是否在线后,在步骤S601中,可以获取所有在线的数据收集器,进而获取在线的数据收集器已接收的任务包数量以及该数据收集器可执行的任务包总数。根据每个数据收集器的资源配置可以为其设置一可执行的任务包总数,例如,根据数据收集器的cpu的性能指标确定该数据收集器的可执行任务包总数等。也可以通过其他方式确定数据收集器可执行的任务包总数,例如,自定义一数据收集器的可执行任务包总数等。
在步骤S602中,根据数据收集器已接收的任务包的数量以及该数据收集器的可执行任务包总数,可以确定该数据收集器是否可用。如果数据收集器已接收的任务包的数量已经大于可执行的任务包总数,那么可以确定数据收集器不可用。当然,也可以通过其他方式确定数据收集器是否可用,例如,通过计算数据收集器可执行的任务包总数与其已接收的任务包的数量的差是否大于1来确定数据收集器是否可用,即若数据收集器可执行的任务包总数为M,已接收的任务包数量为F,如果M-F>=1,那么确定该数据收集器可用,如果M-F<1,那么该数据收集器不可用。如果确定该数据收集器不可用时,可以对下一个数据收集器进行判断,进而确定可用的数据收集器。
在确定了可用的数据收集器后,在步骤S603中,可以将任务包发送给可用的数据收集器,以供数据收集器采集监控数据。如果没有可用的数据收集器,那么可以等待一段时间,然后执行上述步骤重新确定数据收集器是否可用。
图7示意性示出了根据本发明的示例性实施例的数据监控方法的系统架构图。参考图7,本示例实施方式中,数据监控系统710通过一API与数据收集器720相连,数据收集器可以通过agent应用程序730获取目标设备上的数据。其中,agent应用程序可以在任何设备上部署,从而返回其所在的设备的信息。Agent应用程序根据简单网络管理协议(SimpleNetwork Management Protocol,简称SNMP)进行通信,也就是说,数据收集器720与目标设备上的agent应用程序730通过SNMP进行通信。监控系统710可以通过API将监控任务发送给数据收集器720,数据收集器720通过agent应用程序730获取到目标设备740上的监控数据后,可以将监控数据上传给监控系统。监控系统710获取到数据收集器上的监控数据后,可以将监控数据上传至数据库711中保存,以供查询或者对监控数据进行分析。可以对目标设备740进行监控。
以下介绍本发明的装置的实施方式,可以用于执行本发明上述的数据监控方法。如图8所示,该数据监控装置800可以包括:
任务创建单元810,用于根据目标设备的特征及监控需求创建监控任务;
监控数据获取单元820,用于根据所述监控任务中包含的数据采集频率拉取所述目标设备的监控数据;
数据监控单元830,用于收集所述监控数据,以监控所述目标设备。
由于本发明的示例性实施方式中的数据监控装置的各个功能模块与上述数据监控方法的示例性实施方式的步骤对应,因此对于本发明装置实施方式中未披露的细节,请参照本发明上述的数据监控方法的实施方式。
下面参考图9,其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备的计算机系统900仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施方式中所述的图像去重方法。
例如,所述的电子设备可以实现如图2中所示的:步骤S210,获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;步骤S220,通过所述权重信息将所述多个监控任务生成任务包;步骤S230,根据所述监控频率信息拉取所述任务包对应的监控数据;以及通过所述监控数据监控所述目标设备。
又如,所述的电子设备可以实现如图3所示的各个步骤。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据监控方法,其特征在于,包括:
获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;
通过所述权重信息将所述多个监控任务生成任务包;
根据所述监控频率信息拉取所述任务包对应的监控数据;以及
通过所述监控数据监控所述目标设备。
2.根据权利要求1所述的数据监控方法,其特征在于,所述根据所述监控频率信息拉取所述任务包对应的监控数据包括:
根据预设规则将所述任务包分发给数据收集器;
拉取所述数据收集器中所述任务包对应的监控数据。
3.根据权利要求1所述的数据监控方法,其特征在于,根据预设规则将所述任务包分发给数据收集器之前,还包括;
根据所述数据收集器的更新信息确定在线的数据收集器。
4.根据权利要求2所述的数据监控方法,其特征在于,所述根据预设规则将所述任务包分发给数据收集器,包括:
获取在线的数据收集器已接收的任务包数量以及所述数据收集器可执行的任务包总数;
根据所述已接收的任务包数量及所述任务包总数确定可用的数据收集器;
将所述任务包发送给所述可用的数据收集器。
5.根据权利要求3所述的数据监控方法,其特征在于,根据所述数据收集器的更新信息确定在线的数据收集器,包括:
获取数据收集器发送的更新信息;
判断所述更新信息中包含的心跳时间与当前时间的时间差是否超过预设时长;
若所述时间差小于等于所述预设时长,则确定所述数据收集器在线。
6.根据权利要求2所述的数据监控方法,其特征在于,所述通过所述权重信息将所述多个监控任务生成任务包包括:
根据所述监控任务中的所述权重信息以及未分发的任务包的权重确定所述监控任务的目标任务包;
将所述监控任务添加至所述目标任务包之后,更新所述目标任务包的权重。
7.根据权利要求6所述的数据监控方法,其特征在于,所述根据所述监控任务中的所述权重信息以及未分发的任务包的权重确定所述监控任务的目标任务包包括:
判断所述未分发的任务包的权重与所述权重信息中的权重之和是否大于预设阈值;
如果所述权重之和不大于预设阈值,则将所述未分发的任务包确定为所述监控任务的目标任务包。
8.一种数据监控装置,其特征在于,包括:
任务获取单元,用于获取多个监控任务,所述监控任务中包括对于目标设备的监控频率信息及权重信息;
任务包确定单元,用于通过所述权重信息将所述多个监控任务生成任务包;
数据获取单元,用于根据所述监控频率信息拉取所述任务包对应的监控数据;以及
监控单元,用于通过所述监控数据监控所述目标设备。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一项所述的数据监控方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的数据监控方法。
CN201811546430.8A 2018-12-18 2018-12-18 数据监控方法、装置、介质及电子设备 Pending CN111338882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811546430.8A CN111338882A (zh) 2018-12-18 2018-12-18 数据监控方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811546430.8A CN111338882A (zh) 2018-12-18 2018-12-18 数据监控方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN111338882A true CN111338882A (zh) 2020-06-26

Family

ID=71185105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811546430.8A Pending CN111338882A (zh) 2018-12-18 2018-12-18 数据监控方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111338882A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597388A (zh) * 2020-07-27 2020-08-28 平安国际智慧城市科技股份有限公司 基于分布式系统的样本采集方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
CN102193853A (zh) * 2010-03-12 2011-09-21 三星电子株式会社 虚拟机监控器及其调度方法
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统
CN106214129A (zh) * 2016-08-03 2016-12-14 北京京东尚科信息技术有限公司 终止劣质睡眠的方法、设备、睡眠服务器和智能穿戴终端
CN107665144A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 分布式任务的均衡调度中心、方法、系统和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
CN102193853A (zh) * 2010-03-12 2011-09-21 三星电子株式会社 虚拟机监控器及其调度方法
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统
CN107665144A (zh) * 2016-07-29 2018-02-06 北京京东尚科信息技术有限公司 分布式任务的均衡调度中心、方法、系统和装置
CN106214129A (zh) * 2016-08-03 2016-12-14 北京京东尚科信息技术有限公司 终止劣质睡眠的方法、设备、睡眠服务器和智能穿戴终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597388A (zh) * 2020-07-27 2020-08-28 平安国际智慧城市科技股份有限公司 基于分布式系统的样本采集方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111831420B (zh) 用于任务调度的方法、相关装置及计算机程序产品
US10268750B2 (en) Log event summarization for distributed server system
CN111124819B (zh) 全链路监控的方法和装置
CN111045911B (zh) 性能测试方法、性能测试装置、存储介质与电子设备
CN109039817B (zh) 一种用于流量监控的信息处理方法、装置、设备及介质
CN110445632B (zh) 一种预防客户端崩溃的方法和装置
CN114090366A (zh) 一种监控数据的方法、装置和系统
US20170126580A1 (en) Tracking Contention in a Distributed Business Transaction
CN109428926B (zh) 一种调度任务节点的方法和装置
CN113347269A (zh) 一种工业系统的数据更新方法、电子设备和存储介质
CN108764866B (zh) 用于分配资源、领取资源的方法和设备
US20230269304A1 (en) Method and apparatus for processing notification trigger message
CN101495978B (zh) 减少总线连接的消费者和产生者之间的消息流
US20160321173A1 (en) Automatic garbage collection thrashing monitoring
CN113346973A (zh) 事件提示方法及装置、电子设备、计算机可读存储介质
CN113760982A (zh) 一种数据处理方法和装置
CN111338882A (zh) 数据监控方法、装置、介质及电子设备
US20170223136A1 (en) Any Web Page Reporting and Capture
WO2017131777A1 (en) Application aware cluster monitoring
CN106933449B (zh) 图标处理方法和装置
CN111831503A (zh) 一种基于监控代理的监控方法和监控代理装置
CN112749204B (zh) 一种读取数据的方法和装置
CN115809119A (zh) 容器编排引擎的监控方法、系统及装置
CN114035861A (zh) 集群配置方法、装置、电子设备和计算机可读介质
CN115086194A (zh) 云应用的数据传输方法、计算设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination