CN109710497A - 数据采集方法和系统 - Google Patents

数据采集方法和系统 Download PDF

Info

Publication number
CN109710497A
CN109710497A CN201711012602.9A CN201711012602A CN109710497A CN 109710497 A CN109710497 A CN 109710497A CN 201711012602 A CN201711012602 A CN 201711012602A CN 109710497 A CN109710497 A CN 109710497A
Authority
CN
China
Prior art keywords
operation data
computing system
acquisition
memory
corresponding index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711012602.9A
Other languages
English (en)
Inventor
张伶卫
徐震海
李旦
李强
刘海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711012602.9A priority Critical patent/CN109710497A/zh
Publication of CN109710497A publication Critical patent/CN109710497A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据采集方法,用于采集计算系统的运行数据,所述方法包括:确定要针对其进行采集的至少一个计算系统以及要针对所述至少一个计算系统中的每个所述计算系统采集的相应指标;创建至少一个线程;以及所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据。

Description

数据采集方法和系统
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据采集方法和一种数据采集系统。
背景技术
随着计算机和互联网技术的快速发展,各种计算机系统(例如,物理机或者虚拟机等)在金融、商业、交通、通信、制造业和服务业等社会生活的各个领域,发挥着越来越重要的作用。为了实现计算机系统的稳定可靠运行,通常需要检测监控计算机系统的运行数据(例如,CPU使用率、网络速率等),因此,如何对计算机运行数据进行采集是一个需要重点考虑的问题。
在实现本发明构思的过程中,发明人发现现有技术中至少存在如下问题,即,现有技术中的运行数据采集技术的采集速度过慢,采集粒度较大,无法及时发现运行数据的异常,导致对运行中出现的问题无法及时排查。
发明内容
有鉴于此,本公开提供了一种快速采集的数据采集方法和采集系统。
本公开的一个方面提供了一种数据采集方法,用于采集计算系统的运行数据,所述方法包括:确定要针对其进行采集的至少一个计算系统以及要针对所述至少一个计算系统中的每个所述计算系统采集的相应指标,创建至少一个线程,以及所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据。
根据本公开的实施例,上述至少一个线程并行采集每个所述计算系统的相应指标的运行数据,包括:不同的运行数据是通过不同的线程采集的,所述不同的运行数据包括所述运行数据所属的计算系统不同以及所属的指标类型不同。
根据本公开的实施例,上述至少一个计算系统包括:物理机计算系统和/或所述物理机中的至少一个虚拟机计算系统。
根据本公开的实施例,上述采集每个所述计算系统的相应指标的运行数据,包括:从系统文件中读取每个所述计算系统的相应指标的运行数据。
根据本公开的实施例,上述的方法还包括:对所述采集的运行数据进行处理,得到处理后的运行数据。
根据本公开的实施例,上述的方法还包括:将所述采集到的运行数据存储在内存中,以及在显示单元上显示所述内存中存储的运行数据。
根据本公开的实施例,上述将所述采集到的运行数据存储在内存中,包括:使用新一次采集的运行数据覆盖上一次采集的运行数据存储在所述内存中。
本公开的另一方面提供了一种数据采集系统,用于采集计算系统的运行数据,所述系统包括确定模块、创建模块以及采集模块。确定模块确定要针对其进行采集的至少一个计算系统以及要针对所述至少一个计算系统中的每个所述计算系统采集的相应指标。创建模块创建至少一个线程。采集模块,所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据。
根据本公开的实施例,上述至少一个线程并行采集每个所述计算系统的相应指标的运行数据,包括:不同的运行数据是通过不同的线程采集的,所述不同的运行数据包括所述运行数据所属的计算系统不同以及所属的指标类型不同。
根据本公开的实施例,上述至少一个计算系统包括:物理机计算系统和/或所述物理机中的至少一个虚拟机计算系统。
根据本公开的实施例,上述采集每个所述计算系统相应指标的运行数据,包括:从系统文件中读取每个所述计算系统相应指标的运行数据。
根据本公开的实施例,上述的系统还包括处理模块,处理模块对所述采集的运行数据进行处理,得到处理后的运行数据。
根据本公开的实施例,上述的系统还包括存储模块以及显示模块。存储模块将所述采集到的运行数据存储在内存中。显示模块在显示单元上显示所述内存中存储的运行数据。
根据本公开的实施例,上述将所述采集到的运行数据存储在内存中,包括:使用新一次采集的运行数据覆盖上一次采集的运行数据存储在所述内存中。
本公开的另一个方面提供了一种数据采集系统,包括:一个或多个处理器,存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如上所述的方法。
本公开的另一个方面提供了一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如上所述的方法。
根据本公开实施例,可以至少部分的解决现有技术中运行数据采集技术的采集速度过慢,采集粒度较大,无法及时发现运行数据的异常的问题,并因此可以实现提高运行数据的采集速度,减小采集粒度,便于及时发现计算系统的问题,有助于计算系统的问题排查的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用于数据采集方法和采集系统的应用场景;
图2示意性示出了根据本公开实施例的数据采集方法的流程图;
图3示意性示出了根据本公开另一实施例的数据采集方法的流程图;
图4示意性示出了根据本公开实施例的数据采集系统的框图;
图5示意性示出了根据本公开另一实施例的数据采集系统的框图;以及
图6示意性示出了根据本公开实施例的适于实现数据采集的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种数据采集方法以及能够应用该方法的数据采集系统。该方法包括确定要针对其进行采集的至少一个计算系统以及要针对至少一个计算系统中的每个计算系统采集的相应指标,创建至少一个线程,以及至少一个线程并行采集每个计算系统的相应指标的运行数据。
图1示意性示出了根据本公开实施例的可以应用于数据采集方法和采集系统的应用场景。
如图1所示,该应用场景可以包括一物理机100,物理机100例如可以是物理服务器或者物理主机等实体计算机。
物理机100上安装有虚拟机110、120、130,虚拟机110、120、130可以是虚拟主机、虚拟空间、云主机等,可以是使用虚拟技术在物理机100上虚拟出来的虚拟空间或者虚拟独立服务器等。
例如,京东弹性云平台操作系统包括有多个容器,一个容器可以相当于一个虚拟机,一个容器可以独立于其他容器或其他计算系统,一个或多个应用程序可以在容器里运行,不同容器里运行的应用程序彼此隔离,使用容器运行应用程序,可以提高应用程序的平均部署密度以及物理机计算系统的利用率。
例如,京东商城数据中心操作系统可以包含数万台容器,该些容器在对京东商城的大量业务进行处理时,带来了显著的效益。为了保障物理机计算系统以及虚拟机计算系统(容器)在处理业务时正常运行,通常需要定时对该些计算系统进行压力测试,例如测试物理机和虚拟机的运行状况,运行状况例如可以包括CPU使用率、负载、网络流量以及磁盘读写速度等指标。
本公开实施例提供了一种数据采集方法,可以用于采集至少一个计算系统的运行数据。例如,可以根据需求选择采集物理机100、虚拟机110、120、130中的一个或者多个计算系统的运行数据。
根据本公开实施例,还可以根据需求选择采集每个计算系统的哪些运行数据。例如,可以采集虚拟机110的指标111对应的数据,指标111可以包括一个或多个指标,例如包括指标111A(例如,CPU使用率)、指标111B(例如,内存使用率)……。可以理解,不同计算系统的采集的指标可以相同也可以不同。
应当理解,图1中的物理机、虚拟机和指标的数目仅仅是示意性的。根据实现需要,可以具有任意数目的物理机、虚拟机和指标。下面结合图1的应用场景,参考图2~图3来描述根据本公开示例性实施方式的数据采集方法。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何应用场景。
图2示意性示出了根据本公开实施例的数据采集方法的流程图。
如图2所示,该方法包括在操作S201~S203。
在操作S201,确定要针对其进行采集的至少一个计算系统以及要针对至少一个计算系统中的每个计算系统采集的相应指标。其中,至少一个计算系统包括物理机计算系统和/或物理机中的至少一个虚拟机计算系统。
根据本公开实施例,计算系统例如可以由计算机硬件(实体或者虚拟)和软件组成,硬件例如可以包括中央处理器、存储器或外部设备等,软件例如可以是计算机运行程序或相应的文档等,计算系统例如具有接收数据、存储信息、计算处理数据等功能。
根据本公开实施例,计算系统例如可以是物理机计算系统,也可以是虚拟机计算系统。虚拟机计算系统可以存在于物理机计算系统中,可以是使用虚拟技术在物理机上虚拟出来的虚拟空间或者虚拟独立服务器等。
根据本公开实施例,确定要针对其进行采集的至少一个计算系统,可以是根据用户请求确定对其进行采集的至少一个计算系统。例如,接收到用户请求,用户请求包括请求采集的计算系统,例如可以包括物理机计算系统100和虚拟机计算系统110。
确定要针对其进行采集的至少一个计算系统还可以是根据设定的采集指令确定对其进行采集的至少一个计算系统。例如,系统设定每2秒钟采集一次物理机计算系统100和虚拟机计算系统110的运行数据。
在本公开实施例中,可以对一个或者多个物理机计算系统进行采集,也可以对物理机计算系统中的一个或者多个虚拟机计算系统进行采集,还可以是对物理机计算系统和虚拟机计算系统的组合进行采集,在本公开实施例中,对采集的计算系统类型及数量不作限制,本领域技术人员可以根据实际应用中进行设定。
本公开实施例还包括确定每个计算系统采集的相应指标。不同计算系统可以采集相同的指标,也可以采集不同的指标。指标例如可以包括CPU使用率、内存使用率、swap内存使用率、系统负载、线程数、网络发送/接收速率、发送/接收包速率、发送/接收错误包数量、发送/接收丢弃包数量、读/写速率、读/写次数速率、io时间占比等。
例如,虚拟机110对应的采集指标可以包括CPU使用率、内存使用率、swap内存使用率、系统负载、线程数五个指标,虚拟机120对应的采集指标也可以包括CPU使用率、内存使用率、swap内存使用率、系统负载、线程数五个指标。或者虚拟机110对应的采集指标可以包括CPU使用率、内存使用率、swap内存使用率、系统负载、线程数五个指标,虚拟机120可以对应不同的采集指标例如可以包括系统负载、线程数、网络发送/接收速率、发送/接收包速率、发送/接收错误包数量。
在本公开实施例中,每个计算系统的指标可以相同,也可以不同,可以对每个计算系统的所有运行指标进行采集,也可以对部分运行指标进行采集,本公开此不作限制,本领域技术人员可根据实际应用进行设定。
在操作S202,创建至少一个线程。
根据本公开实施例,根据确定的指标的总个数创建线程。指标的总个数包括不同计算系统的对应指标个数分别相加。例如,确定采集的计算系统为A和B,计算系统A对应10个指标、计算系统B对应5个指标,共15个指标,则可以创建15个线程。
在本公开实施例中,例如可以通过Go语言(一种计算机开发语言)创建线程,例如,Go语言可以根据指标的个数创建相应数量的Goroutine,每个Goroutine负责采集一个指标对应的数据。
在操作S203,至少一个线程并行采集每个计算系统的相应指标的运行数据。其中,不同的运行数据是通过不同的线程采集的,不同的运行数据包括运行数据所属的计算系统不同以及所属的指标类型不同。根据本公开实施例,至少一个线程并行采集相应的指标数据包括同一时间有多个线程在并行采集。例如,多个线程可以同时开始采集相应的指标对应的运行数据,多个线程也可以先后开始采集相应的指标对应的运行数据,但是在某一个时间,有多个线程同时并行在对不同的指标进行采集。
不同的运行数据是通过不同的线程采集的,不同的运行数据包括运行数据所属的计算系统不同以及所属的指标类型不同。在本公开实施例中,一个线程采集一个运行数据,例如,采集计算系统A的10个指标对应的运行数据,以及采集计算系统B的5个指标对应的运行数据,则可以通过15个不同的线程对该15个运行数据进行采集。
根据本公开实施例,运行数据例如是相应指标的具体数据,例如,当采集的相应指标为CPU使用率、内存占用率、磁盘读/写速率时,该些运行数据例如可以分别是CPU使用率20%,内存占用率30%,磁盘读速率200MB/s,磁盘写速率500MB/s等等。
根据本公开实施例,采集每个计算系统的相应指标的运行数据包括,从系统文件中读取每个计算系统的相应指标的运行数据。
根据本公开实施例,系统文件例如是存放计算系统主要文件的文件夹,系统文件例如在安装计算系统过程中自动创建并将相关文件放置在对应的文件夹。
在本公开实施例中,计算系统例如可以将运行数据存放在系统文件中,至少一个线程可以从系统文件中读取相应指标的运行数据。可以理解,在本公开实施例中,以上举例只是为更清楚地理解本公开实施例的操作过程,对实施例中虚拟机的个数、指标类型、运行数据、以及采集数据的线程类型不作限定,本领域技术人员可根据实际应用进行设定。
本公开实施例采用多个线程对相应指标的运行数据进行并行采集,可以提高运行数据的采集速度,减小采集粒度(例如,可以每秒中,甚至毫秒级地更新一次运行数据),便于及时发现计算系统的问题,有助于计算系统的问题排查。
图3示意性示出了根据本公开另一实施例的数据采集方法的流程图。
如图3所示,该方法包括S201~S203以及S301~S303。其中,操作S201~S203与上述参考图2描述的方法相同或类似,在此不再赘述。
在操作S301,对采集的运行数据进行处理,得到处理后的运行数据。
根据本公开实施例,可以在所有确定的指标对应的运行数据都采集完成之后,统一对该些运行数据进行处理。
例如,采集运行数据若是从系统文件直接读取的数据,则需要对该些数据进行相应的差值处理。因为系统文件中存储的通常是运行数据的累积值。例如,当指标是磁盘写速率时,系统文件中存储的可能是磁盘的内存大小,例如当前次从系统文件中采集的磁盘的写扇区次数为600,则需要获取上一次采集的磁盘的写扇区数来计算磁盘写速率。例如上一次采集的磁盘的写扇区数为500,通常服务器硬盘一个扇区大小为512B,系统设置为每2s采集一次运行数据,则所述处理包括(600-500)*512B/2s=25600B/s,处理后的运行数据即为25600B/s。
可以理解,若采集到的数据就是相应指标对应的数据,则可以不对其进行处理(例如,从系统文件中读取的内存使用率20%,则不需要再对该运行数据进行处理)。
可以理解,在本公开实施例中,以上举例只是为更清楚地理解本公开实施例的操作过程,对实施例对运行程序具体的处理方式不作限制,可以是作差、乘除、或者取余等处理方式,本领域技术人员可根据实际应用进行设定。
在操作S302,将采集到的运行数据存储在内存中。
根据本公开实施例,将采集到的运行数据存储在内存中包括在所有确定的指标对应的运行数据都采集完成之后,统一将该些运行数据存储在内存中,或者在该些数据都处理完成后,统一将该些数据存储在内存中。
在本公开实施例中,将采集到的运行数据存储在内存中,包括:使用新一次采集的运行数据覆盖上一次采集的运行数据存储在内存中。例如,内存中可以只存储一次采集的运行数据,若有新的运行数据出现,则删除上一次采集的运行数据,存储新一次采集的运行数据。
在操作S303,在显示单元上显示内存中存储的运行数据。
根据本公开实施例,显示单元例如可以是电子设备的显示屏,例如可以是台式机的显示屏、笔记本电脑的显示屏,平板电脑显示屏、手机显示屏等,用以将采集到的计算系统的运行数据展示给用户。
在本公开实施例中,显示单元上实时显示内存中存储的运行数据,若内存中的运行数据更新,则显示单元上显示的内容也随之更新。
在本公开实施例中,可以显示全部的运行数据,也可以显示部分运行数据。例如,可以根据用户需求,仅显示某一计算系统的运行数据。或者,也可以根据用户需求,显示某一指标下,不同计算系统对应的运行数据。或者用户可以输入或选择想要查看的指标,显示单元根据用户的选择将相应指标对应的运行数据展示出来。
可以理解,在本公开实施例中,对实施例对运行数据的显示方式不作限制不作限制,本领域技术人员可根据实际应用进行设定。
本公开实施例采用多个线程对相应指标的运行数据进行并行采集,可以提高运行数据的采集速度,减小采集粒度(例如,可以每秒中,甚至毫秒级地更新一次运行数据),便于及时发现计算系统的问题,有助于计算系统的问题排查。
并且,本公开实施例及时展示采集到的运行数据,减少了对数据进行封装的时间,可以快速地将采集到的运行数据展示给用户,以便用户及时查看到计算系统的运行状况。本公开实施例中,仅将最新一次采集得到的运行数据存储在内存中,可以节省存储空间。
图4示意性示出了根据本公开实施例的数据采集系统的框图。
如图4所示,数据采集系统400可以包括确定模块410、创建模块420、以及采集模块430。
确定模块410可以确定要针对其进行采集的至少一个计算系统以及要针对至少一个计算系统中的每个计算系统采集的相应指标。根据本公开实施例,确定模块410例如可以执行上文参考图2描述的操作S201,在此不再赘述。
创建模块420可以创建至少一个线程。根据本公开实施例,创建模块420例如可以执行上文参考图2描述的操作S202,在此不再赘述。
采集模块430,至少一个线程并行采集每个计算系统的相应指标的运行数据。根据本公开实施例,采集模块430例如可以执行上文参考图2描述的操作S203,在此不再赘述。
图5示意性示出了根据本公开另一实施例的数据采集系统的框图。
如图5所示,数据采集系统400可以包括确定模块410、创建模块420、采集模块430、处理模块440、存储模块450、以及显示模块460。其中,确定模块410、创建模块420、以及采集模块430与上述参考图4描述的系统相同或类似,在此不再赘述。
处理模块440可以对采集的运行数据进行处理,得到处理后的运行数据。根据本公开实施例,处理模块440例如可以执行上文参考图3描述的操作S301,在此不再赘述。
存储模块450可以将采集到的运行数据存储在内存中。根据本公开实施例,存储模块450例如可以执行上文参考图3描述的操作S302,在此不再赘述。
显示模块460可以在显示单元上显示内存中存储的运行数据。根据本公开实施例,显示模块460例如可以执行上文参考图3描述的操作S303,在此不再赘述。
可以理解的是,确定模块410、创建模块420、采集模块430、处理模块440、存储模块450、以及显示模块460可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,确定模块410、创建模块420、采集模块430、处理模块440、存储模块450、以及显示模块460中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,确定模块410、创建模块420、采集模块430、处理模块440、存储模块450、以及显示模块460中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图6示意性示出了根据本公开实施例的适于实现数据采集的计算机系统的方框图。图6示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,根据本公开实施例的计算机系统500包括处理器501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行参考图2~图3描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中,存储有系统500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行以上参考图2~图3描述的数据采集方法的各种操作。需要注意,所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2~图3描述的数据采集方法的各种操作。
根据本公开的实施例,系统500还可以包括输入/输出(I/O)接口505,输入/输出(I/O)接口505也连接至总线504。系统500还可以包括连接至I/O接口505的以下部件中的一项或多项:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行:
一种数据采集方法,用于采集计算系统的运行数据,该方法包括:确定要针对其进行采集的至少一个计算系统以及要针对至少一个计算系统中的每个计算系统采集的相应指标,创建至少一个线程,以及至少一个线程并行采集每个计算系统的相应指标的运行数据。
根据本公开的实施例,上述至少一个线程并行采集每个计算系统的相应指标的运行数据,包括:不同的运行数据是通过不同的线程采集的,不同的运行数据包括运行数据所属的计算系统不同以及所属的指标类型不同。
根据本公开的实施例,上述至少一个计算系统包括:物理机计算系统和/或物理机中的至少一个虚拟机计算系统。
根据本公开的实施例,上述采集每个计算系统的相应指标的运行数据,包括:从系统文件中读取每个计算系统的相应指标的运行数据。
根据本公开的实施例,上述的方法还包括:对采集的运行数据进行处理,得到处理后的运行数据。
根据本公开的实施例,上述的方法还包括:将采集到的运行数据存储在内存中,以及在显示单元上显示内存中存储的运行数据。
根据本公开的实施例,上述将采集到的运行数据存储在内存中,包括:使用新一次采集的运行数据覆盖上一次采集的运行数据存储在内存中。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种数据采集方法,用于采集计算系统的运行数据,所述方法包括:
确定要针对其进行采集的至少一个计算系统以及要针对所述至少一个计算系统中的每个所述计算系统采集的相应指标;
创建至少一个线程;以及
所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据。
2.根据权利要求1所述的方法,其中,所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据,包括:
不同的运行数据是通过不同的线程采集的,所述不同的运行数据包括所述运行数据所属的计算系统不同以及所属的指标类型不同。
3.根据权利要求1所述的方法,其中,所述至少一个计算系统包括:物理机计算系统和/或所述物理机中的至少一个虚拟机计算系统。
4.根据权利要求1所述的方法,其中,所述采集每个所述计算系统的相应指标的运行数据,包括:
从系统文件中读取每个所述计算系统的相应指标的运行数据。
5.根据权利要求1所述的方法,还包括:
对所述采集的运行数据进行处理,得到处理后的运行数据。
6.根据权利要求1所述的方法,还包括:
将所述采集到的运行数据存储在内存中;以及
在显示单元上显示所述内存中存储的运行数据。
7.根据权利要求6所述的方法,其中,所述将所述采集到的运行数据存储在内存中,包括:
使用新一次采集的运行数据覆盖上一次采集的运行数据存储在所述内存中。
8.一种数据采集系统,用于采集计算系统的运行数据,所述系统包括:
确定模块,确定要针对其进行采集的至少一个计算系统以及要针对所述至少一个计算系统中的每个所述计算系统采集的相应指标;
创建模块,创建至少一个线程;
采集模块,所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据。
9.根据权利要求8所述的方法,其中,所述至少一个线程并行采集每个所述计算系统的相应指标的运行数据,包括:
不同的运行数据是通过不同的线程采集的,所述不同的运行数据包括所述运行数据所属的计算系统不同以及所属的指标类型不同。
10.根据权利要求8所述的系统,其中,所述至少一个计算系统包括:物理机计算系统和/或所述物理机中的至少一个虚拟机计算系统。
11.根据权利要求8所述的系统,其中,所述采集每个所述计算系统相应指标的运行数据,包括:
从系统文件中读取每个所述计算系统相应指标的运行数据。
12.根据权利要求8所述的系统,还包括:
处理模块,对所述采集的运行数据进行处理,得到处理后的运行数据。
13.根据权利要求8所述的系统,还包括:
存储模块,将所述采集到的运行数据存储在内存中;以及
显示模块,在显示单元上显示所述内存中存储的运行数据。
14.根据权利要求13所述的系统,其中,所述将所述采集到的运行数据存储在内存中,包括:
使用新一次采集的运行数据覆盖上一次采集的运行数据存储在所述内存中。
15.一种数据采集系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。
16.一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。
CN201711012602.9A 2017-10-25 2017-10-25 数据采集方法和系统 Pending CN109710497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711012602.9A CN109710497A (zh) 2017-10-25 2017-10-25 数据采集方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711012602.9A CN109710497A (zh) 2017-10-25 2017-10-25 数据采集方法和系统

Publications (1)

Publication Number Publication Date
CN109710497A true CN109710497A (zh) 2019-05-03

Family

ID=66253353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711012602.9A Pending CN109710497A (zh) 2017-10-25 2017-10-25 数据采集方法和系统

Country Status (1)

Country Link
CN (1) CN109710497A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612571A (zh) * 2020-12-15 2021-04-06 中国建设银行股份有限公司 针对物理机的数据采集方法、系统、设备和存储介质
CN113051279A (zh) * 2021-03-05 2021-06-29 北京顺达同行科技有限公司 数据消息的存储方法、存储装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103346902A (zh) * 2013-06-19 2013-10-09 北京华胜天成科技股份有限公司 数据采集调度的方法及系统
CN105072386A (zh) * 2015-07-23 2015-11-18 浙江立元通信技术股份有限公司 一种基于多播技术的视频联网系统及状态监测方法
CN105808415A (zh) * 2016-03-09 2016-07-27 广东三盟信息科技有限公司 一种基于云计算环境的业务运行状态评估方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103346902A (zh) * 2013-06-19 2013-10-09 北京华胜天成科技股份有限公司 数据采集调度的方法及系统
CN105072386A (zh) * 2015-07-23 2015-11-18 浙江立元通信技术股份有限公司 一种基于多播技术的视频联网系统及状态监测方法
CN105808415A (zh) * 2016-03-09 2016-07-27 广东三盟信息科技有限公司 一种基于云计算环境的业务运行状态评估方法及其装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612571A (zh) * 2020-12-15 2021-04-06 中国建设银行股份有限公司 针对物理机的数据采集方法、系统、设备和存储介质
CN113051279A (zh) * 2021-03-05 2021-06-29 北京顺达同行科技有限公司 数据消息的存储方法、存储装置、电子设备及存储介质
CN113051279B (zh) * 2021-03-05 2024-05-10 北京顺达同行科技有限公司 数据消息的存储方法、存储装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110704751A (zh) 数据处理方法、装置、电子设备及存储介质
CN109597677A (zh) 用于处理信息的方法和装置
CN110865898B (zh) 崩溃调用栈聚合的方法、装置、介质和设备
US20130007762A1 (en) Processing workloads using a processor hierarchy system
CN109408214A (zh) 一种数据的并行处理方法、装置、电子设备及可读介质
CN110222775A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110019062A (zh) 数据同步方法和系统
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN107273300A (zh) 一种应用程序测试方法和装置
US9201897B1 (en) Global data storage combining multiple back-end storage devices
CN109840116A (zh) 一种加载资源文件的方法和装置
US20130339527A1 (en) Virtual machine migration in a cloud fabric
CN110019496A (zh) 数据读写方法和系统
CN109828980A (zh) 数据缓存方法、装置、终端及存储介质
CN110826307A (zh) 业务对象的创建方法及设备
CN110333843B (zh) 虚拟机高精度定时器的实现方法、装置及电子设备
CN109710497A (zh) 数据采集方法和系统
CN107347093A (zh) 用于分布式服务器系统的配置方法和装置
CN110135903A (zh) 广告位排位方法、系统、介质和电子设备
CN110059301A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN110888773B (zh) 一种获取线程标识的方法、装置、介质和电子设备
CN110045925A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN109815455A (zh) 项目文件处理方法和装置
WO2019155308A1 (en) Data migration in a hierarchical storage management system
CN112379967B (zh) 模拟器检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503

RJ01 Rejection of invention patent application after publication