CN103870297B - 云计算环境中虚拟机的性能数据采集系统和方法 - Google Patents

云计算环境中虚拟机的性能数据采集系统和方法 Download PDF

Info

Publication number
CN103870297B
CN103870297B CN201210544472.4A CN201210544472A CN103870297B CN 103870297 B CN103870297 B CN 103870297B CN 201210544472 A CN201210544472 A CN 201210544472A CN 103870297 B CN103870297 B CN 103870297B
Authority
CN
China
Prior art keywords
host server
server
virtual machine
acquisition
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210544472.4A
Other languages
English (en)
Other versions
CN103870297A (zh
Inventor
田志斌
杨荣燕
胡联奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Teamsun Technology Co Ltd
Original Assignee
Beijing Teamsun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Teamsun Technology Co Ltd filed Critical Beijing Teamsun Technology Co Ltd
Priority to CN201210544472.4A priority Critical patent/CN103870297B/zh
Publication of CN103870297A publication Critical patent/CN103870297A/zh
Application granted granted Critical
Publication of CN103870297B publication Critical patent/CN103870297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种云计算环境中虚拟机的性能数据采集系统和方法,系统包括数据库服务器及至少一个主机服务器,所述主机服务器与所述数据库服务器之间建立通讯连接,其中:所述主机服务器上设置至少一个虚拟机,所述主机服务器还包括代理单元和收集发送单元,所述代理单元用于按预设的采集参数,利用代理配置文件,定时采集所述主机服务器上各个虚拟机的性能数据。本发明提供的用于云计算环境中虚拟机的性能数据采集系统和方法,简化了资源和服务的管理及维护,解决了主机服务器宕机而产生的数据丢失问题,同时,改善了由于大量数据的传输而造成的网络拥堵问题。

Description

云计算环境中虚拟机的性能数据采集系统和方法
技术领域
本发明涉及虚拟化技术领域,尤其涉及一种云计算环境中虚拟机的性能数据采集系统和方法。
背景技术
虚拟化技术是云计算系统的核心组成部分之一,是将各种计算及存储资源充分整合和高效利用的关键技术。该技术实现了资源的逻辑抽象和统一表示,在服务器、网络及存储管理等方面都有着突出的优势,大大降低了管理复杂度,提高了资源利用率,提高了运营效率,从而有效地控制了成本。由于在大规模数据中心管理和基于互联网的解决方案交付运营方面有着巨大的价值,服务器虚拟化技术受到人们的高度重视,人们普遍相信虚拟化将成为未来数据中心的重要组成部分。
在云计算环境下各种资源都采用了虚拟化技术,资源的特性大多都被隐藏起来。但是云计算应用系统还需要根据应用服务对资源的需求信息(其中,包括虚拟机的性能数据),如处理器的速度、内存空间大小、硬盘可用存储空间大小等,帮助用户找到合适的资源。
现有的虚拟机的性能数据采集系统是通过在虚拟机上设置监控软件,并通过该监控软件对虚拟机的性能数据进行监控,并将监控数据直接发送到数据库服务器上进行保存。这样在虚拟机的数据采集与监控系统中,每个虚拟机都需要独立运行一个监控软件对其性能数据进行监控,不利于系统管理,也造成了服务器资源的浪费;虚拟机上的监控软件直接将监控数据发送到数据库服务器上,易产生网络拥堵以及由此引发的主机服务器宕机和数据丢失问题。
发明内容
基于上述问题,本发明提供了一种云计算环境中虚拟机的性能数据采集系统,包括数据库服务器及至少一个主机服务器,所述主机服务器与所述数据库服务器之间建立通讯连接,其中:
所述主机服务器上设置至少一个虚拟机;
所述主机服务器还包括代理单元和收集发送单元,其中:
所述代理单元,用于按预设的采集参数,利用代理配置文件,定时采集所述主机服务器上各个虚拟机的性能数据;
所述收集发送单元,用于按预设的收集参数,利用主机服务器配置文件,收集所述代理单元所采集的所述虚拟机的性能数据并进行保存,定时发送所述虚拟机的性能数据到所述数据库服务器上;
所述数据库服务器包括接收存储模块;
所述接收存储模块,用于按预设的数据库参数,利用数据库服务器配置文件,接收所述收集发送单元发送来的所述虚拟机的性能数据,并进行存储。
在其中一个实施例中,所述收集发送单元包括第一配置模块;
所述第一配置模块,用于根据预设的所述收集参数,对主机服务器配置文件进行配置;
所述代理单元包括生成模块;
所述生成模块,用于根据所述第一配置模块配置的主机服务器配置文件中的收集参数,以及预设的所述采集参数,搜索所述主机服务器上的全部虚拟机,生成代理配置文件;
所述接收存储模块包括第二配置模块;
所述第二配置模块,用于根据预设的所述数据库参数,对数据库服务器配置文件进行配置。
在其中一个实施例中,所述代理单元还包括读取采集模块,其中:
所述读取采集模块,用于读取所述生成模块生成的所述代理配置文件,并利用所述代理配置文件,按照所述采集参数中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
在其中一个实施例中,所述代理单元的预设的采集参数包括所述主机服务器上所有虚拟机的IP地址和对应的虚拟机采集指标;
所述虚拟机采集指标包括CPU使用率、内存占用率和虚拟机的剩余存储空间。
在其中一个实施例中,所述采集参数还包括:代理监听端口、代理日志处理文件和代理日志文件存储目录;
所述收集参数包括:主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口;
所述数据库参数包括:数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,以及队列最大长度;
所述代理监听端口、所述主机服务器第一监听端口、所述主机服务器第二监听端口和所述数据库服务器监听端口均设置为空闲的有效端口。
在其中一个实施例中,每个所述主机服务器设置的采集时间间隔不同;每个所述主机服务器设置的发送时间间隔不同。
相应地,本发明还提供了一种云计算环境中虚拟机的性能数据采集方法,包括如下步骤:
主机服务器根据预设的采集参数和收集参数,配置主机服务器配置文件,并生成代理配置文件,数据库服务器根据预设的数据库参数配置数据库服务器配置文件;
主机服务器定时采集所在主机服务器上的所有虚拟机的性能数据;
主机服务器收集所采集的虚拟机的性能数据并保存;
主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上。
在其中一个实施例中,所述配置主机服务器配置文件,生成代理配置文件和配置数据库服务器配置文件,包括如下步骤:
根据预设的所述收集参数,配置主机服务器配置文件;
搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件;
根据预设的所述数据库参数,配置数据库服务器配置文件。
在其中一个实施例中,所述根据预设的所述收集参数,配置主机服务器配置文件,包括如下步骤:
所述根据预设的所述收集参数,在主机服务器配置文件中配置相应的主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口。
在其中一个实施例中,所述搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件,包括如下步骤:
搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,配置代理监听端口、采集指标、代理日志处理文件名称和地址、以及代理日志文件存储目录,得到相应于所述虚拟机的代理配置文件。
在其中一个实施例中,所述根据预设的所述数据库参数,配置数据库服务器配置文件,包括如下步骤:
根据预设的所述数据库参数,在数据库服务器中配置数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,队列最大长度。
在其中一个实施例中,定时采集所述主机服务器上各个虚拟机的性能数据,包括如下步骤:
读取所述代理配置文件,并按照所述代理配置文件中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
在其中一个实施例中,在主机服务器将采集的虚拟机的性能数据发送到数据库服务器上之后,还包括如下步骤:
数据库服务器接收主机服务器发送的虚拟机的性能数据,并进行储存。本发明的有益效果:本发明提供的一种云计算环境中虚拟机的性能数据采集系统和方法,其中方法包括:主机服务器根据预设的采集参数和收集参数,配置主机服务器配置文件,并生成代理配置文件;数据库服务器根据预设的数据库参数配置数据库服务器配置文件;主机服务器定时采集所在主机服务器上的所有虚拟机的性能数据;主机服务器收集所采集的虚拟机的性能数据并保存;主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上。
通过主机服务器上的代理单元采集主机服务器上的各个虚拟机的性能数据,避免了在各个虚拟机上设置单独的监控软件,并通过各个监控软件获取虚拟机的性能数据,从而简化了系统资源和服务的管理及维护;主机服务器收集所采集的虚拟机的性能数据并保存,增加了所采集的虚拟机的性能数据在传送过程中的安全性,为由于主机服务器宕机而产生的数据丢失问题提供了解决方案;主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上,减少了数据的网络传送量,改善了云计算环境中采集监控数据产生的网络拥堵问题。
附图说明
图1为本发明云计算环境中虚拟机的性能数据采集系统的一个实施例的结构示意图;
图2为图1中本发明云计算环境中虚拟机的性能数据采集系统的收集发送单元的结构示意图;
图3为图1中本发明云计算环境中虚拟机的性能数据采集系统的代理单元的结构示意图;
图4为图1中本发明云计算环境中虚拟机的性能数据采集系统的接收存储模块的结构示意图;
图5为本发明云计算环境中虚拟机的性能数据采集方法的一个实施例的流程示意图;
图6为图5中本发明云计算环境中虚拟机的性能数据采集方法的生成代理配置文件、配置主机服务器配置文件和数据库服务器配置文件的流程示意图。
具体实施方式
下面结合说明书附图,对本发明实施例中的云计算环境中虚拟机的性能数据采集系统和方法的具体实施方式进行说明。
本发明实施例提供的一种云计算环境中虚拟机的性能数据采集系统1,包括数据库服务器2及至少一个主机服务器3,所述主机服务器3与所述数据库服务器2之间建立通讯连接,如图1至图4所示,其中:
所述主机服务器3上设置至少一个虚拟机6;
所述主机服务器3还包括代理单元4和收集发送单元5,其中:
所述代理单元4,用于按预设的采集参数,利用代理配置文件,定时采集所在主机服务器上各个虚拟机6的性能数据;
需要说明的是所述代理单元4按预设的采集参数定时采集所在主机服务器上的各个虚拟机的性能数据,避免了在各个虚拟机上设置单独的监控软件,并通过各个监控软件获取虚拟机的性能数据,从而简化了系统资源和服务的管理及维护。
所述收集发送单元5,用于按预设的收集参数,利用主机服务器配置文件,收集所述代理单元所采集的所述虚拟机的性能数据并进行保存,定时发送所述虚拟机的性能数据到所述数据库服务器上;
所述收集发送单元,收集所述代理单元所采集的所述虚拟机的性能数据并进行保存,增加了所采集的虚拟机的性能数据在传送过程中的安全性,为由于主机服务器宕机而产生的数据丢失问题提供了解决方案;
所述收集发送单元,定时发送所述虚拟机的性能数据到所述数据库服务器上,减少了数据的传送量,改善了大量数据传送产生的网络拥堵问题。
所述数据库服务器2包括接收存储模块7;
所述接收存储模块7,用于按预设的数据库参数,利用数据库服务器配置文件,接收所述收集发送单元发送来的所述虚拟机的性能数据,按照预设的数据库参数进行解析,先存为队列,然后保存到数据库中。
较佳地,作为一个实施例,
所述收集发送单元5包括第一配置模块51,
所述第一配置模块51,用于根据预设的所述收集参数,对主机服务器配置文件进行配置;所述主机服务器配置文件用来管理主机服务器分别和所述代理单元、数据库服务器通信,收集和发送所采集的所述虚拟机的性能数据。
所述代理单元4包括生成模块41;
所述生成模块41,用于根据所述第一配置模块配置的主机服务器配置文件中的收集参数,以及预设的所述采集参数,搜索所述主机服务器上的全部虚拟机,生成代理配置文件;
所述采集参数中包括虚拟机的采集指标,所述代理单元通过所述生成模块搜索所述主机服务器上的全部虚拟机的IP,并根据所述第一配置模块配置的主机服务器配置文件,生成代理配置文件;所述代理单元按照所述代理配置文件采集所在主机服务器上的各个虚拟机的性能数据。
所述接收存储模块7包括第二配置模块71;
所述第二配置模块71,用于根据预设的所述数据库参数,对数据库服务器配置文件进行配置。
所述第二生成模块71,用于根据预设的所述数据库参数,生成数据库服务器配置文件;所述数据库服务器配置文件用来管理所述数据库服务器和所述主机服务器通信,接收和储存主机服务器发送的虚拟机的性能数据。
较佳地,作为一个实施例,所述代理单元4还包括读取采集模块42,其中:
所述读取采集模块42,用于读取所述生成模块生成的所述代理配置文件,并利用所述代理配置文件,按照所述采集参数的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
较佳地,作为一个实施例,所述代理单元的预设的采集参数包括所述主机服务器上所有虚拟机的IP地址和对应的虚拟机采集指标;所述代理采集配置文件可根据应用服务对资源的需求进行设置,针对各个虚拟机可设置同样的虚拟机采集指标,也可设置不同的虚拟机采集指标。
所述虚拟机采集指标包括CPU使用率、内存占用率和虚拟机的剩余存储空间。
所述虚拟机采集指标包括但不限于CPU使用率、内存占用率和虚拟机的剩余存储空间;所述虚拟机采集指标可用作前端页面展示,用户端也可通过所述虚拟机的性能数据查看主机服务器及其虚拟机的运行状况,便于及时发现和解决问题;
较佳地,作为一个实施例,所述采集参数还包括:代理监听端口、代理日志处理文件和代理日志文件存储目录;
所述采集参数的内容及描述如下表所示:
所述收集参数包括:主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口;
所述收集参数的内容及描述如下表所示:
所述数据库参数包括:数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,以及队列最大长度;
所述数据库参数的内容及描述如下表所示:
所述代理监听端口、所述主机服务器第一监听端口、所述主机服务器第二监听端口和所述数据库服务器监听端口均设置为空闲的有效端口,以保证所述数据采集系统能够运行。
较佳地,作为一个实施例,每个所述主机服务器设置的采集时间间隔不同;每个所述主机服务器设置的发送时间间隔不同。
所述数据采集系统中,数据库服务器对应多个主机服务器,每个主机服务器上的代理又对应所在主机服务器上的所有的虚拟机,每个主机服务器设置的采集时间间隔不同,每个主机服务器设置的发送时间间隔不同,可最大限度的形成各个主机服务器向数据库服务器发送数据的时差,从而减少了多个主机服务器同时向所述数据库服务器发送数据产生的网络拥堵问题。
本领域技术人员应该可以理解,本发明实施例所提供的云计算环境中虚拟机的性能数据采集系统的实质是在主机服务器上设置代理单元,所述代理单元按预设的采集参数定时采集所在主机服务器上的各个虚拟机的性能数据,从而简化了主机服务器上的资源及服务的管理和维护,提高了资源的利用率;主机服务器获取代理单元采集的虚拟机的运行数据,并将获取的虚拟机的运行数据保存在临时文件中,防止了在数据传输过程中由于主机服务器当机而产生的数据丢失问题;主机服务器定时再将代理采集的虚拟机的运行数据发送给数据库服务器,这样,一方面减少了网络传送量;另一方面,由于数据库服务器对应多台主机服务器,所以,每个主机服务器设定不同的发送时间间隔,可有效减少网络拥堵问题。
基于同一发明构思,本发明实施例还提供了一种云计算环境中虚拟机的性能数据采集方法,如图5所示,包括如下步骤:
步骤S100、主机服务器根据预设的采集参数和收集参数,配置主机服务器配置文件,并生成代理配置文件,数据库服务器根据预设的数据库参数配置数据库服务器配置文件;
所述采集参数包括所述主机服务器上所有虚拟机的IP地址和对应的虚拟机采集指标;所述采集参数根据应用服务对资源的需求进行设置,针对各个虚拟机可设置同样的虚拟机采集指标,也可设置不同的虚拟机采集指标。
所述收集参数包括:主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口;
每个所述主机服务器设置的采集时间间隔不同;每个所述主机服务器设置的发送时间间隔不同;所述数据采集系统中,数据库服务器对应多个主机服务器,每个主机服务器上的代理又对应所在主机服务器上的所有的虚拟机,每个主机服务器设置的采集时间间隔不同,每个主机服务器设置的发送时间间隔不同,可最大限度的形成各个主机服务器向数据库服务器发送数据的时差,从而减少了多个主机服务器同时向所述数据库服务器发送数据产生的网络拥堵问题。
步骤S200、主机服务器定时采集所在主机服务器上的所有虚拟机的性能数据;
主机服务器上的代理单元读取所述代理配置文件,按照预设的采集参数和所述代理配置文件中的虚拟机采集指标以及所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
通过代理单元定时采集主机服务器上各个虚拟机的性能数据,简化了主机服务器上的资源及服务的管理和维护,提高了资源的利用率。
步骤S300、主机服务器收集所采集的虚拟机的性能数据并保存,减少了网络传送量;另一方面,由于数据库服务器对应多台主机服务器,所以,每个主机服务器设定不同的发送时间间隔,可有效减少网络拥堵问题。
主机服务器收集所述代理单元所采集的所述虚拟机的性能数据并进行保存,增加了所采集的虚拟机的性能数据在传送过程中的安全性,为由于主机服务器宕机而产生的数据丢失问题提供了解决方案;
步骤S400、主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上,减少了网络数据的传送量;此外,定时发送可有效改善网络拥堵问题。
较佳地,作为一个实施例,所述配置主机服务器配置文件,生成代理配置文件和配置数据库服务器配置文件,如图6所示,包括如下步骤:
步骤S110、根据预设的所述收集参数,配置主机服务器配置文件;
所述主机服务器根据预设的所述收集参数,配置主机服务器配置文件;所述主机服务器配置文件用来管理主机服务器分别和主机服务器上的代理单元及数据库服务器通信,收集和发送所采集的所述虚拟机的性能数据。
步骤S120、搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件;
所述代理单元通过所述生成模块搜索所述主机服务器上的全部虚拟机的IP,并根据预设的采集参数以及主机服务器配置文件,生成代理配置文件。
步骤S130、根据预设的所述数据库参数,配置数据库服务器配置文件;
所述数据库服务器根据预设的所述数据库参数,配置数据库服务器配置文件;所述数据库服务器配置文件用来管理所述数据库服务器和所述主机服务器通信,接收和储存主机服务器发送的虚拟机的性能数据。
较佳地,作为一个实施例,所述根据预设的所述收集参数,配置主机服务器配置文件,包括如下步骤:
步骤S111、根据预设的所述收集参数,配置相应的主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口。
所述主机服务器配置文件的内容及描述如下表所示:
较佳地,作为一个实施例,所述搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件,包括如下步骤:
步骤S121、搜索所述主机服务器上的全部虚拟机,根据每一个虚拟机配置代理监听端口、虚拟机采集指标、代理日志处理文件名称和地址、以及代理日志文件存储目录,生成相应于所述虚拟机的代理配置文件。
所述代理配置文件的内容及描述如下表所示:
所述虚拟机的采集指标包括但不限于CPU使用率、内存占用率和虚拟机的剩余存储空间;所述虚拟机采集指标可用作前端页面展示,也可通过所述虚拟机的性能数据查看主机服务器及虚拟机的运行状况,便于及时发现和解决问题;
较佳地,作为一个实施例,所述根据预设的所述数据库参数,配置数据库服务器配置文件,包括如下步骤:
步骤S131、根据预设的所述数据库参数,在数据库服务器中配置数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,队列最大长度,得到数据库服务器配置文件。
所述数据库服务器配置文件的内容及描述如下表所示:
较佳地,作为一个实施例,定时采集所述主机服务器上各个虚拟机的性能数据,包括如下步骤:
步骤S210、读取所述代理配置文件,并按照所述代理配置文件中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据;
所述代理单元通过读取采集模块读取所述代理配置文件,并利用所述代理配置文件,按照所述采集参数中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
较佳地,作为一个实施例,在主机服务器将采集的虚拟机的性能数据发送到数据库服务器上之后,如图5所示,还包括如下步骤:
步骤S500、数据库服务器接收主机服务器发送的虚拟机的性能数据,并进行储存。
举例说明:数据库服务器接收到数据后,先进行解析,然后根据数据内容即所述虚拟机采集指标的内容进行分类,将同类虚拟机采集指标按队列存储,最后保存到数据库中,方便用户查找和使用。
本发明实施例提供的一种云计算环境中虚拟机的性能数据采集方法,包括:主机服务器根据预设的采集参数和收集参数,分别生成代理配置文件和主机服务器配置文件;数据库服务器根据预设的数据库参数,生成数据库服务器配置文件;主机服务器定时采集所在主机服务器上的所有虚拟机的性能数据;主机服务器收集所采集的虚拟机的性能数据并保存;主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上;数据库服务器接收主机服务器发送的虚拟机的性能数据,并进行储存。
其中,主机服务器根据预设的采集参数和收集参数,分别生成代理配置文件和主机服务器配置文件,设定了系统的采集指标以及采集时间间隔和发送时间间隔;主机服务器通过代理单元定时采集所在主机服务器上的所有虚拟机的性能数据,简化了系统资源和服务的管理及维护;主机服务器收集所采集的虚拟机的性能数据并保存,防止了由于主机服务器宕机而产生数据丢失,增加了数据在传送过程中的安全性;主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上,减少了数据的网络传送量,改善了云计算环境中采集监控数据产生的网络拥堵问题。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种云计算环境中虚拟机的性能数据采集系统,其特征在于,包括数据库服务器及至少一个主机服务器,所述主机服务器与所述数据库服务器之间建立通讯连接,其中:
所述主机服务器上设置至少一个虚拟机;
所述主机服务器还包括代理单元和收集发送单元,其中:
所述代理单元,用于按预设的采集参数,利用代理配置文件,定时采集所述主机服务器上各个虚拟机的性能数据;
所述收集发送单元,用于按预设的收集参数,利用主机服务器配置文件,收集所述代理单元所采集的所述虚拟机的性能数据并进行保存,定时发送所述虚拟机的性能数据到所述数据库服务器上;
所述数据库服务器包括接收存储模块;
所述接收存储模块,用于按预设的数据库参数,利用数据库服务器配置文件,接收所述收集发送单元发送来的所述虚拟机的性能数据,并进行存储。
2.根据权利要求1所述的数据采集系统,其特征在于:
所述收集发送单元包括第一配置模块;
所述第一配置模块,用于根据预设的所述收集参数,对主机服务器配置文件进行配置;
所述代理单元包括生成模块;
所述生成模块,用于根据所述第一配置模块配置的主机服务器配置文件中的收集参数,以及预设的所述采集参数,搜索所述主机服务器上的全部虚拟机,生成代理配置文件;
所述接收存储模块包括第二配置模块;
所述第二配置模块,用于根据预设的所述数据库参数,对数据库服务器配置文件进行配置。
3.根据权利要求2所述的数据采集系统,其特征在于,所述代理单元还包括读取采集模块,其中:
所述读取采集模块,用于读取所述生成模块生成的所述代理配置文件,并利用所述代理配置文件,按照所述采集参数中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
4.根据权利要求1至3任一项所述的数据采集系统,其特征在于,所述代理单元的预设的采集参数包括所述主机服务器上所有虚拟机的IP地址和对应的虚拟机采集指标;
所述虚拟机采集指标包括CPU使用率、内存占用率和虚拟机的剩余存储空间。
5.根据权利要求4所述的数据采集系统,其特征在于:
所述采集参数还包括:代理监听端口、代理日志处理文件和代理日志文件存储目录;
所述收集参数包括:主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口;
所述数据库参数包括:数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,以及队列最大长度;
所述代理监听端口、所述主机服务器第一监听端口、所述主机服务器第二监听端口和所述数据库服务器监听端口均设置为空闲的有效端口。
6.根据权利要求5所述的数据采集系统,其特征在于,每个所述主机服务器设置的采集时间间隔不同;每个所述主机服务器设置的发送时间间隔不同。
7.一种云计算环境中虚拟机的性能数据采集方法,其特征在于,包括如下步骤:
主机服务器根据预设的采集参数和收集参数,配置主机服务器配置文件,并生成代理配置文件,数据库服务器根据预设的数据库参数配置数据库服务器配置文件;
主机服务器定时采集所在主机服务器上的所有虚拟机的性能数据;
主机服务器收集所采集的虚拟机的性能数据并保存;
主机服务器定时和数据库服务器通信,并将采集的虚拟机的性能数据发送到数据库服务器上。
8.根据权利要求7所述的数据采集方法,其特征在于,所述配置主机服务器配置文件,生成代理配置文件和配置数据库服务器配置文件,包括如下步骤:
根据预设的所述收集参数,配置主机服务器配置文件;
搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件;
根据预设的所述数据库参数,配置数据库服务器配置文件。
9.根据权利要求8所述的数据采集方法,其特征在于,所述根据预设的所述收集参数,配置主机服务器配置文件,包括如下步骤:
所述根据预设的所述收集参数,在主机服务器配置文件中配置相应的主机服务器第一监听端口、代理采集配置文件名称和地址、主机服务器日志处理配置文件名称和地址、主机服务器日志文件存储目录、主机服务器数据文件存储目录、采集时间间隔、发送时间间隔和主机服务器第二监听端口。
10.根据权利要求8所述的数据采集方法,其特征在于,所述搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,生成代理配置文件,包括如下步骤:
搜索所述主机服务器上的全部虚拟机,根据预设的所述采集参数以及主机服务器配置文件,配置代理监听端口、采集指标、代理日志处理文件名称和地址、以及代理日志文件存储目录,得到相应于所述虚拟机的代理配置文件。
11.根据权利要求8所述的数据采集方法,其特征在于,所述根据预设的所述数据库参数,配置数据库服务器配置文件,包括如下步骤:
根据预设的所述数据库参数,在数据库服务器中配置数据库服务器监听端口、数据库服务器日志处理配置文件名称和地址、数据库服务器日志文件存储目录、数据库服务器连接配置文件名称和地址,队列最大长度。
12.根据权利要求7所述的数据采集方法,其特征在于,所述定时采集所述主机服务器上各个虚拟机的性能数据,包括如下步骤:
读取所述代理配置文件,并按照所述代理配置文件中的虚拟机采集指标和所述主机服务器配置文件中配置的采集时间间隔,定时采集所在主机服务器上的各个虚拟机的性能数据。
13.根据权利要求7所述的数据采集方法,其特征在于,在所述主机服务器将采集的虚拟机的性能数据发送到数据库服务器上之后,还包括如下步骤:
数据库服务器接收主机服务器发送的虚拟机的性能数据,并进行储存。
CN201210544472.4A 2012-12-14 2012-12-14 云计算环境中虚拟机的性能数据采集系统和方法 Active CN103870297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210544472.4A CN103870297B (zh) 2012-12-14 2012-12-14 云计算环境中虚拟机的性能数据采集系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210544472.4A CN103870297B (zh) 2012-12-14 2012-12-14 云计算环境中虚拟机的性能数据采集系统和方法

Publications (2)

Publication Number Publication Date
CN103870297A CN103870297A (zh) 2014-06-18
CN103870297B true CN103870297B (zh) 2016-12-21

Family

ID=50908866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210544472.4A Active CN103870297B (zh) 2012-12-14 2012-12-14 云计算环境中虚拟机的性能数据采集系统和方法

Country Status (1)

Country Link
CN (1) CN103870297B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503891B (zh) * 2014-12-10 2018-10-02 北京京东尚科信息技术有限公司 对jvm线程进行在线监控的方法和装置
CN105871957B (zh) * 2015-01-21 2019-02-05 深圳市腾讯计算机系统有限公司 监控框架设计方法和监控服务器、代理单元、中控服务器
CN104836686B (zh) * 2015-05-11 2018-09-07 北京明略软件系统有限公司 一种生成服务器的配置文件的方法及装置
CN104881347A (zh) * 2015-05-26 2015-09-02 山东蚁巡网络科技有限公司 一种通用的虚拟化监控展示方法
CN105022292A (zh) * 2015-06-10 2015-11-04 柳州市智融科技有限公司 因特网数据处理系统
CN106657180B (zh) * 2015-10-29 2021-08-24 阿里巴巴集团控股有限公司 用于云服务的信息传输方法、装置、终端设备及系统
CN105243008A (zh) * 2015-11-02 2016-01-13 上海新炬网络信息技术有限公司 一种基于宿主机的虚拟机性能监控方法
CN105808415A (zh) * 2016-03-09 2016-07-27 广东三盟信息科技有限公司 一种基于云计算环境的业务运行状态评估方法及其装置
CN106657250A (zh) * 2016-10-24 2017-05-10 深圳有麦科技有限公司 一种提高应用程序稳定性的方法及其系统
CN106775926A (zh) * 2016-11-24 2017-05-31 合肥中科云巢科技有限公司 虚拟机的监控方法和系统
CN109428782B (zh) * 2017-08-30 2021-05-18 华为技术有限公司 网络监控的方法和设备
WO2019231417A1 (en) * 2017-12-18 2019-12-05 Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi A system optimizing use of client source for communication in data gathering services
CN108092813A (zh) * 2017-12-21 2018-05-29 郑州云海信息技术有限公司 数据中心综合管理系统服务器硬件管理框架及实现方法
CN110505177B (zh) * 2018-05-16 2023-06-30 杭州海康威视数字技术股份有限公司 一种信息收集系统、终端设备及远程主机
CN109144671A (zh) * 2018-08-21 2019-01-04 郑州云海信息技术有限公司 云数据系统中虚拟机的管理方法和装置
CN111090493A (zh) * 2019-11-25 2020-05-01 中国银行股份有限公司 一种虚拟主机使用饱和度的统计方法及系统
CN112866049B (zh) * 2019-11-28 2023-05-30 中盈优创资讯科技有限公司 服务器主机指标采集方法及系统
CN111132031A (zh) * 2019-12-27 2020-05-08 永安行科技股份有限公司 一种设备扫描方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403983A (zh) * 2008-11-25 2009-04-08 北京航空航天大学 基于虚拟机的多核处理器的资源监控方法及系统
CN101907917A (zh) * 2010-07-21 2010-12-08 中国电信股份有限公司 一种测量虚拟机能耗的方法和系统
CN102231138A (zh) * 2011-07-08 2011-11-02 上海交通大学 计算机内存数据准确采集系统及获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363376B2 (en) * 2001-07-31 2008-04-22 Arraycomm Llc Method and apparatus for generating an identifier to facilitate delivery of enhanced data services in a mobile computing environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403983A (zh) * 2008-11-25 2009-04-08 北京航空航天大学 基于虚拟机的多核处理器的资源监控方法及系统
CN101907917A (zh) * 2010-07-21 2010-12-08 中国电信股份有限公司 一种测量虚拟机能耗的方法和系统
CN102231138A (zh) * 2011-07-08 2011-11-02 上海交通大学 计算机内存数据准确采集系统及获取方法

Also Published As

Publication number Publication date
CN103870297A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
CN103870297B (zh) 云计算环境中虚拟机的性能数据采集系统和方法
CN111543038B (zh) 使用中间设备流拼接的网络流拼接
US8935389B2 (en) Method and system for collecting and managing network data
US20160359880A1 (en) Geo visualization of network flows
CN106709003A (zh) 基于Hadoop的海量日志数据处理方法
CN105868075A (zh) 一种实时监控分析大量日志的系统及方法
CN103152352A (zh) 一种基于云计算环境的全信息安全取证监听方法和系统
US11044170B2 (en) Network migration assistant
CN103414608B (zh) 快速的web流量采集统计系统和方法
US11128700B2 (en) Load balancing configuration based on traffic flow telemetry
CN107025222A (zh) 一种分布式日志采集方法及装置
CN101902497B (zh) 基于云计算的互联网信息监测系统及方法
CN103763396A (zh) 基于多协议并行采集技术的能耗数据采集器及其采集方法
CN103200046A (zh) 监控网元设备性能的方法及系统
CN105045905B (zh) 一种基于全文检索的日志维护方法及系统
CN102148827A (zh) 安全事件管理方法、装置及安全管理平台
CN104881990A (zh) 基于多协议并行采集技术的能耗数据采集器及其采集方法
CN101854305B (zh) 流量采集系统及其方法、装置
CN107592274A (zh) 一种计算机网络服务器的控制管理方法
CN111557087A (zh) 使用业务流拼接发现中间设备
CN109831316A (zh) 海量日志实时分析系统、实时分析方法及可读存储介质
KR102423039B1 (ko) 대용량 네트워크 모니터링을 위한 실시간 패킷 데이터 저장 방법 및 장치
CN1997005B (zh) 网络通信数据管控系统及方法
CN104270371A (zh) 一种基于模糊逻辑的cdn缓存服务器选择方法
CN207369077U (zh) 基于大数据的网站用户行为数据采集系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20140618

Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Assignor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980013181

Denomination of invention: Performance data acquisition system and method of virtual machine in cloud computing environment

Granted publication date: 20161221

License type: Exclusive License

Record date: 20211124

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Performance data acquisition system and method of virtual machine in cloud computing environment

Effective date of registration: 20211125

Granted publication date: 20161221

Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Pledgor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Registration number: Y2021110000069

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230129

Granted publication date: 20161221

Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Pledgor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Registration number: Y2021110000069

PC01 Cancellation of the registration of the contract for pledge of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Assignor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980013181

Date of cancellation: 20230321

EC01 Cancellation of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20140618

Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Assignor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Contract record no.: X2023110000046

Denomination of invention: Performance Data Collection System and Method for Virtual Machines in Cloud Computing Environment

Granted publication date: 20161221

License type: Exclusive License

Record date: 20230323

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Performance Data Collection System and Method for Virtual Machines in Cloud Computing Environment

Effective date of registration: 20230327

Granted publication date: 20161221

Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Pledgor: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd.

Registration number: Y2023110000129

PE01 Entry into force of the registration of the contract for pledge of patent right