CN109587223A - 数据聚合方法、装置和系统 - Google Patents

数据聚合方法、装置和系统 Download PDF

Info

Publication number
CN109587223A
CN109587223A CN201811383063.4A CN201811383063A CN109587223A CN 109587223 A CN109587223 A CN 109587223A CN 201811383063 A CN201811383063 A CN 201811383063A CN 109587223 A CN109587223 A CN 109587223A
Authority
CN
China
Prior art keywords
host
service groups
data
current time
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811383063.4A
Other languages
English (en)
Other versions
CN109587223B (zh
Inventor
叶权
吉毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811383063.4A priority Critical patent/CN109587223B/zh
Publication of CN109587223A publication Critical patent/CN109587223A/zh
Application granted granted Critical
Publication of CN109587223B publication Critical patent/CN109587223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1063Discovery through centralising entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种数据聚合方法、装置和系统,在该方法中,获取集群中各台主机各自的主机标识和运行指标数据;针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;依据当前时刻集群中各台主机各自归属的至少一个业务组,确定当前时刻集群中所具有的业务组以及每个业务组包含的至少一台主机;针对当前时刻集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。本申请的方案适用于集群中业务组存在动态变化的情况,提高了对运行指标进行聚合计算的适应性。

Description

数据聚合方法、装置和系统
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据聚合方法、装置和系统。
背景技术
为了应对高并发访问,很多互联网业务均采用服务器集群对外提供业务,其中,服务器集群可以分为集中式集群以及分布式集群两种。为了避免服务器集群中的服务器(也称为主机)运行过载而导致互联网服务异常,需要对服务器集群中各台服务器的运行指标进行监控。其中,服务器的运行指标可以包括内存占用率、磁盘输入输出效率等指标数据中的一种或者多种。
由于服务器集群中不同服务器所承担的业务类别也会有所不同,服务器集群中的服务器会被划分为不同的业务组,而在监控服务器集群中服务器的运行指标时,实际上也更关注一个业务组内服务器的整体运行指标的情况。为了对同一个业务组内的多台服务器的运行指标进行监控,就需要对该业务组内多台服务器的运行指标进行聚合计算,其中,聚合计算可以包括求和、求平均、求最大以及求最小等等几种聚合计算。
然而,在实际应用中互联网业务部署经常会发生变化,比如,服务器集群扩容或者互联网业务调整等,从而使得服务器集群中各台服务器所属的业务组也会经常变化,而目前针对服务器集群中业务组的运行指标聚合的方式无法适应业务组的动态变化。
发明内容
有鉴于此,本申请提供了一种数据聚合方法、装置和系统,以在服务器集群中服务器所属的业务组存在动态变化的情况下,也可能够实现对变化后的各业务组中服务器的运行指标的聚合计算,提高了运行指标的聚合计算的适应性。
为实现上述目的,本申请提供了一种数据聚合方法,包括:
获取集群中各台主机各自的主机标识和运行指标数据;
针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;
依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;
针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
优选的,所述根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组,包括:
根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组,所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。
优选的,在针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合之前,还包括:
获取当前时刻主机归属的每个业务组对应的至少一种聚合方式;
所述针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合,包括:
针对当前时刻所述集群中的每个业务组,分别按照该业务组对应的至少一种聚合方式,对归属于该业务组的各台主机的运行指标数据进行聚合。
优选的,所述获取集群中各台主机各自的主机标识和运行指标数据,包括:
接收集群中各台主机当前时刻各自上报的主机标识和运行指标数据。
优选的,在所述对归属于该业务组的各台主机的运行指标数据进行聚合之后,还包括:
针对每个业务组,将该业务组对应的聚合结果数据存储到数据库,所述业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
另一方面,本申请还提供了一种数据聚合系统,包括:
与集群中各台主机通过网络相连的数据处理设备;
所述数据处理设备,用于获取所述集群中各台主机各自的主机标识和运行指标数据;针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
优选的,还包括:
与所述数据处理设备通过网络相连的业务配置设备;
该业务配置设备,用于接收用户为所述集群中各台主机分配的业务组,并存储所述集群中每台主机归属的业务组的信息;
所述数据处理设备在根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组时,具体用于,根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组。
优选的,还包括:
通过网络与所述数据处理设备相连的数据库;
所述数据处理设备还用于,针对每个业务组,将该业务组对应的聚合结果数据存储到数据库,其中,业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
另一方面,本申请还提供了一种数据聚合装置,包括:
数据获取单元,用于获取集群中各台主机各自的主机标识和运行指标数据;
组确定单元,用于针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;
组归类单元,用于依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;
指标聚合单元,用于针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
优选的,所述组确定单元,包括:
组查询单元,用于根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组,所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。
由以上可知,在本申请实施例中,在获取到集群中各台主机的运行指标数据之后,可以根据各台主机的主机标识,确定当前时刻各台主机各自归属的业务组,而根据当前时刻各台主机各自归属的业务组,便可以得到当前时刻该集群中所具有的业务组以及每个业务组所包含的主机。可见,由于本申请在需要对主机的运行指标数据进行处理时,实时确定集群中所具有的需要监控指标情况的业务组以及每个业务组所具有的主机,因此,即使集群中主机所归属的业务组变化以及业务组存在其他动态变化,也可以准确的确定集群中当前具有的业务组以及每个业务组中包含的主机的运行指标数据,从而可以对该业务组中各主机的运行指标数据进行聚合,进而得到当前时刻集群中每个业务组的整体运行指标情况。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请实施例提供的一种数据聚合系统的一种组成架构示意图;
图2示出了本申请实施例提供的一种数据聚合方法的一种流程示意图;
图3示出了本申请实施例提供的一种数据聚合方法中各设备之间一种交互示意图;
图4示出了本申请实施例提供的一种数据聚合装置的一种组成示意图。
具体实施方式
本申请实施例的方案适用于对具有多台主机的服务器集群中主机的运行指标进行聚合,即使服务器集群中主机所属的业务组存在变动或者出现业务组增加等业务组动态变化情况,本申请的方案也可以实时对集群中各个业务组内各主机的运行指标进行聚合,从而在业务组动态变化的情况下也能监控变动后的每个业务组内主机的整体运行指标情况。
为了便于理解本申请的方案,先对本申请所适用的系统进行介绍。
如,参见图1,其示出了本申请的方案所适用的系统的一种组成架构示意图。
在图1中架构中包括至少一个集群10,该集群10中包含多台主机11,集群服务器中的每台主机均是一台服务器。该集群10中的多台主机可以采用分布式设置,并通过网络实现多台主机之间的连接。集群10中的多台主机也可以采用集中设置。
该架构中还包括数据聚合系统20,该数据聚合系统20中至少包括:通过网络与集群10中各台主机11相连的数据处理设备21。
其中,该数据处理设备21可以为具备数据处理能力的个人计算机、服务器、大型主机等电子设备。
在本申请实施例中,集群10中的主机可以向数据处理设备上报主机的运行指标数据,该运行指标数据还可以携带该主机的主机标识。
其中,主机的主机标识用于唯一标识该主机,如,该主机标识可以为IP地址。
该数据处理设备用于在接收到该主机上报的主机运行指标数据时,根据主机的主机标识确定当前时刻该主机归属的业务组;针对同一个业务组,根据该业务组包含的各个主机的运行指标数据进行聚合,以得到反映该业务组内各主机整体运行指标状况的聚合结果数据。
其中,业务组可以是根据业务需要,将集群中的主机,从逻辑上划分出的组别或者说类别,每个业务组可以认为是一个子集群或者实现特定业务功能的组。其中,每个业务组可以包括一台或者多台主机。
其中,数据处理设备确定当前时刻主机所归属的业务组的信息的方式可以有多种。
如,用户可以在每次集群中业务组存在变化以及主机归属的业务组存在更新的情况下,在数据处理设备中配置各台主机所归属的业务组,以更新集群中各个业务组所包含的主机的信息。
作为一种可选方式,该数据聚合系统还包括:业务配置设备22。该业务配置设备用于接收用户为集群中各台主机分配的业务组,并存储集群中每台主机归属的业务组。
可以理解的是,在每次需要变动集群中业务组的情况下,用户可以在业务配置设备中更新或者重新配置各台主机所归属的业务组。而业务配置设备在每次配置了主机的业务组之后,都会存储用户当前为主机配置的业务组。
相应的,该数据处理设备21,可以在接收到主机发送的运行指标数据之后,根据主机的标识从该业务配置设备22中查询当前时刻该主机归属的至少一个业务组。
当然,业务配置设备也可以是在接收到用户更改或者更新主机所配置的业务组的信息之后,将用户更新配置之后的各台主机所归属的业务组的信息发送给数据处理设备。在该种情况下,数据处理设备可以在接收到主机的运行指标数据之后,从存储的主机与业务组的对应关系中,查询当前时刻主机所归属的业务组。
可以理解的是,该业务配置设备22可以服务器,存储设备或者个人计算机等设备,本申请对此不加以限制。
可选的,该数据聚合系统还可以包括:通过网络与数据处理设备相连的数据库23,数据库23可以是数据库服务器。
相应的,数据处理设备21,还用于针对每个业务组,将该业务组对应的聚合结果数据存储到该数据库23,业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
与数据库直接存储各个主机的运行指标数据相比,仅仅通过数据库存储各个业务组对应的聚合结果数据,可以减少数据库的数据存储量,降低数据存储消耗,也有利于后续提高从数据库中查询数据的效率。
可选的,为了便于用户查看集群中各个业务组对应的运行指标情况,该数据库还可以采用智能仪表盘技术输出各个业务组的聚合结果数据。如,数据库通过智能仪表盘技术在显示器中输出各个业务组的聚合结果数据,或者是数据库将各个业务组的聚合结果数据传输给用户的显示终端。
下面结合流程图对本申请的方案进行详细介绍。
首先,从数据处理设备侧对本申请的数据聚合方法进行介绍。如,参见图2,其示出了本申请一种数据聚合方法一个实施例的流程示意图,本实施例的方法应用于上面提到的数据处理设备。本实施例的方法可以包括:
S201,获取集群中各台主机各自的主机标识和运行指标数据。
其中,主机的运行指标数据为用于反映主机运行状况的一个或者多个指标,如主机的运行指标数据可以包括:主机中内存占用率、CPU占用率以及磁盘输入输出效率等等指标中的一种或者多种。
可以理解的是,数据处理设备获取主机的主机标识以及运行指标数据的方式可以有多种。
如,在一种可能的实现方式中,主机可以定时采集自身的运行指标数据,并将主机的主机标识与运行指标数据存储并存储到数据库中。而数据处理设备可以从数据库读取主机的主机标识以及该主机的主机标识对应的运行指标数据。
可以理解的是,主机的运行指标数据存储到数据库实际上就是将主机的运行指标数据存储到数据库的磁盘中,这样,数据处理设备每次从数据库读取主机的运行指标数据都需要从磁盘中读取数据,而从磁盘中读取数据的效率较低。而且,集群中各台主机的运行指标数据的数据量较多,那么每次从磁盘中读取数据都需要耗费较长的时间,使得每次进行指标聚合都需要较长时间,从而大大影响了监控集群中各业务组运行指标状况的实时性。
基于上面的原因,为了能够降低指标聚合所需耗费的时间,实现运行指标的实时聚合,作为一种可选方式,本申请实施例中,该数据处理设备可以处于主机与数据库之间的传输通道之间,相应的,主机的运行指标数据会直接上报给数据处理设备。在该种情况中,数据处理设备可以接收主机上报的主机标识和运行指标数据,从而避免从磁盘中读取主机的运行指标数据,进而可以在接收到主机的指标数据之后,及时进行后续处理,提高指标聚合的实时性。
进一步的,数据处理设备可以缓存接收到的主机标识和运行指标数据,以便后续可以直接基于缓存的数据,确定主机所属的业务组等。
S202,针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组。
在本申请实施例中,主机可以划归到多个业务组,而无需限制每个主机仅仅属于一个业务组,这样在后续分析出各个业务组整体的运行指标情况之后,可以为合理划分业务组,以合理分配资源提供依据。
如,前面所介绍的,在数据处理设备中存储有当前时刻集群中各个主机所归属的业务组的情况下,数据处理设备可以依据主机的主机标识,从自身存储的主机标识与业务组的对应关系中,查询该主机所归属的至少一个业务组。
作为一种可选方式,用户可以在需要变更业务组的情况下,在业务配置设备中设置或更改主机所归属的业务组,以使得业务配置设备存储用户最近一次设置的主机与业务组的对应关系。相应的,可以根据该主机的主机标识,从业务配置设备中获取当前时刻该主机归属的至少一个业务组。
可选的,针对每个业务组,还可以根据实际需要设置每个业务组的聚合方式,其中,聚合方式用于表征采用哪种方式对运行指标数据进行聚合。如,聚合方式可以包括:求和、求平均、求最大以及求最小等。如,用户可以在数据处理设备或者业务配置数据中配置每个业务组所需的至少一种聚合方式。例如,某个业务组配置了两种不同的聚合方式,分别为求最小以及求平均;而另一个业务组的聚合方式可能只有一种,如,为求和。相应的,数据处理设备可以在依据主机的主机标识,获取主机所属的业务组的同时,获取主机所属的每个业务组所对应的至少一种聚合方式。
如,数据处理设备可以按照主机的主机标识,从业务配置设备中获取主机所属的业务组以及每个业务组所对应的至少一种聚合方式。
当然,此处是以数据处理设备获取主机所属的业务组的信息的同时,获取该主机所属的业务组对应的至少一种聚合方式为例说明,在实际应用中,数据处理设备也可以在获取到主机所属的业务组之后,在根据集群中所具有的各个业务组,在分别获取各个业务组各自对应的至少一种聚合方式。
S203,依据当前时刻集群中各台主机各自归属的至少一个业务组,确定当前时刻集群中所具有的业务组以及每个业务组包含的至少一台主机。
可以理解的是,集群中各台主机所归属的业务组确定之后,集群中主机所可能划分到的业务组以及每个业务组具有哪些主机也相应确定。
举例说明,假设集群中主机a归属于业务组1和业务组2,主机b归属于业务组1,主机c归属于业务组2和业务组3,主机d归属于业务组1和业务组3,主机e归属于业务组2,则集群中至少包括业务组1、业务组2和业务组,其中,业务组1包括主机a、主机b、主机d;而业务组2包括主机a、主机c和主机e;业务组3包括主机c和主机d。
S204,针对当前时刻集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
其中,聚合是指对一个数据集进行的统计运算。聚合的方式或者说种类可以有多种,如,对数据集求最大、求最小,求和或者求平均值等不同类型指标的聚合,因此,聚合也称为指标聚合。
可以理解的是,在每个业务组所包含的主机以及业务组中各台主机的运行指标数据确定的情况下,数据处理设备可以按照聚合需要对业务组中各台主机的运行指标数据进行聚合,从而得到该业务组对应的运行指标数据的聚合结果数据。
考虑到聚合的方式有多种,在数据处理设备对业务组进行聚合时,可以按照预先设定的聚合方式,对业务组内各台主机的运行指标数据进行聚合。如,在数据处理设备中预先设定了一种聚合方式,例如,设置默认的聚合方式为求平均值,则数据处理设备对一个业务组中各台主机的运行指标数据进行求取平均值。
可以理解的是,在实际应用中,由于不同业务组可能承载的业务会有所差异,因此,用户对该业务组的运行指标所需关注的具体类型信息也会有所差异。在该种情况下,为了能够更加灵活的统计不同业务组的运行指标情况,针对不同业务组可以设置不同的聚合方式。
可选的,在该步骤S304之前,或者是在数据处理设备根据主机的主机标识,确定主机所归属的至少一个业务组的同时,该数据处理设备还会获取当前时刻主机归属的每个业务组所对应的至少一种聚合方式。
其中,数据处理设备获取主机归属的业务组所对应的聚合方式的具体实现可以与数据处理设备获取主机所归属的业务组的具体实现相似。如,用户可以在业务配置设备中配置主机所归属的业务组以及每个业务组对应的至少一种聚合方式。相应的,该数据处理设备可以根据该主机的主机标识,从该业务配置设备中获取当前时刻该主机所归属的至少一个业务组以及主机归属的每个业务组各自对应的至少一种聚合方式。
可以理解的是,集群中主机的运行指标数据可以有一种,也可以有多种。在集群中主机的运行指标数据为一种的情况下,针对业务组对应的每种聚合方式,可以直接按照该聚合方式对业务组中各台主机的运行指标数据进行聚合。当集群中主机的运行指标数据为多种的情况下,针对业务组对应的每种聚合方式,可以按照该聚合方式分别对业务组中各台主机的同一类运行指标数据进行聚合。
举例说明,假设业务组M中包括主机1、主机2和主机3,其中,每台主机的运行指标数据均包括主机的内存占用率和CPU占用率,同时,假设业务组M的聚合方式为求最大值和求平均值。在该种情况下,针对业务组对应的求最大值这一聚合方式,需要针对主机1、主机2以及主机3各自内存占用率,确定出三台主机的内存占用率中的最大值;同时,针对主机1、主机2和主机3各自的CPU占用率,也需要找出CPU占用率的最大值。而且,针对业务组对应的求平均值这一聚合方式,则需要求取业务组M中三个主机的内存占用率的平均值;同时,求取业务组M中这三台主机的CPU占用率的平均值。
可见,在本申请实施例中,在获取到集群中各台主机的运行指标数据之后,可以根据各台主机的主机标识,获取当前时刻各台主机各自归属的业务组,而根据当前时刻各台主机各自归属的业务组,便可以确定出当前时刻集群中所具有的业务组以及每个业务组所具有的主机。而由于本申请在需要对主机的运行指标数据进行处理时,实时确定集群中所具有的需要监控指标情况的业务组以及每个业务组所具有的主机,因此,即使集群中主机所归属的业务组变化以及业务组存在其他动态变化,也可以准确的确定集群中当前具有的业务组以及每个业务组中包含的主机的运行指标数据,从而可以对该业务组中各主机的运行指标数据进行聚合,进而得到当前时刻集群中每个业务组的整体运行指标情况。
与主机在上报运行指标数据时,携带主机中预置的该主机所归属的业务组相比,本申请是实时确定主机所归属的业务组,从而避免主机所归属的业务组固定,而导致无法跨在业务组动态变化的情况下统计变化后的业务组中的运行指标情况。
可以理解的是,为了便于后续查看以及分析各个业务组的运行指标状况,数据处理设备还可以将按照该业务组对应的聚合结果数据存储到数据库,其中,该聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
可选的,在数据处理设备获取到每个业务组当前对应的至少一种聚合方式的前提下,该数据处理设备可以将业务组按照每种聚合方式聚合得到的聚合结果数据分别存储到数据库中。
为了能够更清楚的理解本申请的方案,下面以一种实现方式为例,从多个设备之间的交互流程上对本申请的数据聚合方法进行介绍。如,参见图3,其示出了本申请一种数据聚合方法一个实施例的流程示意图,本实施例的方法可以包括:
S301,集群中的主机向数据处理设备上报运行指标数据,该运行指标数据携带有该主机的主机标识。
如,主机中在到达设定的上报时刻向数据处理设备上报该运行指标数据。例如,主机中按照了上报运行指标数据的上报周期,按照该上报周期可以确定当前是否达到上报运行指标数据的上报时刻。
S302,数据处理设备在接收到主机上报的运行指标数据时,缓存各台主机上报的主机标识和运行指标数据。
作为一种可选方式,数据处理设备会缓存运行指标数据,以便后续该数据处理设备可以直接在其内存中对运行指标数据进行处理。
S303,数据处理设备根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组的标识信息以及每个业务组对应的至少一种聚合方式。
其中,业务配置设备中存储有当前时刻用户为集群中各台主机分配的业务组以及用户为每个业务组配置的至少一种聚合方式。
如图1所示,用户可以直接在业务配置设备中配置集群中主机所归属的业务组以及每个业务组所对应的至少一种聚合方式,从而使得用户可以在业务配置设备上直接变更业务组的信息,但却无需对数据处理设备的数据聚合过程进行变更。
其中,业务组的标识信息用于唯一标识业务组。
如,数据处理设备将主机的主机标识发送给业务配置设备之后,业务配置设备可以返回的与该主机的主机标识对应的业务组信息可以表示为如下:
【业务组1:聚合方式1,聚合方式2、聚合方式3】;
【业务组2:聚合方式1】
由以上信息可知,主机归属于业务组1以及业务组2,业务组1和业务组2表示两个业务组,其中,业务组1对应着聚合方式1、聚合方式2和聚合方式3这三种聚合方式,而业务组2对应的聚合方式1。其中,聚合方式1、聚合方式2以及聚合方式3不相同。
S304,数据处理设备针对当前时刻集群中的每个业务组,确定缓存中归属于该业务组的各台主机的运行指标数据。
数据处理设备根据缓存的各个主机当前上报的运行指标数据,可以确定出属于各个业务组的至少一个主机各自对应的运行指标数据。
S305,数据处理设备针对每个业务组的每种聚合方式,按照该种聚合方式,对归属于该业务组的各台主机的运行指标数据进行聚合。
举例说明,假设数据处理设备接收到主机1、主机2、主机3以及主机4各自上报的运行指标数据,而数据处理设备可以从业务配置设备中分别查询出当前时刻主机1、主机2、主机3以及主机4对应的业务组信息,假设这四台主机各自归属于的业务组以及业务组对应的聚合方式如下:
主机1:【业务组1:求和】;
主机2:【业务组1:求和】;
主机3:【业务组1:求和】,【业务组2:求和;求最大值】;
主机4:【业务组2:求和;求最大值】。
由以上信息可知,业务组1包括主机1、主机2和主机3,且,业务组1的聚合方式为求和;而业务组2包括主机3和主机4,且,业务组2的聚合方式为求最大值。
相应的,针对业务组1,可以对主机1、主机2和主机3的运行指标数据进行求和,从而得到业务组1按照求和这种聚合方式得到的聚合结果数据。
对于业务组2,针对求和这种聚合方式,需要对主机3和主机4的运行指标数据进行求和,得到业务组2采用求和所得到的聚合结果数据;同时,确定主机3和主机4中运行指标数据的最大值,以得到采用求最大值的聚合方式所对应的聚合结果数据。
当然,上面这一例子中是以主机上报的运行指标数据为同一类的情况为例,当主机上报多种运行指标数据时,针对每一类运行指标数据可以分别进行聚合,其过程相似,在此不再赘述。
S306,数据处理设备针对每个业务组,将按照该业务组对应的每种聚合方式所得到的聚合结果数据存储到数据库。
其中,聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
步骤S306可以参见前面实施例的相关介绍,在此不再赘述。
S307,数据库将集群中各个业务组对应的聚合结果数据采用仪表盘数据展示方式输出到用户的终端。
其中,数据库将聚合结果数据输出到用户的终端进行展示仅仅是一种实现方式,在数据库具备显示界面的前提下,数据库也可以采用仪表盘数据展示方式直接在显示界面中输出聚合结果数据,以供用户查看。
可见,在本申请实施例中,用户可以通过终端登录业务配置设备或者直接操作业务配置设备,来变更业务配置设备中存储集群中的业务组的信息,而无需变更对集群中各主机的运行指标数据进行聚合的过程,操作较为便捷。而且,由于每次数据处理设备接收到主机上报的运行指标数据后,都会实时从业务配置设备中查询主机所归属的业务组,并以查询到的各个主机所归属的业务组为基础进行聚合操作,从而使得业务组的变化可以实时反映到聚合过程中,使得即使业务组存在变化,也可以实时进行业务组中各个主机的运行指标的聚合计算。
而且,由于主机上报的运行指标数据经数据处理设备聚合之后,仅仅将各个业务组的聚合结果数据存储到数据库,这样,数据库无需存储各个主机的运行指标,从而减少了数据库的数据存储量。
同时,由于数据库可以采用仪表盘数据展示方式向用户的终端输出各个业务组的聚合结果数据,从而使得用户无需输入查询语句来查询各个业务组的运行指标数据对应的聚合结果,便可以直观查看各个业务组的运行指标情况。
对应本申请的数据聚合方法中数据处理设备侧的操作,本申请还提供了一种数据聚合装置。
如,参见图4,其示出了本申请一种数据聚合装置一个实施例的组成结构示意图,该装置可以应用于前面所述的数据处理设备,该装置可以包括:
数据获取单元401,用于获取集群中各台主机各自的主机标识和运行指标数据;
组确定单元402,用于针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;
组归类单元403,用于依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;
指标聚合单元404,用于针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
在一种可能的实现方式中,所述组确定单元,包括:
组查询单元,用于根据该主机的主机标识,从业务配置设备中获取当前时刻该主机归属的至少一个业务组,所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。
可选的,在以上装置的实施例中,还包括:
聚合方式获取单元,用于在所述指标聚合单元对归属于该业务组的各台主机的运行指标数据进行聚合之前,,获取当前时刻主机归属的每个业务组对应的至少一种聚合方式;
所述指标聚合单元,包括:
指标聚合子单元,用于针对当前时刻所述集群中的每个业务组,分别按照该业务组对应的每种聚合方式,对归属于该业务组的各台主机的运行指标数据进行聚合。
在一种可能的实现方式中,所述数据获取单元,包括:
数据接收子单元,用于接收所述集群中各台主机当前时刻各自上报的主机标识和运行指标数据。
可选的,所述装置还包括:
数据存储单元,用于在所述指标聚合单元对归属于该业务组的各台主机的运行指标数据进行聚合之后,针对每个业务组,将该业务组对应的聚合结果数据存储到数据库,所述业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据聚合方法,其特征在于,包括:
获取集群中各台主机各自的主机标识和运行指标数据;
针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;
依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;
针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
2.根据权利要求1所述的数据聚合方法,其特征在于,所述根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组,包括:
根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组,所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。
3.根据权利要求1或2所述的数据聚合方法,其特征在于,在针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合之前,还包括:
获取当前时刻主机归属的每个业务组对应的至少一种聚合方式;
所述针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合,包括:
针对当前时刻所述集群中的每个业务组,分别按照该业务组对应的至少一种聚合方式,对归属于该业务组的各台主机的运行指标数据进行聚合。
4.根据权利要求1所述的数据聚合方法,其特征在于,所述获取集群中各台主机各自的主机标识和运行指标数据,包括:
接收集群中各台主机当前时刻各自上报的主机标识和运行指标数据。
5.根据权利要求1所述的数据聚合方法,其特征在于,在所述对归属于该业务组的各台主机的运行指标数据进行聚合之后,还包括:
针对每个业务组,将该业务组对应的聚合结果数据存储到数据库,所述业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
6.一种数据聚合系统,其特征在于,包括:
与集群中各台主机通过网络相连的数据处理设备;
所述数据处理设备,用于获取所述集群中各台主机各自的主机标识和运行指标数据;针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
7.根据权利要求6所述的数据聚合系统,其特征在于,还包括:
与所述数据处理设备通过网络相连的业务配置设备;
该业务配置设备,用于接收用户为所述集群中各台主机分配的业务组,并存储所述集群中每台主机归属的业务组的信息;
所述数据处理设备在根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组时,具体用于,根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组。
8.根据权利要求6或7所述的数据聚合系统,其特征在于,还包括:
通过网络与所述数据处理设备相连的数据库;
所述数据处理设备还用于,针对每个业务组,将该业务组对应的聚合结果数据存储到数据库,其中,业务组对应的聚合结果数据为通过对归属于该业务组的各台主机的运行指标数据进行聚合得到的。
9.一种数据聚合装置,其特征在于,包括:
数据获取单元,用于获取集群中各台主机各自的主机标识和运行指标数据;
组确定单元,用于针对每台主机,根据该主机的主机标识,确定当前时刻该主机归属的至少一个业务组;
组归类单元,用于依据当前时刻所述集群中各台主机各自归属的至少一个业务组,确定当前时刻所述集群中所具有的业务组以及每个业务组包含的至少一台主机;
指标聚合单元,用于针对当前时刻所述集群中的每个业务组,对归属于该业务组的各台主机的运行指标数据进行聚合。
10.根据权利要求9所述的数据聚合装置,其特征在于,所述组确定单元,包括:
组查询单元,用于根据该主机的主机标识,从业务配置设备中查询当前时刻该主机归属的至少一个业务组,所述业务配置设备中存储有当前时刻用户为所述集群中各台主机分配的业务组。
CN201811383063.4A 2018-11-20 2018-11-20 数据聚合方法、装置和系统 Active CN109587223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811383063.4A CN109587223B (zh) 2018-11-20 2018-11-20 数据聚合方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383063.4A CN109587223B (zh) 2018-11-20 2018-11-20 数据聚合方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109587223A true CN109587223A (zh) 2019-04-05
CN109587223B CN109587223B (zh) 2021-09-07

Family

ID=65923014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383063.4A Active CN109587223B (zh) 2018-11-20 2018-11-20 数据聚合方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109587223B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711515A (zh) * 2021-01-20 2021-04-27 维沃移动通信有限公司 一种实时监控方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571965A (zh) * 2012-01-16 2012-07-11 浪潮(北京)电子信息产业有限公司 实现高可用集群中业务组启动的方法及装置
CN102801550A (zh) * 2011-05-27 2012-11-28 北京邮电大学 一种内容分发网络管理方法及装置
CN103595771A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种集群的并行业务组控制和管理的方法
CN103973811A (zh) * 2014-05-23 2014-08-06 浪潮电子信息产业股份有限公司 一种可动态迁移的高可用集群管理方法
WO2015123890A1 (zh) * 2014-02-24 2015-08-27 华为技术有限公司 一种m2m中信息处理的方法和装置
CN107205028A (zh) * 2017-05-25 2017-09-26 郑州云海信息技术有限公司 一种服务分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801550A (zh) * 2011-05-27 2012-11-28 北京邮电大学 一种内容分发网络管理方法及装置
CN102571965A (zh) * 2012-01-16 2012-07-11 浪潮(北京)电子信息产业有限公司 实现高可用集群中业务组启动的方法及装置
CN103595771A (zh) * 2013-11-01 2014-02-19 浪潮电子信息产业股份有限公司 一种集群的并行业务组控制和管理的方法
WO2015123890A1 (zh) * 2014-02-24 2015-08-27 华为技术有限公司 一种m2m中信息处理的方法和装置
CN103973811A (zh) * 2014-05-23 2014-08-06 浪潮电子信息产业股份有限公司 一种可动态迁移的高可用集群管理方法
CN107205028A (zh) * 2017-05-25 2017-09-26 郑州云海信息技术有限公司 一种服务分类方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711515A (zh) * 2021-01-20 2021-04-27 维沃移动通信有限公司 一种实时监控方法、装置及电子设备

Also Published As

Publication number Publication date
CN109587223B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
AU2008359227B2 (en) Automatic discovery of physical connectivity between power outlets and it equipment
JP4897685B2 (ja) 電力系統構成要素の対応付け
CN107707376B (zh) 一种监控和告警的方法和系统
CN110096410A (zh) 告警信息处理方法、系统、计算机装置及可读存储介质
CN102647299B (zh) 基于内容分发网络的层次化报警分析方法和系统
CN108874640A (zh) 一种集群性能的评估方法和装置
CN102694696B (zh) Dns服务器异常检测的方法及装置
CN109684280A (zh) 日志文件处理方法、装置及系统
CN112463543A (zh) 业务数据的监控方法、规则数据生成方法、装置及系统
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN101196901B (zh) 用于数据库查询的计算机系统和方法
CN111338888B (zh) 一种数据统计方法、装置、电子设备及存储介质
CN112327777A (zh) 一种数据采集系统及方法
CN106951360B (zh) 数据统计完整度计算方法和系统
CN108964967A (zh) 一种对cdn加速服务进行智能监控与分析的方法和系统
CN109587223A (zh) 数据聚合方法、装置和系统
CN110430070A (zh) 一种服务状态分析方法、装置、服务器、数据分析设备及介质
CN116260738B (zh) 设备监控方法及相关设备
CN107797924B (zh) 一种sql脚本的异常检测方法及其终端
CN114285786B (zh) 一种网络链路库的构建方法及装置
CN114039878A (zh) 一种网络请求的处理方法、装置、电子设备及存储介质
CN113778831A (zh) 一种数据应用性能分析方法、装置、设备和介质
CN112069017A (zh) 业务系统监控方法及装置
CN114697319B (zh) 一种公有云的租户业务管理方法及装置
CN111082987A (zh) 一种面向泛在电力物联网的配线网络运维系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant