CN107612721A - 运维数据的管理系统及方法、汇聚服务器及处理服务器 - Google Patents

Abstract

本发明实施例涉及数据处理技术领域，公开了一种运维数据的管理系统及方法、汇聚服务器及处理服务器。本发明中，运维数据的管理系统包括：至少一汇聚服务器，用于采集至少一产品的运维数据，其中运维数据至少包括两种类型的数据项；至少一处理服务器，用于以数据项的属性特征所对应的处理规则，对数据项进行处理，其中属性特征至少包括数据项的类型；数据库，用于存储处理服务器处理后的数据项，以形成至少一产品的分析数据；从而实现了对同一产品庞大的运维数据的整合统一。

Description

运维数据的管理系统及方法、汇聚服务器及处理服务器

技术领域

本发明实施例涉及数据处理技术领域，特别涉及运维数据的管理系统及方法、汇聚服务器及处理服务器。

背景技术

互联网运维，与研发、测试、系统管理同为互联网产品技术支撑的4大部门。一般来讲国内的互联网运维负责软件测试交付后的发布和管理，其核心目标是将交付的业务软件和硬件基础设施高效合理的整合，转换为可持续提供高质量服务的产品，同时最大限度降低服务运行的成本，保障服务运行的安全。传统的产品运维方式包括手动登陆源机器查看产品运行状态、手动检索目标行命令过滤日志，也包括使用一些特定的监控平台进行产品监控，使用特定的日志平台进行日志汇聚等。

然而，发明人发现现有技术中至少存在如下问题：一方面，这些平台间互相隔离，不同数据类型之间传递闭塞，整体运维效率低；另一方面，一个系统产品所产生的行为数据极其庞大，这些数据包括日志数据、机器性能数据、产品状态数据、产品指标数据等，传统的运维手段很难对这些庞大的数据进行有效的统一管理和价值利用。

发明内容

本发明实施方式的目的在于提供一种运维数据的管理系统及方法、汇聚服务器及处理服务器，实现了对同一产品庞大的运维数据的整合统一。

为解决上述技术问题，本发明的实施方式提供了一种运维数据的管理系统，包括：至少一汇聚服务器，用于采集至少一产品的运维数据，其中所述运维数据至少包括两种类型的数据项；至少一处理服务器，用于以所述数据项的属性特征所对应的处理规则，对所述数据项进行处理，其中所述属性特征至少包括所述数据项的类型；数据库，用于存储所述处理服务器处理后的数据项，以形成所述至少一产品的分析数据。

本发明的实施方式还提供了一种汇聚服务器，包括：采集模块、暂存模块以及传输模块；所述采集模块用于采集至少一产品的运维数据，并将所述运维数据汇聚在所述暂存模块中存储；其中所述运维数据至少包括两种类型的数据项；所述传输模块用于将汇聚的所述运维数据发送至一处理服务器。

本发明的实施方式还提供了一种汇聚服务器，包括：识别模块、处理模块和至少两个队列；所述识别模块用于上述汇聚服务器接收所述至少一产品的运维数据，并将所述运维数据中属性特征相同的数据项分配至同一队列中，其中所述属性特征至少包括所述数据项的类型；所述处理模块用于根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。

本发明的实施方式还提供了一种运维数据的管理方法，包括：采集至少一产品的运维数据，其中所述运维数据至少包括两种类型的数据项；以所述数据项的属性特征所对应的处理规则，对所述数据项进行处理，其中所述属性特征至少包括所述数据项的类型；存储所述处理服务器处理后的数据项，以形成所述至少一产品的分析数据。

本发明实施方式相对于现有技术而言，汇聚服务器采集至少一产品的运维数据，且所述运维数据至少包括两种类型的数据项；处理服务器以所述数据项的属性特征所对应的处理规则对所述数据项进行处理；数据库存储处理后的数据项，以形成所述至少一产品的分析数据。即，同一产品的运维数据(包括不同类型的数据项)能够汇聚在一起处理并存储；从而，实现了对同一产品庞大的运维数据的整合统一，同时，数据被整合统一后可以提供一个完整的信息平台，为后续的访问查询提供了便捷。

另外，所述处理服务器包括识别模块、处理模块以及至少两个队列；所述识别模块用于将所述属性特征相同的数据项，分配至同一队列中；所述处理模块用于根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。本实施例提供了对所述数据项进行处理的具体实现方式，其中，以队列的方式将不同属性特征的数据项进行分类，并将各队列与处理规则绑定，以对同一队列中的数据项采用相同的处理规则处理，实现起来方便快捷且效率较高。

另外，所述队列为自定义处理队列、标准化处理队列或缓存队列。本实施例中，标准化处理队列提供标准化的处理规则，自定义处理队列提供自定义的处理规则，缓存队列对应于不需要处理即可直接存储的数据项；即，本实施例提供除标准化处理规则以外的自定义处理等多种处理方式；且正是由于提供了包括自定义处理的多种处理方式，才能使得设计人员能够根据采集的数据项的属性特征来自定义处理规则，使得更多数据项能够采用本实施例提供的系统进行处理，从而得以更好地实现运维数据的整合统一。

另外，所述自定义处理队列为自定义计算队列或自定义报警队列。本实施例提供了自定义处理队列的两种不同类型。

另外，所述处理模块包括：解析子模块和计算子模块；所述计算子模块用于对所述自定义处理队列中的数据项进行计算，并在计算后反馈至所述自定义处理队列；所述解析子模块用于将所述标准化处理队列或所述缓存队列中的数据项在处理后存入所述数据库，并且，将所述自定义处理队列中经所述计算子模块计算后的数据项存入所述数据库，将所述自定义处理队列中未经所述计算子模块计算的数据项，输出至所述计算子模块。本实施例中，自定义处理队列中的数据项在计算后被反馈至自定义处理队列，即复用自定义处理队列进行排队存储，同时作为排队等候进行存储的队列，从而无需设置额外的排队存储的队列，便于实现且节省内部空间。

另外，所述汇聚服务器具体用于采集多种产品的运维数据；所述运维数据的管理系统还包括至少一访问服务器，所述至少一访问服务器用于当接收到访问请求时，根据所述访问请求获取访问者的访问权限，并反馈所述访问权限对应的产品的分析数据。本实施例中，通过对各访问者预设访问权限，实现了不同产品的独立管理与访问权限管控。

另外，所述汇聚服务器包括：采集模块、暂存模块以及传输模块；所述采集模块用于采集至少一产品的运维数据，并将所述运维数据汇聚在所述暂存模块中存储；所述传输模块用于将汇聚的所述运维数据传输至所述处理服务器。所述采集模块包括监听模块，用于对客户端运行的所述至少一产品进行监听，以获取所述运维数据；和/或，接口模块，用于接收所述客户端上报的所述至少一产品的所述运维数据。本实施例提供了汇聚服务器采集数据的两种不同方式(主动和被动)。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施例的运维数据的管理系统的一种实现方式的方框图；

图2是根据本发明第一实施例的运维数据的管理系统的另一种实现方式的方框图；

图3是图1中的运维数据的管理系统的具体结构的方框图；

图4是本发明第一实施例中不同属性特征的数据项被放入不同队列的示意图；

图5是根据本发明第二实施例的运维数据的管理系统的具体结构的方框图；

图6是根据本发明第五实施例的运维数据的管理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种运维数据的管理系统。本实施方式的核心在于，运维数据的管理系统包括至少一汇聚服务器，用于采集至少一产品的运维数据，其中运维数据至少包括两种类型的数据项；至少一处理服务器，用于以数据项的属性特征所对应的处理规则，对数据项进行处理，其中属性特征至少包括数据项的类型；数据库，用于存储处理服务器处理后的数据项，以形成至少一产品的分析数据。

本实施例相对于现有技术而言，汇聚服务器采集至少一产品的运维数据，且所述运维数据至少包括两种类型的数据项；处理服务器以所述数据项的属性特征所对应的处理规则对所述数据项进行处理；数据库存储处理后的数据项，以形成所述至少一产品的分析数据。即，同一产品的运维数据(包括不同类型的数据项)能够汇聚在一起处理并存储；从而，实现了对同一产品庞大的运维数据的整合统一，同时，数据被整合统一后可以提供一个完整的信息平台，为后续的访问查询提供了便捷。

如图1所示为本实施例的运维数据的管理系统的一种实现方式。其中，汇聚服务器1、处理服务器2以及数据库3的数量均为1个；即，所有产品的运维数据均被汇聚在一个汇聚服务器1上，然后经过一个处理服务器2处理后存入数据库3。

如图2所示为本实施例的运维数据的管理系统的另一种实现方式。其中，汇聚服务器1和处理服务器2的数量均为多个，且每个汇聚服务器1与一个处理服务器2相连接。即，如果所有产品的运维数据很庞大的话，可以根据划分的地区的数量设定汇聚服务器1和处理服务器2的数量，例如，每一个地区可设置一个汇聚服务器1和一个处理服务器2，从而该运维数据的管理系统形成分布式结构。相对于只有一个汇聚服务器而言，采用分布式处理可以减小汇聚服务器以及处理服务器的处理压力，同时也可以提高处理速度。然本实施例不限于此，处理服务器的数量与汇聚服务器的数量可以相同，也可以不同；例如，一个处理服务器可以同时处理来自多个汇聚服务器的运维数据，或者，多个处理服务器可以合作处理一个汇聚服务器的运维数据；技术人员可以根据需求设定。

下面对本实施方式的运维数据的管理系统的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

如图3所示为图1中的运维数据的管理系统的具体结构的方框图。需要说明的是，本实施例中仅仅是以图1所示的管理系统为例进行的说明，并不限于此。

汇聚服务器1用于采集至少一产品的运维数据，其中运维数据至少包括两种类型的数据项。一般而言，汇聚服务器1会采集多种产品的运维数据，且每种产品的运维数据均包括多种类型的数据项，多种类型包括日志类型、指标类型、实时类型、监控类型等等。

其中，以下对管理系统的具体说明中，均以日志类型、指标类型、实时类型、监控类型这四种类型为例进行说明。

汇聚服务器1包括采集模块10、暂存模块11以及传输模块12。采集模块10用于采集至少一产品的运维数据，并将运维数据汇聚在暂存模块11中暂时存储。本实施例中，采集模块采集运维数据的方式包括被动式采集和主动式采集；然不限于此，在其他例子中，也可为被动式采集和主动式采集的其中一种。

当采集方式为被动式采集时，采集模块10为监听模块102，监听模块102被安装在产品中，用于对客户端运行的至少一产品进行监听以得到该产品的运维数据。其中，该监听模块可以理解为预置在产品中的常驻进程，其以固定的时间间隔获取产品的数据项，通过私有安全协议将数据项传输到汇聚服务器上，实现数据汇聚。

当采集方式为主动式采集时，采集模块10为接口模块，用于接收产品客户端上报的至少一产品的运维数据。其中，该接口模块可以理解为汇聚服务器上提供的常驻式的应用程序编程接口，客户端可以使用SHELL/python或其他语言，通过POST方式主动将该客户端上运行的产品的数据项发送到该接口模块，实现数据汇聚。

传输模块12用于将汇聚的运维数据发送至处理服务器。实际上的，处理服务器2可以访问该汇聚服务器1，并向汇聚服务器1的传输模块12提出数据项的提取请求；传输模块12用于在接收到提取请求后，从暂存模块11提取数据项并将其传输至处理服务器2。然不限于此，汇聚服务器1也可以通过传输模块12主动将暂存模块11中暂存的数据项发送至处理服务器2。

处理服务器2用于以数据项的属性特征所对应的处理规则，对数据项进行处理，其中属性特征至少包括数据项的类型；数据库用于存储处理服务器2处理后的数据项，以形成产品的分析数据。

其中，每个数据项均具有属性特征，本实施例中，属性特征除了包括数据项的类型外，还包括数据项的功能及数据项所属的产品名称。本实施例中，为各数据项绑定属性特征的方式为：各数据项被采集上来后，属性特征相同的数据项可以被放置在暂存模块11的同一个文件夹中，且该文件夹的名称以该属性特征命名；即，同一个文件夹中的所有数据项，且属性特征均相同且以该文件夹的文件名来绑定。本实施例对属性特征的具体内容以及为各数据项绑定属性特征的具体方式不作任何限制，设计人员可以根据实际需要设定。

处理服务器2包括识别模块20、处理模块21以及至少两个队列；识别模块20连接于汇聚服务器1的暂存模块11与各队列，处理模块21连接于各队列。识别模块20用于从汇聚服务器1的读取各数据项，并将属性特征相同的数据项分配至同一队列中；处理模块21用于根据各队列的预设的处理规则，对各队列中的数据项进行处理。其中，各队列的预设的处理规则与各队列中的数据项的属性特征相对应。

本实施例中，识别模块20读取文件夹中的各数据项之前，先识别出目前要读取的数据项所在的文件夹的名称，即先识别出目前要读取的数据项的属性特征；然后找到该属性特征对应的队列，并从该文件夹中读取的各数据项均放入找到的该队列中。例如，某个文件夹名称为“产品M/日志类型/入库累计数量”，即表示存储在名称为“产品M/日志类型/入库累计数量”这个文件夹中的各数据项的属性特征均为“产品M/日志类型/入库累计数量”，且各数据项分别表示不同时刻的产品M的入库累计数量。识别模块20会将这个文件夹中读取的各数据项均放入“产品M/日志类型/入库累计数量”对应的队列中。然本实施方式中对各数据项的存储形式以及读取形式不作任何限制。

队列的具体数量由数据项的属性特征的种类决定，即每一种属性特征对应一个队列。其中，不同的队列可以属于不同的队列类型；本实施例中，队列类型包括自定义处理队列221、标准化处理队列222以及缓存队列223，每种队列类型均可包括多个队列；即，一个队列，其可能属于自定义处理队列221、标准化处理队列222、缓存队列223的其中一种。

其中，自定义处理队列221对应的处理规则是设计人员根据当前的产品的实际分析需求，而对该产品中不同属性特征的数据项自己设定的处理规则。自定义处理队列可以为自定义计算队列或者自定义报警队列。所述自定义报警队列的预设的处理规则，包括：当所述数据项符合预设报警条件时，发出报警信息。本实施例提供了自定义处理队列的两种不同类型；且自定义报警队列具有报警功能。

标准化处理队列222对应的处理规则是目前已经被广泛应用的处理规则，即不管哪种产品均采用的以标准化格式记录的数据项，不同的标准化处理队列对应于不同的正则表达式(即这里所述的处理规则)。目前而言，日志类型的数据项较多地都采用了标准化格式记录；然不限于此。

缓存队列223仅用于对数据项进行缓存而不做任何处理，即，缓存队列对应的处理规则可以认为是：不作任何处理(还可以认为是作加0运算或者作乘1运算)。对于一些不需要处理的数据项，可以先将其放入缓存队列，后续会被直接存入数据库。

如图4所示为本实施例中不同属性特征的数据项被放入不同队列的示意图；例如，指标类型的数据项A1与A2的属性特征不同，数据项A1被放入自定义计算队列221-1，数据项A2被放入自定义计算队列221-2；实时类型的数据项B1与B2的属性特征不同，数据项B1被放入自定义计算队列221-3，数据项B2被放入自定义计算队列221-4；监控类型的数据项C1与C2的属性特征不同，数据项C1被放入自定义报警队列221-5，数据项C2被放入自定义报警队列221-6；日志类型的数据项D1和D2的属性特征不同，数据项D1被放入标准化处理队列222-1，数据项D2被放入标准化处理队列222-2；实时类型的数据项B3和日志类型的数据项D3均被放入缓存队列223。

需要强调的是，以上仅为举例说明，并不以此为限；任意类型的数据项均有可能被放入自定义处理队列、标准化处理队列或缓存队列，设计人员可以根据数据分析需求自行设定。

处理模块21内部预设有队列与处理规则的对应关系，该对应关系例如以对照表形式存在，即队列-处理规则对照表。处理模块21对各队列中的数据项进行处理时，根据队列与处理规则的对应关系，识别出当前的队列对应的处理规则，然后采用该处理规则对当前的该队列中的各数据项进行处理，最后将处理后各数据项存储至各数据项的类型所对应的数据库。

较佳的，本实施例的处理服务器2还包括报警模块23，连接于处理模块21。其中，自定义报警队列的预设的处理规则，包括：当数据项符合预设报警条件时，发出报警信息。具体而言，处理模块21在对自定义报警队列中的数据项进行处理后，会判断出处理过的该数据项是否符合预设报警条件，如果符合的话，触发报警模块23发出报警信息。较佳的，处理模块21触发报警模块23报警时，可以将该数据项的属性特征一同发送至报警模块23；报警模块23中可以预存属性特征与报警信息的对应关系，并发出与该数据项的属性特征对应的报警信息(具体内容不同和/或报警形式不同)，以便于用户根据报警信息就可了解是何种问题。其中，报警信息可以短信、邮件等形式发送出去。在处理服务器2中增设报警模块23，可以在运维数据出现问题时及时告知相关人员。然本实施方式对此不作限制，在其他实施例中，也可以通过定时访问存储在数据库中的分析数据来判断运维数据是否出现问题。

数据库3用于存储处理服务器处理后的数据项，以形成产品的分析数据。本实施例中，数据库3包括两个存储器，两个存储器分别是：日志搜索引擎31与时序数据库32。日志搜索引擎31用于存储处理后的日志类型的数据项，时序数据库用于存储处理后的指标类型的数据项、实时类型的数据项及监控类型的数据项；即，处理后的数据项可以根据实际需求分开存储，以便于管理。然本实施例对数据库3所包括的存储器的数量和种类不作任何限制，对各类型的数据所要存储至的存储器也不作任何限制。

其中，处理模块21内部还可以预设有队列与存储器的对应关系，对于同一队列中的各数据项，处理后都被存储到与该队列对应的存储器中。

以图4中的例子为例，自定义计算队列221-1、自定义计算队列221-2、自定义计算队列221-3、自定义计算队列221-4、自定义报警队列221-5、自定义报警队列221-6均对应于时序数据库，标准化处理队列222-1、标准化处理队列222-2均对应于日志搜索引擎，缓存队列223对应于时序数据库。则，被处理后的指标类型的数据项A1与A2、被处理后的实时类型的数据项B1与B2、被处理后的监控类型的数据项C1与C2均被存储至时序数据库，被处理后日志类型的数据项D1和D2均被存储至日志搜索引擎，被处理后的实时类型的数据项B3和日志类型的数据项D3均被存储至时序数据库。

进一步的，每个存储器中的数据项可以按照产品分区存储。例如，日志搜索引擎可以预先被划分成多个存储空间，各存储空间相互独立，且每个存储空间用于储存一种产品的日志类型的数据，从而通过使用不同的存储空间来隔离不同产品，有利于实现各产品的独立管理。

较佳的，运维数据的管理系统还包括至少一访问服务器4，访问服务器4连接于各数据库3，且用于在接收到访问请求时，根据访问请求获取访问者的访问权限，并反馈访问权限对应的产品的分析数据。进一步的，运维数据的管理系统还可以包括与访问服务器4连接的关系数据库5，关系数据库5可以用于储存各访问者的访问权限以及各访问者的其他信息。

具体而言，管理人员可以对关系数据库5中的各访问者的访问权限及其他信息进行配置，不同的访问权限对应的可访问产品是不同的。例如关系数据库5中可以储存有一张访问者-访问权限对照表，访问权限的内容可以包括访问者对应的可访问产品；当访问服务器4接收到访问者的访问请求时，根据预设的各访问者的访问权限，将该访问权限中包括的可访问产品的分析数据反馈至该访问者。从而，本实施例通过对各访问者预设访问权限，实现了不同产品的独立管理与访问权限管控。

其中，访问服务器4可以是WEB服务器，其支持多数据源连接，针对不同的数据库提供不同的数据可视化方式。例如，针对日志类型的数据项，可以提供原始日志检索，支持Lucene语法进行日志检索；针对指标类型的数据项、实时类型的数据项，可以提供走势图、饼图、表格等图形，并针对不同的数据源设计了不同的查询语法。

当访问服务器4为多个时，较佳的，运维数据的管理系统还可以包括与访问服务器4连接的负载均衡器6，以均衡各访问服务器的处理任务。

本发明的第二实施方式涉及一种运维数据的管理系统。第二实施方式是在第一实施方式基础上的细化，主要细化之处在于：在本发明第二实施方式中，如图5所示，处理模块21包括解析子模块211和计算子模块212，解析子模块211连接于计算子模块212、各队列以及数据库3，计算子模块212连接于自定义处理队列221。

解析子模块211中预存有队列与处理规则的对应关系，解析子模块211用于读取各队列中的数据项，并根据队列与处理规则的对应关系，识别出各队列对应的处理规则，以对各队列中的数据项进行处理。

其中，解析子模块211对各队列中的数据项的读取方式，例如为：各队列按序编号，从第1个队列中的连续读取预设数量的数据项，从第2个队列中的连续读取预设数量的数据项，从第3个队列中的连续读取预设数量的数据项，……，以此类推；或者，也可以多个队列同时读取，本实施例对此不作任何限定，设计人员可以根据需要设定。

对于每一个标准化处理队列，解析子模块211识别出该标准化处理队列对应的正则后，对该标准化队列中的各数据项进行解析，然后将解析后的数据项直接存储至数据库；对于每一个缓存队列，解析子模块211将缓存队列中的数据项直接存储至数据库；对于每一个自定义处理队列，解析子模块211识别出该自定义处理队列对应的处理规则后，将该自定义处理队列中的数据项均发送至计算子模块212并告知计算子模块212采用识别出的该处理规则进行处理；其中，计算子模块212中预存有各自定义处理队列对应的处理规则的具体内容。

其中，计算子模块212可以配置多个排队队列，每一个排队队列与一种处理规则绑定，即计算子模块212中预先设定，从同一个排队队列进入计算子模块212的所有数据项均采用该排队队列所绑定的处理规则进行处理；解析子模块211只要将自定义处理队列中的各数据项放入该自定义处理队列对应的处理规则所绑定的排队队列即可。

经计算子模块212计算后的数据项会被标志为已计算，并被放回至该数据项对应的自定义处理队列；即，该自定义处理队列中包括已计算过的数据项与未计算过的数据项。故，解析子模块211还用于在自定义处理队列读取数据项后，判断读取的该数据项是否已经计算过，如果已经被计算过，则将该数据项直接存储至数据库3；如果未计算过，则将该数据项输出至该计算子模块212。本实施例中，自定义处理队列中的数据项在计算后被反馈至自定义处理队列，即复用自定义处理队列进行排队存储，同时作为排队等候进行存储的队列，从而无需设置额外的排队存储的队列，便于实现且节省内部空间。

其中，解析子模块211可以为一个数据解析器，计算子模块212可以为一个流式计算引擎；然本实施例对此不作任何限制。

本实施例中的报警模块23连接于处理模块21中的解析子模块211。本实施例中判断是否需要报警的具体方式可以为：计算子模块212在对自定义报警队列中的数据项进行计算后，会判断出计算过的该数据项是否符合预设报警条件，如果符合的话，该数据项会被标志为待报警。解析子模块211对于从自定义报警子队列读取的数据项，当判断出该数据项为已计算时，再判断该数据项是否为待报警，若是，解析子模块211触发报警模块23发出报警信息。然本实施方式对判断是否需要报警的具体方式不作限制，以上仅为举例说明。

本发明第三实施方式涉及一种汇聚服务器，请参图3，汇聚服务器1包括：采集模块10、暂存模块11以及传输模块12。采集模块10用于采集至少一产品的运维数据，并将运维数据汇聚在暂存模块11中存储；其中运维数据至少包括两种类型的数据项；传输模块12用于将汇聚的运维数据传输至处理服务器2。

其中，采集模块10包括监听模块101，用于对客户端运行的所述至少一产品进行监听，以获取所述运维数据；和/或，接口模块102，用于接收客户端上报的至少一产品的运维数据。

不难发现，本实施方式的汇聚服务器即为第一实施方式或第二实施方式所述的管理系统中的汇聚服务器，第一实施方式或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

本发明第四实施方式涉及一种处理服务器，请参图3，处理服务器2包括识别模块20、处理模块21以及至少两个队列。识别模块20用于第一或第二实施方式所述的管理系统中的所述汇聚服务器接收至少一产品的运维数据，并将运维数据中属性特征相同的数据项分配至同一队列中，其中属性特征至少包括数据项的类型；处理模块21用于根据各队列的预设的处理规则，对各队列中的数据项进行处理；其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。

其中，队列为自定义处理队列221、标准化处理队列222或缓存队列223。

其中，自定义处理队列为自定义计算队列或自定义报警队列。

其中，自定义报警队列的预设的处理规则，包括：当数据项符合预设报警条件时，发出报警信息。

其中，请同时参考图5，处理模块21包括：解析子模块211和计算子模块212；计算子模块212用于对自定义处理队列221中的数据项进行计算，并在计算后反馈至自定义处理队列221；解析子模块212用于将标准化处理队列222或缓存队列223中的数据项在处理后存入数据库3，并且，将自定义处理队列221中经计算子模块计算后的数据项存入数据库3，将自定义处理队列221中未经计算子模块212计算的数据项，输出至计算子模块212。

不难发现，本实施方式的汇聚服务器即为第一实施方式或第二实施方式所述的管理系统中的汇聚服务器，第一实施方式或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

值得一提的是，上面所有实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种运维数据的管理方法，应用于第一或第二实施例所述的运维数据的管理系统，请参考图1或图2，运维数据的管理系统包括汇聚服务器1、处理服务器2以及数据库3。

如图6所示为根据本发明第五实施例的运维数据的管理方法的流程图。

步骤101：采集至少一产品的运维数据；其中运维数据至少包括两种类型的数据项。

其中，汇聚服务器1采集至少一产品的运维数据。较佳的，采集至少一产品的运维数据的具体方式，可以包括：对客户端运行的产品进行监听，以获取运维数据；和/或，接收客户端上报的产品的运维数据。

步骤102：以数据项的属性特征所对应的处理规则，对数据项进行处理；其中属性特征至少包括所述数据项的类型。

其中，处理服务器2以数据项的属性特征所对应的处理规则，对数据项进行处理。

较佳的，步骤102具体包括：将所述属性特征相同的数据项，分配至同一队列中；根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应

步骤103：存储处理服务器处理后的数据项，以形成至少一产品的分析数据。

其中，数据库3用于存储处理服务器处理后的数据项。

较佳的，在步骤103之后，还包括步骤104：当接收到访问请求时，根据访问请求获取访问者的访问权限，并反馈访问权限对应的产品的分析数据。

不难发现，本实施方式的运维数据的管理方法与第一实施方式或第二实施方式所述的管理系统相对应，第一实施方式或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (19)

1.一种运维数据的管理系统，其特征在于，包括：

至少一汇聚服务器，用于采集至少一产品的运维数据，其中所述运维数据至少包括两种类型的数据项；

至少一处理服务器，用于以所述数据项的属性特征所对应的处理规则，对所述数据项进行处理，其中所述属性特征至少包括所述数据项的类型；

数据库，用于存储所述处理服务器处理后的数据项，以形成所述至少一产品的分析数据。

2.根据权利要求1所述的运维数据的管理系统，其特征在于，所述处理服务器包括识别模块、处理模块以及至少两个队列；

所述识别模块用于将所述属性特征相同的数据项，分配至同一队列中；

所述处理模块用于根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；

其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。

3.根据权利要求2所述的运维数据的管理系统，其特征在于，所述队列为自定义处理队列、标准化处理队列或缓存队列。

4.根据权利要求3所述的运维数据的管理系统，其特征在于，所述自定义处理队列为自定义计算队列或自定义报警队列。

5.根据权利要求3所述的运维数据的管理系统，其特征在于，所述处理模块包括：解析子模块和计算子模块；

所述计算子模块用于对所述自定义处理队列中的数据项进行计算，并在计算后反馈至所述自定义处理队列；

所述解析子模块用于将所述标准化处理队列或所述缓存队列中的数据项在处理后存入所述数据库，并且，将所述自定义处理队列中经所述计算子模块计算后的数据项存入所述数据库，将所述自定义处理队列中未经所述计算子模块计算的数据项，输出至所述计算子模块。

6.根据权利要求1所述的运维数据的管理系统，其特征在于，所述汇聚服务器具体用于采集多种产品的运维数据；

所述运维数据的管理系统还包括至少一访问服务器，所述至少一访问服务器用于当接收到访问请求时，根据所述访问请求获取访问者的访问权限，并反馈所述访问权限对应的产品的分析数据。

7.根据权利要求1所述的运维数据的管理系统，其特征在于，所述属性特征还包括所述数据项的功能及所属的产品名称。

8.根据权利要求1所述的运维数据的管理系统，其特征在于，所述汇聚服务器包括：采集模块、暂存模块以及传输模块；

所述采集模块用于采集至少一产品的运维数据，并将所述运维数据汇聚在所述暂存模块中存储；

所述传输模块用于将汇聚的所述运维数据传输至所述处理服务器。

9.根据权利要求8所述的运维数据的管理系统，其特征在于，所述采集模块为监听模块，用于对客户端运行的所述至少一产品进行监听，以获取所述运维数据；

和/或，

接口模块，用于接收所述客户端上报的所述至少一产品的所述运维数据。

10.一种汇聚服务器，其特征在于，包括：采集模块、暂存模块以及传输模块；

所述采集模块用于采集至少一产品的运维数据，并将所述运维数据汇聚在所述暂存模块中存储；其中所述运维数据至少包括两种类型的数据项；

所述传输模块用于将汇聚的所述运维数据传输至一处理服务器。

11.根据权利要求10所述的汇聚服务器，其特征在于，所述采集模块包括监听模块，用于对客户端运行的所述至少一产品进行监听，以获取所述运维数据；

和/或，

接口模块，用于接收所述客户端上报的所述至少一产品的所述运维数据。

12.一种处理服务器，其特征在于，包括：识别模块、处理模块和至少两个队列；

所述识别模块用于从权利要求10或11所述的汇聚服务器接收所述至少一产品的运维数据，并将所述运维数据中属性特征相同的数据项分配至同一队列中，其中所述属性特征至少包括所述数据项的类型；

所述处理模块用于根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；

其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。

13.根据权利要求12所述的处理服务器，其特征在于，所述队列为自定义处理队列、标准化处理队列或缓存队列。

14.根据权利要求13所述的处理服务器，其特征在于，所述自定义处理队列为自定义计算队列或自定义报警队列。

15.根据权利要求12所述的处理服务器，其特征在于，所述处理模块包括：解析子模块和计算子模块；

所述计算子模块用于对所述自定义处理队列中的数据项进行计算，并在计算后反馈至所述自定义处理队列；

所述解析子模块用于将所述标准化处理队列或所述缓存队列中的数据项在处理后存入数据库，并且，将所述自定义处理队列中经所述计算子模块计算后的数据项存入所述数据库，将所述自定义处理队列中未经所述计算子模块计算的数据项，输出至所述计算子模块。

16.一种运维数据的管理方法，其特征在于，包括：

采集至少一产品的运维数据，其中所述运维数据至少包括两种类型的数据项；

以所述数据项的属性特征所对应的处理规则，对所述数据项进行处理，其中所述属性特征至少包括所述数据项的类型；

存储所述处理服务器处理后的数据项，以形成所述至少一产品的分析数据。

17.根据权利要求16所述的运维数据的管理方法，其特征在于，所述以所述数据项的属性特征所对应的处理规则，对所述数据项进行处理，具体包括：

将所述属性特征相同的数据项，分配至同一队列中；

根据各队列的预设的处理规则，对各所述队列中的数据项进行处理；其中，各队列的预设的处理规则与各所述队列中的数据项的属性特征相对应。

18.根据权利要求17所述的运维数据的管理方法，其特征在于，在所述存储所述处理服务器处理后的数据项，以形成所述至少一产品的分析数据之后，还包括：

当接收到访问请求时，根据所述访问请求获取访问者的访问权限，并反馈所述访问权限对应的产品的分析数据。

19.根据权利要求16所述的运维数据的管理方法，其特征在于，所述采集至少一产品的运维数据，具体包括：

对客户端运行的所述至少一产品进行监听，以获取所述运维数据；

和/或，

接收所述客户端上报的所述至少一产品的所述运维数据。