CN109614284A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN109614284A
CN109614284A CN201811251711.0A CN201811251711A CN109614284A CN 109614284 A CN109614284 A CN 109614284A CN 201811251711 A CN201811251711 A CN 201811251711A CN 109614284 A CN109614284 A CN 109614284A
Authority
CN
China
Prior art keywords
data sequence
server
slow speed
related coefficient
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811251711.0A
Other languages
English (en)
Other versions
CN109614284B (zh
Inventor
胡文
吴岩
丁浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811251711.0A priority Critical patent/CN109614284B/zh
Publication of CN109614284A publication Critical patent/CN109614284A/zh
Application granted granted Critical
Publication of CN109614284B publication Critical patent/CN109614284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置,方法包括:获取与第一服务器对应的服务质量数据序列和基础监控数据序列;根据所述服务质量数据序列确定慢速比数据序列;将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;根据所述相关系数,生成对应于所述第一服务器的报告文件。本发明实施例当运维人员需要进行故障发现时,可以通过阅读该报告文件,快速、便捷的发现故障可能的主要类别因素,从而达到降低发现故障难度、提高发现故障效率的技术效果。

Description

一种数据处理方法及装置
技术领域
本发明涉及通信技术领域,特别是涉及一种数据处理方法及装置。
背景技术
随着网络用户规模的不断增大,服务器需要承载的业务也越来越多,主流的大规模服务提供商通常采用分布式服务架构,通过部署在各个区域的服务器就近为用户服务,若服务器发生故障,则需要发现故障以进一步解决故障。
现有技术中,在收到服务器异常报障后,通常需要运维人员查看大量的图标、系统日志等,才能发现故障所在,发现故障的难度极大、效率极低。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法及装置。
根据本发明的第一方面,提供了一种数据处理方法,所述方法包括:
获取与第一服务器对应的服务质量数据序列和基础监控数据序列;
根据所述服务质量数据序列确定慢速比数据序列;
将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;
根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;
根据所述相关系数,生成对应于所述第一服务器的报告文件。
根据本发明的第二方面,提供了一种数据处理装置,所述装置包括:
获取模块,用于获取与第一服务器对应的服务质量数据序列和基础监控数据序列;
慢速比数据序列确定模块,用于根据所述服务质量数据序列确定慢速比数据序列;
类别指标数据序列确定模块,用于将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;
相关系数确定模块,用于根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;
报告文件生成模块,用于根据所述相关系数,生成对应于所述第一服务器的报告文件。
本发明实施例包括以下优点:本发明实施例首先获取与第一服务器对应的服务质量数据序列和基础监控数据序列,然后可以根据服务质量数据序列确定慢速比数据序列,慢速比数据序列可以用于反映第一服务器的服务质量,对基础监控数据序列按照预设类别聚合,可以得到多个类别指标数据序列,类别指标数据序列可以用于反映各预设类别对应的数据;再根据慢速比数据序列和多个类别指标数据序列,可以确定出预设类别与第一服务器的服务质量的相关系数,也即,预设类别对服务质量的影响系数,则根据相关系数生成的报告文件,可以清晰的反映第一服务器中,各预设类别对服务质量的影响系数,当运维人员需要进行故障发现时,可以通过阅读该报告文件,快速、便捷的发现故障可能的主要类别因素,从而达到降低发现故障难度、提高发现故障效率的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种数据处理方法的流程图;
图2是本发明实施例提供的一种数据处理方法的具体流程图;
图3是本发明实施例提供的一种数据处理装置的框图;
图4是本发明实施例提供的一种数据处理装置的具体框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解,此处所描述的具体实施例仅用以解释本发明,仅仅是本发明一部分实施例,而不是全部的实施例,并不用于限定本发明。
实施例一
参照图1,示出了一种数据处理方法的流程图。
可以理解,本发明实施例可以应用于服务器端,该服务器端可以是WEB(WorldWide Web,万维网)服务器,也可以是其他形式的服务器,本发明实施例对此不做具体限制。
具体应用中,服务器可以在夜间用户访问量较少的情况下,对数据进行处理,以提升处理效率并降低服务器白天运行时的负载;服务器也可以在任意时间对数据进行处理,本发明实施例对进行本发明的数据处理方法的具体实施时机不作限制。
该方法具体可以包括如下步骤:
步骤101:获取与第一服务器对应的服务质量数据序列和基础监控数据序列。
本发明实施例中,服务质量数据序列可以用于计算第一服务器的服务质量。服务质量数据序列可以包括:单位时间内获取的多条用户访问日志。具体应用中,当用户访问第一服务器时,会存在一条用户访问日志,用户访问日志可以包括:用户IP地址、请求URI(Uniform Resource Identifier,统一资源标识符)、下载速度等信息。举例来说,假设每分钟获取一次第一服务器的N(N为自然数)条用户访问日志,以每分钟获取的N条用户访问日志为一个服务质量数据子集,则在一天内,可以获取1440个服务质量数据子集,该1440个服务质量数据子集按照时间顺序排序,则可以构成服务质量数据序列。
本发明实施例中,基础监控数据序列可以用于反映第一服务器的具体运行数据。基础监控数据序列可以包括:基于对第一服务器的监控,得到的与第一服务器运行相关的数据。具体应用中,当第一服务器相应用户访问时,或第一服务器运行时,会有相应的运行指标。举例来说,第一服务运行时,可能需要磁盘、CPU、内存等,每个设备在运行时均有相应的运行数据,则基础监控数据序列可以是:用户程序占用的CPU比例、系统应用占用的CPU比例、磁盘空闲的字节数、可用内存大小、网络接口入流量大小等。对应于上述的1440个服务质量数据子集,基础监控数据序列中也可以包括1440个基础监控数据子集。
具体应用中,获取的服务质量数据序列和基础监控数据序列可以对应相同的时间段,例如,获取同一天、或同一时间段内的服务质量数据序列和基础监控数据序列。
本发明实施例中,第一服务器对应的服务质量数据序列和基础监控数据序列,可以存储在第一服务器中,也可以存储于其他的服务数据库中,本发明实施例对获取第一服务器对应的服务质量数据序列和基础监控数据序列的具体方式不做限定。
步骤102:根据所述服务质量数据序列确定慢速比数据序列。
本发明实施例中,慢速比数据序列用于反映第一服务器的服务质量;慢速比序列可以是多个慢速比按照时间序列排序得到的序列。以步骤101中,1440个服务质量数据子集按照时间顺序排序构成服务质量数据序列为例,每个服务质量数据子集可以对应计算出一个慢速比,则慢速比数据序列可以包括1440个慢速比。
具体应用中,慢速比优选地可以定义为:预设时间范围内,第二请求数量与第一请求数量的比值;所述第一请求数量包括:所述第一服务器在所述预设时间范围内接收到的请求的数量;所述第二请求数量包括,在所述预设时间范围内,所述第一服务器响应于所述接收到的请求进行数据传输时,传输速度小于预设阈值的请求的数量。
具体应用中,预设时间范围可以是一分钟、十分钟等,本发明实施例对预设时间范围不做具体限定;预设阈值也可以根据实际应用中,第一服务器提供服务的用户请求规模以及所提供服务的质量要求等确定,本发明实施例对预设阈值也不做具体限定。
举例来说,对上述服务质量数据子集来说,每个服务质量数据子集包括一分钟内第一服务器的N条用户访问日志,过滤掉非正常请求对应的用户访问日志,非正常请求具体可以是用户访问日志中的下载文件大小为0、状态码异常等对应的请求,在过滤后的用户访问日志中,统计下载速度小于200KB/s(预设阈值)的条数,将下载速度小于200KB/s的条数除以过滤后的用户访问日志条数,就得到了该服务质量数字子集对应的慢速比。分别计算1440个服务质量数字子集对应的慢速比,就可以得到慢速比数据序列。
步骤103:将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列。
本发明实施例中,基础监控数据序列中的数据通常数量较大、种类繁多,导致对基础监控数据分析时难度较大,因此,可以将基础监控数据序列中的基础监控数据按照预设类别进行聚合,从而减低分析复杂度。
具体应用中,预设类别可以根据第一服务器运行时的依靠的设备确定,例如,预设类别可以包括:CPU、内存、磁盘、网络等,则基础监控数据序列中的基础监控数据可以被分类聚合为:CPU指标数据序列、内存指标数据序列、磁盘指标数据序列、网络指标数据序列等。可以理解,本领域技术人员可以根据实际应用场景,确定预设类别的具体形式,本发明实施例对预设类别的具体内容不做限定。
步骤104:根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数。
本发明实施例中,一个类别指标数据序列对应一个具体的预设类别,因此,可以分别将各个类别指标数据序列与慢速比数据序列作为相关性算法的参数,计算得到各具体预设类别与第一服务器服务质量的相关系数。
具体应用中,相关性算法具体可以是:肯德尔相关系数算法,斯皮尔曼相关系数算法、皮尔森相关系数算法等,本发明实施例对具体的相关性算法不作限定。
步骤105:根据所述相关系数,生成对应于所述第一服务器的报告文件。
本发明实施例中,在得到各预设类别与第一服务器服务质量的相关系数后,可以生成包括各预设类别、及各预设类别与第一服务器服务质量的相关系数的列表、文档等,作为对应于第一服务器的报告文件。
具体应用中,可以预先设定报告文件的模板,在确定出各预设类别与第一服务器服务质量的相关系数后,将各预设类别及对应的相关系数填充在预设报告文件模板中,则可以生成对应于第一服务器的报告文件。因为在报告文件中可以得到影响第一服务器服务质量的各预设类别的相关系数,因此,运维人员在需要发现故障时,可以读取报告文件,将报告文件中与服务质量相关系数较高的预设类别,确定为第一服务器可能故障的类别,能大大提升发现故障的效率。
综上所述,本发明实施例首先获取与第一服务器对应的服务质量数据序列和基础监控数据序列,然后可以根据服务质量数据序列确定慢速比数据序列,慢速比数据序列可以用于反映第一服务器的服务质量,对基础监控数据序列按照预设类别聚合,可以得到多个类别指标数据序列,类别指标数据序列可以用于反映各预设类别对应的数据;再根据慢速比数据序列和多个类别指标数据序列,可以确定出预设类别与第一服务器的服务质量的相关系数,也即,预设类别对服务质量的影响系数,则根据相关系数生成的报告文件,可以清晰的反映第一服务器中,各预设类别对服务质量的影响系数,当运维人员需要进行故障发现时,可以通过阅读该报告文件,快速、便捷的发现故障可能的主要类别因素,从而达到降低发现故障难度、提高发现故障效率的技术效果。
实施例二
参照图2,示出了一种数据处理方法的具体流程图,具体可以包括如下步骤:
步骤201:第二服务器在预设时间从存储数据库中获取与第一服务器对应的服务质量数据序列和基础监控数据序列。
本发明实施例中,数据处理方法可以应用在第二服务器中,第二服务器具体可以是中控服务器,中控服务器用于根据对第一服务器的监控,生成对应于第一服务器的报告文件。具体应用中,可以在第一服务器中安装监控插件,监控插件可以实时的将监控得到的第一服务器的服务质量数据序列和基础监控数据序列汇报给存储数据库对应的服务器,中控服务器可以在每天凌晨或其他网络较空闲的时段,从存储数据库中获取前一天的服务质量数据序列和基础监控数据序列,并进行后续的数据处理,以避免对用户使用的网络资源的占用。
步骤202:根据所述服务质量数据序列确定慢速比数据序列。
步骤203:将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列。
作为本发明实施例的一种优选方式,所述预设类别包括:CPU、内存、磁盘、网络和其他;所述基础监控数据序列包括所述第一服务器的应用层信息数据。
本发明实施例中,考虑到第一服务器的服务质量主要与CPU、内存、磁盘、网络关系较密切,因此,可以将预设类别确定为CPU、内存、磁盘、网络和其他。
具体应用中,基础监控数据序列对应的可以是第一服务器应用层的信息数据,使得本发明实施例可以从应用层的服务质量定义故障,相较于现有技术的在网络层或系统层查找系统故障的方式,本发明实施例的应用层信息数据能更加直观的反映故障所在,能有效提升定义故障的准确性和时效性。
具体应用中,第一服务器应用层的基础监控数据通常在开头部分会有预设类别对应的标识,例如,以cpu开头的基础监控数据划分到CPU类别,以mem开头的基础监控数据划分到内存类别,以disk和df开头的基础监控数据划分到磁盘类别,以tcp、ss和net开头的基础监控数据划分到网络类别,剩下的指标划分到其他类别。
举例来说,基础监控数据可以对应为表1所示的内容:
表1
实际应用中,基础监控数据序列中可能存在有缺失的数据,例如,基础监控数据序列中在第5分钟对应的基础监控数据为空值,则可以将第5分钟临近的基础监控数据填充第5分钟对应的基础监控数据,比如,将第4分钟的基础监控数据与第6分钟的基础监控数据求平均值后,填充为第5分钟对应的基础监控数据。再例如,若第8分钟对应的基础监控数据和第9分钟对应的基础监控数据都缺失,则可以将第7分钟的基础监控数据与第10分钟的基础监控数据求平均值后,填充为第8分钟对应的基础监控数据和第9分钟对应的基础监控数据。处理后的基础监控数据可以进一步通过上述的预设类别进行分类聚合,得到各预设类别对应的类别指标数据序列,可以理解,本领域技术人员可以根据实际应用场景对基础监控数据序列中包含的基础监控数据序列进行处理,本发明实施例对此不作具体限定。
步骤204:分别确定各所述类别指标数据序列中,所述多个子类别数据序列与所述慢速比数据序列的子类别相关系数。
步骤205:将所述子类别相关系数中满足预设条件的目标子类别相关系数,确定为所述子类别相关系数对应的预设类别与所述第一服务器的服务质量的相关系数。
本发明实施例中,所述类别指标数据序列包括:多个子类别数据序列。
具体应用中,一个预设类别可以对应一个类别指标数据序列,以表1列举的基础监控数据为例,若要计算预设类别CPU与第一服务器的服务质量的相关系数,表1中,CPU的类别指标数据序列中可以聚类有:“cpu等待io时间比例”“cpu每个核心的负载”“软中断占用的cpu比例”“用户程序占用的cpu比例”“系统应用占用的cpu比例”;则“cpu等待io时间比例”“cpu每个核心的负载”“软中断占用的cpu比例”“用户程序占用的cpu比例”“系统应用占用的cpu比例”都是CPU的类别指标数据序列的子类别数据序列。
可以分别计算CPU的各子类别数据序列与所述慢速比数据序列的子类别相关系数。
以采用皮尔森相关系数算法计算CPU的各子类别数据序列与所述慢速比数据序列的子类别相关系数为例,皮尔森相关系数的计算方式如下:
其中,Xi表示子类别数据序列中的子类别数据,Yi表示慢速比数据序列,i为自然数,表示子类别数据序列中的子类别数据的均值,表示慢速比均值,即:
具体应用中,在计算出各子类别数据序列与所述慢速比数据序列的子类别相关系数后,可以将子类别相关系数中,数值最大的子类别相关系数确定为预设类别CPU与第一服务器的服务质量的相关系数。可以理解,本领域技术人员可以通过其他预设条件,在子类别相关系数确定出对应的预设类别与第一服务器的服务质量的相关系数,本发明实施例对预设条件不作具体限定。
步骤206:根据所述相关系数,生成对应于所述第一服务器的报告文件。
优选地,若接收到故障查询请求,加载所述报告文件。
本发明实施例中,若解说道故障查询请求,可以直接在第二服务器中获取该报告文件,并加载报告文件,从而快速定位到可能故障的因素。
本发明实施例首先获取与第一服务器对应的服务质量数据序列和基础监控数据序列,然后可以根据服务质量数据序列确定慢速比数据序列,慢速比数据序列可以用于反映第一服务器的服务质量,对基础监控数据序列按照预设类别聚合,可以得到多个类别指标数据序列,类别指标数据序列可以用于反映各预设类别对应的数据;再根据慢速比数据序列和多个类别指标数据序列,可以确定出预设类别与第一服务器的服务质量的相关系数,也即,预设类别对服务质量的影响系数,则根据相关系数生成的报告文件,可以清晰的反映第一服务器中,各预设类别对服务质量的影响系数,当运维人员需要进行故障发现时,可以通过阅读该报告文件,快速、便捷的发现故障可能的主要类别因素,从而达到降低发现故障难度、提高发现故障效率的技术效果。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
参照图3,示出了一种数据处理装置的框图,该装置具体可以包括:
获取模块310,用于获取与第一服务器对应的服务质量数据序列和基础监控数据序列;
慢速比数据序列确定模块320,用于根据所述服务质量数据序列确定慢速比数据序列;
类别指标数据序列确定模块330,用于将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;
相关系数确定模块340,用于根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;
报告文件生成模块350,用于根据所述相关系数,生成对应于所述第一服务器的报告文件。
优选地,参照图4,在图3的基础上,所述慢速比数据序列包括多个慢速比;
所述慢速比为:预设时间范围内,第二请求数量与第一请求数量的比值;所述第一请求数量包括:所述第一服务器在所述预设时间范围内接收到的请求的数量;所述第二请求数量包括,在所述预设时间范围内,所述第一服务器响应于所述接收到的请求进行数据传输时,传输速度小于预设阈值的请求的数量。
所述预设类别包括:CPU、内存、磁盘、网络和其他;所述基础监控数据序列包括所述第一服务器的应用层信息数据。
所述类别指标数据序列包括:多个子类别数据序列;
所述相关系数确定模块340包括:
第一确定子模块3401,用于分别确定各所述类别指标数据序列中,所述多个子类别数据序列与所述慢速比数据序列的子类别相关系数;
第二确定子模块3402,用于将所述子类别相关系数中满足预设条件的目标子类别相关系数,确定为所述子类别相关系数对应的预设类别与所述第一服务器的服务质量的相关系数。
所述装置应用于第二服务器,所述获取模块310包括:
获取子模块3101,用于所述第二服务器在预设时间从存储数据库中获取与第一服务器对应的服务质量数据序列和基础监控数据序列。
本发明实施例首先通过获取模块310获取与第一服务器对应的服务质量数据序列和基础监控数据序列,然后可以通过慢速比数据序列确定模块320根据服务质量数据序列确定慢速比数据序列,慢速比数据序列可以用于反映第一服务器的服务质量,通过类别指标数据序列确定模块330对基础监控数据序列按照预设类别聚合,可以得到多个类别指标数据序列,类别指标数据序列可以用于反映各预设类别对应的数据;再通过相关系数确定模块340根据慢速比数据序列和多个类别指标数据序列,可以确定出预设类别与第一服务器的服务质量的相关系数,也即,预设类别对服务质量的影响系数,则报告文件生成模块350根据相关系数生成的报告文件,可以清晰的反映第一服务器中,各预设类别对服务质量的影响系数,当运维人员需要进行故障发现时,可以通过阅读该报告文件,快速、便捷的发现故障可能的主要类别因素,从而达到降低发现故障难度、提高发现故障效率的技术效果。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法和一种数据处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取与第一服务器对应的服务质量数据序列和基础监控数据序列;
根据所述服务质量数据序列确定慢速比数据序列;
将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;
根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;
根据所述相关系数,生成对应于所述第一服务器的报告文件。
2.根据权利要求1所述的方法,其特征在于,所述慢速比数据序列包括多个慢速比;
所述慢速比为:预设时间范围内,第二请求数量与第一请求数量的比值;所述第一请求数量包括:所述第一服务器在所述预设时间范围内接收到的请求的数量;所述第二请求数量包括,在所述预设时间范围内,所述第一服务器响应于所述接收到的请求进行数据传输时,传输速度小于预设阈值的请求的数量。
3.根据权利要求1所述的方法,其特征在于,所述预设类别包括:CPU、内存、磁盘、网络和其他;所述基础监控数据序列包括所述第一服务器的应用层信息数据。
4.根据权利要求3所述的方法,其特征在于,所述类别指标数据序列包括:多个子类别数据序列;
所述根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数,包括:
分别确定各所述类别指标数据序列中,所述多个子类别数据序列与所述慢速比数据序列的子类别相关系数;
将所述子类别相关系数中满足预设条件的目标子类别相关系数,确定为所述子类别相关系数对应的预设类别与所述第一服务器的服务质量的相关系数。
5.根据权利要求1所述的方法,其特征在于,所述方法应用于第二服务器,所述获取与第一服务器对应的服务质量数据序列和基础监控数据序列的步骤,包括:
所述第二服务器在预设时间从存储数据库中获取与第一服务器对应的服务质量数据序列和基础监控数据序列。
6.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取与第一服务器对应的服务质量数据序列和基础监控数据序列;
慢速比数据序列确定模块,用于根据所述服务质量数据序列确定慢速比数据序列;
类别指标数据序列确定模块,用于将所述基础监控数据序列按照预设类别聚合,得到多个类别指标数据序列;
相关系数确定模块,用于根据所述慢速比数据序列与所述多个类别指标数据序列,确定所述预设类别与所述第一服务器的服务质量的相关系数;
报告文件生成模块,用于根据所述相关系数,生成对应于所述第一服务器的报告文件。
7.根据权利要求6所述的装置,其特征在于,所述慢速比数据序列包括多个慢速比;
所述慢速比为:预设时间范围内,第二请求数量与第一请求数量的比值;所述第一请求数量包括:所述第一服务器在所述预设时间范围内接收到的请求的数量;所述第二请求数量包括,在所述预设时间范围内,所述第一服务器响应于所述接收到的请求进行数据传输时,传输速度小于预设阈值的请求的数量。
8.根据权利要求6所述的装置,其特征在于,所述预设类别包括:CPU、内存、磁盘、网络和其他;所述基础监控数据序列包括所述第一服务器的应用层信息数据。
9.根据权利要求8所述的装置,其特征在于,所述类别指标数据序列包括:多个子类别数据序列;
所述相关系数确定模块包括:
第一确定子模块,用于分别确定各所述类别指标数据序列中,所述多个子类别数据序列与所述慢速比数据序列的子类别相关系数;
第二确定子模块,用于将所述子类别相关系数中满足预设条件的目标子类别相关系数,确定为所述子类别相关系数对应的预设类别与所述第一服务器的服务质量的相关系数。
10.根据权利要求6所述的装置,其特征在于,所述装置应用于第二服务器,所述获取模块包括:
获取子模块,用于所述第二服务器在预设时间从存储数据库中获取与第一服务器对应的服务质量数据序列和基础监控数据序列。
CN201811251711.0A 2018-10-25 2018-10-25 一种数据处理方法及装置 Active CN109614284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811251711.0A CN109614284B (zh) 2018-10-25 2018-10-25 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811251711.0A CN109614284B (zh) 2018-10-25 2018-10-25 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN109614284A true CN109614284A (zh) 2019-04-12
CN109614284B CN109614284B (zh) 2022-06-14

Family

ID=66001679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811251711.0A Active CN109614284B (zh) 2018-10-25 2018-10-25 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN109614284B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138608A (zh) * 2019-05-09 2019-08-16 网宿科技股份有限公司 网络业务服务质量管理的方法及服务器
CN110147843A (zh) * 2019-05-22 2019-08-20 哈尔滨工程大学 基于度量学习的语音时序数据相似性度量方法
CN111324518A (zh) * 2020-02-03 2020-06-23 中国银联股份有限公司 一种应用关联的方法及装置
CN112711515A (zh) * 2021-01-20 2021-04-27 维沃移动通信有限公司 一种实时监控方法、装置及电子设备
CN112996015A (zh) * 2019-12-18 2021-06-18 中国移动通信集团河南有限公司 一种指标关联关系的构建方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202798764U (zh) * 2011-09-19 2013-03-13 幻音科技(深圳)有限公司 网络运行状态监测装置
KR20150137455A (ko) * 2014-05-29 2015-12-09 주식회사 엔피코어 그린 클라우드 컴퓨팅 환경을 제공하는 클라우드 서버 및 이를 이용하는 트래픽 제어 방법
CN105898402A (zh) * 2015-11-13 2016-08-24 乐视云计算有限公司 网络调度方法和系统
US20170142177A1 (en) * 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Method and system for network dispatching
CN106789412A (zh) * 2016-12-08 2017-05-31 国网北京市电力公司 监测信息采集主站性能的方法、装置及系统
CN106941423A (zh) * 2017-04-13 2017-07-11 腾讯科技(深圳)有限公司 故障原因定位方法及装置
CN107357714A (zh) * 2016-05-09 2017-11-17 腾讯科技(深圳)有限公司 一种基于监控平台的故障分析方法和装置
CN107659676A (zh) * 2017-11-03 2018-02-02 北京云端智度科技有限公司 基于动态ip资源池的智能调度技术
CN108111359A (zh) * 2018-01-19 2018-06-01 北京奇艺世纪科技有限公司 一种监控处理方法、装置及监控处理系统
CN108376553A (zh) * 2018-02-28 2018-08-07 北京奇艺世纪科技有限公司 一种视频服务器的磁盘的监控方法及系统
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202798764U (zh) * 2011-09-19 2013-03-13 幻音科技(深圳)有限公司 网络运行状态监测装置
KR20150137455A (ko) * 2014-05-29 2015-12-09 주식회사 엔피코어 그린 클라우드 컴퓨팅 환경을 제공하는 클라우드 서버 및 이를 이용하는 트래픽 제어 방법
CN105898402A (zh) * 2015-11-13 2016-08-24 乐视云计算有限公司 网络调度方法和系统
US20170142177A1 (en) * 2015-11-13 2017-05-18 Le Holdings (Beijing) Co., Ltd. Method and system for network dispatching
CN107357714A (zh) * 2016-05-09 2017-11-17 腾讯科技(深圳)有限公司 一种基于监控平台的故障分析方法和装置
CN106789412A (zh) * 2016-12-08 2017-05-31 国网北京市电力公司 监测信息采集主站性能的方法、装置及系统
CN106941423A (zh) * 2017-04-13 2017-07-11 腾讯科技(深圳)有限公司 故障原因定位方法及装置
CN107659676A (zh) * 2017-11-03 2018-02-02 北京云端智度科技有限公司 基于动态ip资源池的智能调度技术
CN108111359A (zh) * 2018-01-19 2018-06-01 北京奇艺世纪科技有限公司 一种监控处理方法、装置及监控处理系统
CN108376553A (zh) * 2018-02-28 2018-08-07 北京奇艺世纪科技有限公司 一种视频服务器的磁盘的监控方法及系统
CN108595300A (zh) * 2018-03-21 2018-09-28 北京奇艺世纪科技有限公司 一种可配置的监控和报警的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138608A (zh) * 2019-05-09 2019-08-16 网宿科技股份有限公司 网络业务服务质量管理的方法及服务器
CN110147843A (zh) * 2019-05-22 2019-08-20 哈尔滨工程大学 基于度量学习的语音时序数据相似性度量方法
CN112996015A (zh) * 2019-12-18 2021-06-18 中国移动通信集团河南有限公司 一种指标关联关系的构建方法及装置
CN112996015B (zh) * 2019-12-18 2023-11-03 中国移动通信集团河南有限公司 一种指标关联关系的构建方法及装置
CN111324518A (zh) * 2020-02-03 2020-06-23 中国银联股份有限公司 一种应用关联的方法及装置
CN111324518B (zh) * 2020-02-03 2024-05-03 中国银联股份有限公司 一种应用关联的方法及装置
CN112711515A (zh) * 2021-01-20 2021-04-27 维沃移动通信有限公司 一种实时监控方法、装置及电子设备

Also Published As

Publication number Publication date
CN109614284B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109614284A (zh) 一种数据处理方法及装置
US20190081876A1 (en) Real time anomaly detection for data streams
CN106325988B (zh) 任务调度方法及装置
CN106411639A (zh) 访问数据的监控方法及系统
CN106411970B (zh) 一种基于服务调用的故障处理方法、装置和系统
US10182104B1 (en) Automatic propagation of resource attributes in a provider network according to propagation criteria
CN106202108A (zh) 网络爬虫抓取任务分配方法与装置及数据抓取方法与装置
CN116233164A (zh) 用于采集设备数据的方法、装置、存储介质及处理器
CN109245943A (zh) 一种故障定位方法及装置
CN114422439A (zh) 接口限流方法、装置、计算机设备和存储介质
CN110928636A (zh) 虚拟机热迁移方法、装置和设备
CN106470218A (zh) 一种网络平台下资源内容回收的方法和装置
CN106293890B (zh) 一种基于复杂度的业务处理方法和装置
CN103685198A (zh) 一种交互用户数据的方法和装置
CN111770150A (zh) 访问流量控制方法、装置及电子设备
US20190272300A1 (en) Router based query results
US20190384503A1 (en) Volatile account identification and isolation and resource management in distributed data storage systems
WO2023091215A1 (en) Mapping an application signature to designated cloud resources
CN114968028A (zh) 基于用户行为分析动态改变菜单布局的方法、设备及介质
CN115051863A (zh) 异常流量检测的方法、装置、电子设备及可读存储介质
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN112491939B (zh) 多媒体资源调度方法及系统
CN107453950A (zh) 一种信息处理方法及监控系统
CN113342806A (zh) 大数据处理方法、装置、存储介质及处理器
CN108846141A (zh) 一种离线缓存加载方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant