CN109241096A - 数据处理方法、装置和系统 - Google Patents

数据处理方法、装置和系统 Download PDF

Info

Publication number
CN109241096A
CN109241096A CN201810867728.2A CN201810867728A CN109241096A CN 109241096 A CN109241096 A CN 109241096A CN 201810867728 A CN201810867728 A CN 201810867728A CN 109241096 A CN109241096 A CN 109241096A
Authority
CN
China
Prior art keywords
performance
performance parameters
score value
database
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810867728.2A
Other languages
English (en)
Inventor
高新刚
陈予诚
赵斌
孙文晖
赵越
刘子凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Financial Technology Holding Co Ltd
Original Assignee
Beijing Jingdong Financial Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Financial Technology Holding Co Ltd filed Critical Beijing Jingdong Financial Technology Holding Co Ltd
Priority to CN201810867728.2A priority Critical patent/CN109241096A/zh
Publication of CN109241096A publication Critical patent/CN109241096A/zh
Pending legal-status Critical Current

Links

Abstract

本公开提供了一种数据处理方法,包括:获取多个性能参数,该多个性能参数包括数据库的性能参数和/或数据库所在服务器的性能参数;根据评分规则及多个性能参数,得到多个性能参数中一个或多个性能参数的评分值;以及展示该一个或多个性能参数的评分值。本公开还提供了一种数据处理装置和一种数据处理系统。

Description

数据处理方法、装置和系统
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据处理方法、装置和系统。
背景技术
随着计算机技术的发展,各行业的数据管理都离不开数据库,因此对数据库性能查询和优化的诉求越来越多。
在实现本公开构思的过程中,发明人发现现有技术中至少存在如下问题:数据库性能的状态信息对研发来说既是黑盒也是刚需,而现有技术中采用的一些监控软件和脚本工具虽然可以采集数据库的一些性能参数,但这需要有丰富经验的DBA(DatabaseAdministrator,数据库管理员)进行7*24h的人工监控,通过分析该性能参数为数据库提供服务支持;但随着各行业中企业的发展速度的加快,单纯依赖DBA已经无法实现对所有数据库性能的监控,并因此无法满足各行业中企业的发展需求。
发明内容
有鉴于此,本公开提供了一种能够降低DBA需求的数据处理方法、装置和系统。
本公开的一个方面提供了一种数据处理方法,包括:获取多个性能参数,该多个性能参数包括数据库的性能参数和/或所述数据库所在服务器的性能参数;根据评分规则及多个性能参数,得到该多个性能参数中一个或多个性能参数的评分值;以及展示该一个或多个性能参数的评分值。
根据本公开的实施例,上述数据处理方法还包括:根据分类规则,将多个性能参数分类,每类性能参数包括具有关联关系的至少两个性能参数;以及分类展示分类后的多个性能参数。
根据本公开的实施例,上述数据处理方法还包括:根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图;以及展示该性能示意图,其中,性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。
根据本公开的实施例,上述数据处理方法还包括:根据多个性能参数的评分值及参数权重,生成数据库的总评分值;以及展示该数据库的总评分值;并且/或者根据多个时刻获取的一个或多个性能参数,生成第一预设时段内一个或多个性能参数的预测值;以及展示该一个或多个性能参数的预测值。
根据本公开的实施例,上述数据处理方法还包括:在第一预设时段内一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。
根据本公开的实施例,上述数据处理方法还包括:在一个或多个性能参数的评分值不符合第二预设条件的情况下:产生报警信号;并且/或者,根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果,该故障分析结果能够表征数据库的故障原因;并且/或者,根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化该数据库和/或该数据库所在服务器。
本公开的另一个方面提供了一种数据处理装置,包括性能参数获取模块、评分模块以及展示模块,其中,性能参数获取模块用于获取多个性能参数,该多个性能参数包括数据库的性能参数和/或数据库所在服务器的性能参数;评分模块,用于根据评分规则及多个性能参数,得到多个性能参数中一个或多个性能参数的评分值;展示模块,用于展示该一个或多个性能参数的评分值。
根据本公开的实施例,上述数据处理装置还包括分类模块,用于根据分类规则,将上述多个性能参数分类,每类性能参数包括具有关联关系的至少两个性能参数,则上述的展示模块例如还用于分类展示分类后的多个性能参数。
根据本公开的实施例,上述数据处理装置还包括系能示意图生成模块,用于根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图,则上述的展示模块还用于展示该性能示意图,该性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。
根据本公开的实施例,上述评分模块例如还用于根据多个性能参数的评分值及参数权重,生成数据库的总评分值,且上述展示模块还用于展示该数据库的总评分值;并且/或者,上述数据处理装置还包括预测模块,该预测模块用于根据多个时刻获取的一个或多个性能参数,生成第一预设时段内该一个或多个性能参数的预测值,且上述展示模块还用于展示该一个或多个性能参数的预测值。
根据本公开的实施例,上述数据处理装置还包括预警信号产生模块,该预警信号产生模块用于在第一预设时段内一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。
根据本公开的实施例,上述数据处理装置还包括报警信息产生模块、故障分析模块和/或自动优化模块,其中,报警信号产生模块用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,产生报警信号;故障分析模块用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果,该故障分析结果能够表征数据库的故障原因;自动优化模块用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化数据库和/或数据库所在服务器。
本公开的另一个方面提供了一种数据处理系统,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行上述的数据处理方法。
本公开的另一个方面提供了一种非易失性存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的数据处理方法。
本共公开的另一个方面提供了一种计算机程序,该计算机程序包括计算机可执行指令,该指令在被执行时用于实现如上所述的数据处理方法。
根据本公开的实施例,可以至少部分地避免现有技术中数据库的问题诊断和性能优化依赖于资深DBA,使得现有人员无法保证提供很全面的数据库服务支持的缺陷,并因此降低数据库的性能监控对工作人员专业能力的要求,利于工作人员快速定位故障。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据处理方法、装置和系统的应用场景图;
图2A~图2C示意性示出了根据本公开实施例的数据处理方法的流程图;
图3A~3B示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图4A~图4C示意性示出了根据本公开又一实施例的数据处理方法的流程示意图;
图5A示意性示出了根据本公开实施例的执行数据处理方法的总体架构;
图5B示意性示出了根据本公开实施例的数据处理方法得到的展示界面的示意图;
图6A~图6E示意性示出了根据本公开实施例的数据处理装置的结构框图;
图7A~图7C示意性示出了根据本公开另一实施例的数据处理装置的结构框图;
图8示意性示出了根据本公开实施例的数据处理系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种数据处理方法、装置和系统。其中数据处理方法包括:获取多个性能参数,该多个性能参数包括数据库的性能参数和/或所述数据库所在服务器的性能参数;根据评分规则及多个性能参数,得到该多个性能参数中一个或多个性能参数的评分值;以及展示该一个或多个性能参数的评分值。
图1示意性示出了根据本公开实施例的数据处理方法、装置和系统的应用场景100。需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的应用场景100包括数据库服务器101、监控服务器102和终端设备103。该数据库服务器101与监控服务器102之间、监控服务器102与终端设备103之间通过网络连接。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。可以理解的是,该应用场景100例如还可以不包括监控服务器102,则数据库服务器101与终端设备103之间直接通过网络连接。
数据库服务器101是指运行数据库系统的专用服务器,用于为数据库系统的高性能运行提供硬件支持和保障。该数据库服务器101例如可包括具有拓扑(topo)结构的多个数据库。
监控服务器102是用于监控数据库服务器101,以周期性的监控得到该数据库服务器101中一个或多个数据库的性能参数及该数据库服务器101的性能参数,供终端设备103获取,可以理解的是,此处的数据库的性能参数及数据库服务器的性能参数例如还可以直接由终端设备103监控得到,本公开对此不作限定。
终端设备103上可以安装有各种客户端应用,例如数据处理类应用,以对获取的多个性能参数进行处理;终端设备103例如可以是具有显示屏的各种电子设备,以向用户展示对多个性能参数处理后的结果,供工作人员根据处理结果知晓数据库服务器101中数据库的性能状态,并在数据库性能状态为存在故障时定位故障。根据本公开的实施例,该终端设备103例如可以包括但不限于台式计算机、膝上型便携计算机、平板电脑和智能手机等。
根据本公开的实施例,如图1所示,该应用场景100例如还可以包括云端系统104,该云端系统104可以与终端设备103交互,可对终端设备103获取的多个性能参数进行处理,并将处理的结果提供给终端设备103进行展示,从而利于减轻终端设备103的负荷,可以理解的是,该云端系统104例如还可以与监控服务器102交互,以自监控服务器102直接获取多个性能参数。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由终端设备103执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于终端设备103中。可以理解的是,数据处理方法的数据处理操作例如还可以由与终端设备103交互的云端系统执行,而数据处理方法的展示操作由终端设备103执行。
可以理解的是,图1中的终端设备、数据库服务器和监控服务器的数目和类型仅仅是示意性的。根据实现需要,可以具有任意数目和类型的终端设备、数据库服务器和监控服务器。
图2A~图2C示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2A所示,该数据处理方法包括操作S201~操作S203。
其中,在操作S201,获取多个性能参数,该多个性能参数包括数据库的性能参数和/或该数据库所在服务器的性能参数。
根据本公开的实施例,该多个性能参数例如可以由参考图1描述的监控服务器102监控得到,则执行本公开实施例的数据处理方法的终端设备103自监控服务器102获取即可。
根据本公开的实施例,该多个性能参数例如还可以是执行该数据处理方法的终端设备103定期监控得到的,例如可以通过秒级监控和采集工具对数据库服务器和数据库性能进行数据采集得到。
根据本公开的实施例,多个性能参数中例如可以包括有参数指标类和/或日志类的性能参数,其中,对于参数指标类的性能参数(例如CPU使用率、网络流量和/或IO使用率等),通过直接监测采集即可得到;对于日志类的性能参数(例如TPS、QPS、插入/删除/修改行数、慢查询等)则需要监控系统日志,并通过计算模型对系统日志进行实时处理得到,其中的计算模型例如可以包括Spark流式计算模型、Kafka流处理模型或storm流式计算模型等。可以理解的是,上述性能参数的采集获取方式仅作为示例以利于理解本公开,本公开对此不作限定。
根据本公开的实施例,对于参数指标类的性能参数与日志类的性能参数,例如可具有不同的获取周期和采集周期,例如,对于参数指标类的性能参数可以进行秒级或分级(例如3~5min一次)的获取,以得到实时信息;而对于日志类的性能参数可以进行时级或天级(例如一天一次)的获取,以降低数据处理的负荷。
该多个性能参数例如还可以至少包括以下的主要参数:数据库性能参数(TPS、QPS、数据库连接数、活跃线程数、非活跃线程数、插入/删除/修改行数、插入/删除/修改次数和/或缓存命中率等)及服务器性能参数(网络流量、负载、CPU使用率、IO使用率和/或内存使用率等)。
根据本公开的实施例,所述数据库例如可以是MySQL数据库、Oracle数据库或SQLServer数据库等,本公开对此不作限定。
其中,在操作S202,根据评分规则及多个性能参数,得到多个性能参数中一个或多个性能参数的评分值。
根据本公开的实施例,对于每个性能参数,例如可以具有一个评分对照表和/或评分计算模型,例如对于CPU使用率,不同的CPU使用率对应有不同的评分值,且CPU使用率越小,则评分越高。具体地,例如每个性能参数处于最佳时的评分为满分100分,CPU使用率低于50%即可视为最佳状态,随着CPU使用率的增大,评分例如可以成比例减小或指数减小。可以理解的是,上述CPU使用率的评分方式仅作为示例以利于理解本公开,本公开对此不作限定。
根据本公开的实施例,对于每个性能参数,例如还可以通过预训练好的评分模型进行评分,得到每个性能参数的评分值。具体地,例如可以以获取的多个性能参数中一个或多个性能参数作为神经网络的输入,得到的输出即为该一个或多个性能参数的评分值。
在操作S203,展示所述一个或多个性能参数的评分值。
根据本公开的实施例,例如可以通过具有显示屏的终端设备103展示该一个或多个性能参数的评分值。该一个或多个性能参数的评分值例如可以定期的实时更新显示;还可以每获取得到一次该性能参数的评分值,就更新显示一次;或者响应于工作人员的操作,生成更新指令,以更新显示最新得到的评分值。
综上可知,本公开实施例可以同时获取多个性能参数,且通过对获取的性能参数的处理,可以展示性能参数的评分值,相较于现有技术中通过监控软件和脚本工具监控并直接展示性能参数的方法,普通工作人员通过各性能参数的评分值即可得知数据库的运行状况,并在数据库故障时,直接根据评分的高低来方便地定位故障原因,而无需知晓各性能参数评价数据库正常与否的评价标准,因此能够有效降低对工作人员能力的要求,降低数据库维护对资深数据库管理员的依赖。
如图2B所示,本公开实施例的数据处理方法除了参考图2A描述的操作S201~操作S202外,还可以包括操作S204和操作S205。
在操作S204,根据分类规则,将多个性能参数分类,每个性能参数包括具有关联关系的至少两个性能参数。在操作S205,分类展示分类后的多个性能参数。
根据本公开的实施例,该操作S204例如可以在操作S202之后执行,因此在对性能参数分类时,同时将该性能参数的评分值依据性能参数的分类进行分类,且在操作S205中,除了分类展示分类后的多个性能参数外,还可以分类展示分类后的一个或多个性能参数的评分值。
根据本公开的实施例,该多个性能参数例如可以根据分类规则分为:空间分析类参数、性能分析类参数、会话分析类参数及慢查询参数,此分类规则可以是根据资深DBA在判断数据库故障时分类排查故障时的规则。根据本公开的实施例,上述分类规则例如还可以是根据数据库故障类别进行分类,即将会引起同一数据库故障的多个性能参数分为一类。本公开对具体的分类规则不作限定,只要该分类有助于工作人员进行故障判断即可。
由于分类展示的每一类性能参数包括的多个性能参数具有关联关系,在数据库故障时,能够便于工作人员便捷的综合考虑关联关系的多个性能参数,相较于现有技术中需要工作人员根据经验自参数列表中寻找具有关联关系的参数的方案,能够在一定程度上提高工作效率,提高故障判断的准确性,且可以降低对工作人员的能力要求。
如图2C所示,本公开的实施例除了参考图2描述的操作S201~操作S202外,还可以包括操作S206和操作S207。
在操作S206,根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图;在操作S207,展示所述性能示意图。
根据本公开的实施例,操作S206在操作S202之后执行,在操作S207,除了展示性能示意图外,还可以展示一个或多个性能参数的评分值。
根据本公开的实施例,其中的性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。
根据本公开的实施例,动态图例如可以类似于心电图,通过以时间为横坐标,以性能参数/性能参数评分值作为纵坐标,将各个时刻的纵坐标值连线绘制成曲线图,并在未来时刻获取到新的纵坐标值时延续该曲线图得到。具有关联关系的多个性能参数的分布图例如可以是饼图、柱状图等。
通过将性能参数和/或性能参数的评分值以示意图的形式展示,可以在一定程度上增加数值的直观性,便于工作人员快速的知晓各性能参数的变化趋势及各性能参数中评分突出的性能参数,从而在一定程度上能够便于工作人员进行性能分析,定位故障等。
根据本公开的实施例,上述数据处理方法例如可以同时包括上述的操作S204和操作S206,则在分类展示分类后的一个或多个性能参数的评分值的同时,还可以展示性能示意图及分类后的多个性能参数。
根据本公开的实施例,上述空间分析类参数例如可以包括数据库容量、系统容量、表文件、索引文件及日志文件等。其中的数据库容量可包括有数据所占空间、备份数据所占空间、binlog日志所占空间及其他日志所占空间等;系统容量包括有磁盘使用量及磁盘空余量等;表文件为记录的因频繁进行插入删除操作带来很多断点的表;索引文件为记录的未用索引量和冗余索引量等。对应展示的性能示意图可包括:数据库容量的饼状图(已使用容量与未使用容量的饼状图、包括的各部分所占空间的饼状图),体现该空间分析类参数中各性能参数的动态图,并且/或者体现该空间分析类参数中各性能参数的评分值的动态图或雷达图。
根据本公开的实施例,性能分析类参数例如可以包括性能容量(包括数据库容量和系统容量)、性能趋势(根据当前性能得到的预测趋势)、系统性能(TPS、QPS等核心性能)以及实时状态(如实时的会话状态及实时的空间状态等)。对应展示的性能示意图可以包括有TPS/QPS随时间的变化曲线等,体现该性能分析类参数中各性能参数的动态图,并且/或者体现该性能分析类参数中各性能参数的评分值的动态图或雷达图。
根据本公开的实施例,会话分析类参数可包括当前访问链路(总连接数、空闲连接数、活跃连接的状态、运行连接数包括的各种类型的连接数)、会话状态、事务状态(正常工作状态或锁等待状态)及锁分析等。对应展示的性能示意图可以包括有连接数分布饼图(根据运行连接数和空闲连接数绘制)、运行连接数的分布饼图(根据各种类型的连接数占总运行连接数的比值绘制)、体现该会话分析类参数中各性能参数的动态图,并且/或者体现该会话分析类参数中各性能参数的评分值的动态图或雷达图。
根据本公开的实施例,慢查询例如可以包括有各个慢查询时长对应的慢查询数量、插入次数、删除次数、修改次数等。对应展示的性能示意图可以包括慢查询时间分布图(各个慢查询时长对应的慢查询数量随时间的变化图)、某时刻慢查询时长分布饼图(根据某时刻各个慢查询时长对应的慢查询数量绘制)、体现慢查询中各性能参数的动态图,并且/或者体现该慢查询中各性能参数的评分值的动态图或雷达图。
根据本公开的实施例,上述操作S201除了获取性能指标外,例如还可以获取数据库及数据库所在服务器的基本信息,则根据分类规则,例如还可以分有性能概览类,该性能概览类包括有核心的性能指标、信息概览、用户信息和评分展示等。其中,核心的性能指标可以包括数据库核心性能参数(TPS、QPS、插入/删除/修改次数、插入/删除/修改行数、read行数和缓存命中率等),以及服务器核心性能参数(网络流量、负载、CPU使用率、IO使用率、IOPS等);信息概览包括数据库的IP信息、主从topo结构、域名、该数据库对应的业务线、主从库的延迟情况等;用户信息包括用户单台数据库的各项详细评分、数据库的信息(数据库的版本号、缓冲池大小、最大连接数、存储引擎和/或事务隔离等级等),以及服务器信息(磁盘大小、网卡大小、CPU核数和/或操作系统等);评分展示即指得到的一个或多个性能参数的评分值的展示。对应展示的性能示意图可包括体现核心指标中各性能参数的动态图、体现该核心指标中各性能参数的评分值的动态图或雷达图等。
根据本公开的实施例,上述数据处理方法例如还可以对多个数据库实例的性能参数进行分析处理,获取的性能参数包括数据库及数据库所在服务器的基本信息,例如数据库的IP、域名、业务线等信息,则参考图1中的终端设备103还可以展示该些基本信息,例如数据库所述业务部门、数据库IP、域名、关联项目、所在机房、关联关系等,例如还可以展示数据库的主从topo结构以及主从复制延迟等。
图3A~3B示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图3A所示,本公开实施例的数据处理方法除了操作S201~操作S202外,还包括操作S301~操作S302。
在操作S301,根据多个性能参数的评分值及参数权重,生成数据库的总评分值;在操作S302,展示数据库的总评分值。
根据本公开的实施例,该操作S301在操作S202之后执行,操作S302除了展示数据库的总评分值外,还可以展示一个或多个性能参数的评分值。
根据本公开的实施例,参数权重例如可以根据各参数对数据库正常工作影响的大小来设定,例如,对数据库的工作影响大的性能参数,所占权重较大,而对数据库的工作影响小的性能参数,所占的权重则较小,该参数权重例如可以由资深DBA根据经验预先设置,则数据库的总评分值即为各性能参数的评分值与所占参数权重相乘后相加得到的值。
根据本公开的实施例,该参数权重例如还可以是通过预训练的神经网络不断优化得到的。则上述操作S301例如可以通过以下方式实现:将一个或多个性能参数的评分值输入至预训练好的神经网络,得到的输出即为数据库的总评分制。根据本公开的实施例,该神经网络的输入例如还可以仅为多个性能参数,而输出既包括数据库的总评分值,还包括一个或多个性能参数的评分值。
根据本公开的实施例,上述数据处理方法可用于对多个数据库的性能参数进行分析处理,从而可得到该多个数据库中每个数据库的总评分值,则本公开实施例例如还可以包括根据该多个数据库中每个数据库的总评分值,生成多个数据库的评分热力图,以便于在工作人员同时需要监控多个数据库时,根据该评分热力图方便快捷的定位存在故障的数据库,并一目了然的知晓需要监控的多个数据库中每个数据库的当前状态。
如图3B所示,本公开实施例的数据处理方法除了操作S201~操作S202外,还包括操作S303~操作S304。
在操作S303,根据多个时刻获取的一个或多个性能参数,生成第一预设时段内所述一个或多个性能参数的预测值;在操作S304,展示所述一个或多个性能参数的预测值。
根据本公开的实施例,该操作S303例如可以在操作S202之后执行,则在操作S304,除了展示一个或多个性能参数的预测值外,还可以展示一个或多个性能参数的评分值。
根据本公开的实施例,上述第一预设时段例如可以是预设的10分钟内,或者预设的半个小时内,本公开对此不作限定,只要能够保证预测值具有一定的准确性即可。上述一个或多个性能参数的预测值例如可以包括预测的该一个或多个性能参数的值,和/或预测的该一个或多个性能参数的评分值。
根据本公开的实施例,该一个或多个性能参数的预测值例如可以采用数学模型计算得到,具体地,例如可以根据多个时段某性能参数(和/或该性能参数的评分值)拟合得到该性能参数(和/或该性能参数的评分值)与时间的函数关系式,则根据该函数关系式计算得到第一预设时段内各时刻该性能参数的预测值。可以理解的是,上述生成预测值的方法仅作为示例以利于理解本公开,本公开对此不作限定,例如,该预测值还可以通过预先训练好的神经网络得到,具体以多个时刻获取的该一个或多个性能参数作为神经网络的输入,得到的输出即为该一个或多个性能参数在第一预设时段内的预测值。
根据本公开的实施例,如图3B所示,该数据处理方法例如还可以包括操作S305,在第一预设时段内所述一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。该操作S305例如可以与操作S304同时执行或者在操作S304之前或之后执行,本公开对此不做限定。
根据本公开的实施例,对于预测值为预测的一个或多个性能参数的值的情况下,该第一预设条件例如可以根据各性能参数会影响数据库正常工作的阈值设定,例如,对于CPU使用率,例如若超过80%会对数据库的正常工作产生影响,则对于该性能参数,第一预设条件可以为低于80%。对于预测值为预测的该一个或多个性能参数的评分值的情况下,该第一预设条件例如可以为评分值低于评分阈值(评分满分为100分,则此处的评分阈值例如可以为60分)。可以理解的是,上述第一预设条件仅作为示例以利于理解本公开,本公开对此不作限定。
根据本公开的实施例,产生的预警信号例如可以是电信号、声音信号等,以使参考图1中的终端设备鸣笛、或者改变展示的不符合条件的性能参数的字体大小、字体颜色,或者改变展示的不符合条件的性能参数对应的指示灯的显示颜色等。可以理解的是,上述预警信号仅作为示例以利于理解本公开,本公开对此不作限定。
通过上述生成的预测值及预警信号,可使得工作人员及时的知晓各性能参数的变化趋势,并因此对可能存在的故障隐患进行及时的处理排查,以避免性能参数的持续恶化导致的数据库不能正常工作的情况。
图4A~图4C示意性示出了根据本公开又一实施例的数据处理方法的流程示意图。
如图4A所示,本公开实施例的数据处理方法除了参考图2A描述的操作S201~操作S203外,例如还可以包括操作S401,在一个或多个性能参数的评分值不符合第二预设条件的情况下,产生报警信号。
根据本公开的实施例,该第二预设条件例如可以类似于第一预设条件,即一个或多个性能参数的评分值低于评分阈值(若该性能参数的评分值的最大值为100分,则该评分阈值例如可以为60分),可以理解的是,上述第二预设条件仅作为示例以利于理解本公开,本公开对此不作限定。
根据本公开的实施例,该报警信号可以不同于预警信号,以使得工作人员能够分辨此时状态是已经不符合条件,还是未来可能不符合条件;或者该报警信号可以类似于预警信号,均起到提醒工作人员需要对数据库或数据库所在服务器进行优化的作用。
如图4B所示,参考图2A所描述的数据处理方法,在一个或多个性能参数的评分值不符合第二预设条件的情况下,例如可以包括操作S402,根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果,该故障分析结果能够表征数据库的故障原因。
根据本公开的实施例,该故障分析结果例如包括数据库的故障类型,及造成该故障类型的故障原因,例如,其中,故障类型例如可以包括事务故障、系统故障和/或介质故障,造成该故障类型的故障原因例如可以包括有一个或多个原因,每一个原因可以对应于不符合第二预设条件的一个或多个性能参数。
根据本公开的实施例,该故障分析结果例如可以通过预先训练好的神经网络生成,具体以一个或多个性能参数作为神经网络的输入,经过神经网络的分析,输出该故障分析结果。
通过展示上述生成的故障分析结果,可以向工作人员提供数据库和/或数据库所在服务器的优化思路,从而进一步降低对工作人员能力的要求,并在一定程度上可以提高工作人员的工作效率。
根据本公开的实施例,在正常情况下(性能参数的评分值均满足第二预设条件的情况下),本公开实施例的数据处理方法例如还可以根据多个性能参数、该多个性能参数的评分值和/或多个性能参数的预测值定期生成巡检报告,并由显示屏展示给工作人员,该巡检报告例如可包括有信息概览(多个性能参数)、性能报告(根据评分值生成)、隐患分析(根据预测值生成)及优化建议等,以利于工作人员提高工作效率。根据本公开的实施例,上述巡检报告除了定期生成外,例如还可以响应于工作人员的请求指令生成。
如图4C所示,参考图2A所描述的数据处理方法,在一个或多个性能参数的评分值不符合第二预设条件的情况下,例如可以包括操作S403,根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化数据库和/或数据库所在服务器。
根据本公开的实施例,自动优化例如可以为:在数据库容量包括的binlog日志所占空间的评分值不符合第二预设条件的情况下,自动调整数据库容量各部分的空间占比,以增大binlog日志所占空间,实现自动优化。可以理解的是,上述自动优化的方式仅作为示例以利于理解本公开,本公开对此不作限定,例如该自动优化例如还可以对数据库SQL语句进行调整,将插入的数据库SQL语句删除,将删除的数据库SQL语句还原等。
通过上述的自动优化,至少可以部分的避免需要工作人员介入的需求,从而能够进一步减小数据库运行对工作人员的依赖,能够在一定程度上保证数据库的长期平稳运行。
图5A示意性示出了根据本公开实施例的执行数据处理方法的总体架构,图5B示意性示出了根据本公开实施例的数据处理方法得到的展示界面的示意图。
如图5A所示,用于执行参考图2A~图4C描述的数据处理方法的总体架构包括采集层501,计算层502、分类层503及展示层504。
其中,采集层501用于采集运行日志、会话及数据库和其所在服务器的基本信息等,为获取多个性能参数做准备,并可直接获取到参数指标类性能参数。
其中,计算层502用于分别经由智能评分、SQL分析、性能预测、智能预测、计算平台等功能项,对采集层501采集的数据进行处理,得到日志类的性能参数、多个性能参数的评分值、数据库的总评分值、多个性能参数的预测值、数据库总评分值的预测值、故障分析结果、优化建议等。根据本公开的实施例,该计算层502例如可以是一个预训练好的深度学习神经网络,输入采集层501采集的数据和日志,即可输出上述的各项数值。
其中,分类层503用于将计算层502计算得到的输出根据分类规则进行分类,具体可以分为性能概览类、空间分析类、性能分析类、会话分析类、慢查询优化及巡检报告六类,其中,慢查询优化包括慢查询不同纬度展示、分析报表、详细的优化推荐信息及自动优化方案等。
其中,展示层504则用于根据分类层503分类的结果进行数据展示,以及根据绘图框架及各项数值,形成各种纬度及各种类型的性能示意图,其中,对于不符合预设条件的性能,还可以突出显示(例如显示不同的字体颜色等)。根据本公开的实施例,该展示层504例如可以是展示平台,该展示平台还可以具有认证页面,以用于对工作人员的身份进行认证(例如可通过登陆该展示平台的方式进行认证)。
根据本公开的实施例,展示层504进行数据展示的展示页面例如可以如图5B所示,从图5B中可以看出,本公开实施例的数据处理的总体框架可以实现数据库性能参数的多维度展示,以向工作人员提供更加直观的性能展示,从而避免了因为无资深数据库管理员的指导导致的无法定位数据库性能的缺陷,并因此提高工作人员的工作效率,降低管理成本。
图6A~图6E示意性示出了根据本公开实施例的数据处理装置的结构框图。
如图6A所示,本公开实施例的数据处理装置600包括性能参数获取模块601、评分模块602以及展示模块603。
其中,性能参数获取模块601用于获取多个性能参数,该多个性能参数包括数据库的性能参数和/或数据库所在服务器的性能参数。根据本公开的实施例,该性能参数获取模块601例如可用于执行参考图2A描述的操作S201,在此不再赘述。
其中,评分模块602用于根据评分规则及多个性能参数,得到多个性能参数中一个或多个性能参数的评分值。根据本公开的实施例,该评分模块602例如可用于执行参考图2A描述的操作S202,在此不再赘述。
其中,展示模块603用于展示一个或多个性能参数的评分值。根据本公开的实施例,该展示模块603例如可用于执行参考图2A描述的操作S203,在此不再赘述。
根据本公开的实施例,评分模块602例如还可以用于根据多个性能参数的评分值及参数权重,生成数据库的总评分值,相应地展示模块603还用于展示数据库的总评分值。根据本公开的实施例,评分模块602与展示模块603例如可分别用于执行参考图3A描述的操作S301~操作S302,在此不再赘述。
根据本公开的实施例,如图6B所示,上述数据处理装置600例如还可以包括分类模块604,该分类模块604用于根据分类规则,将多个性能参数分类,其中,每类性能参数包括具有关联关系的至少两个性能参数。相应地,展示模块603还可以用于分类展示分类后的所述多个性能参数。根据本公开的实施例,分类模块604和展示模块例如可分别用于执行参考图2B描述的操作S204和操作S205,在此不再赘述。
根据本公开的实施例,如图6C所示,上述数据处理装置600例如还可以包括性能示意图生成模块605,该性能示意图生成模块605用于根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图,相应地,展示模块603还用于展示性能示意图生成模块605生成的性能示意图。其中,性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。根据本公开的实施例,性能示意图生成模块605与展示模块603例如可分别用于执行参考图2C描述的操作S206~操作S207,在此不再赘述。
根据本公开的实施例,如图6D所示,上述数据处理装置600例如还可以包括预测模块606,该预测模块606用于根据多个时刻获取的一个或多个性能参数,生成第一预设时段内一个或多个性能参数的预测值,相应地,展示模块603还用于展示该一个或多个性能参数的预测值。根据本公开的实施例,预测模块606与展示模块603例如可分别用于执行参考图3B描述的操作S303~操作S304,在此不再赘述。
根据本公开的实施例,如图6E所示,上述数据处理装置600例如还可以包括预测模块606和预警信号产生模块607,其中预警信号产生模块607用于在第一预设时段内所述一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。根据本公开的实施,预警信号产生模块607例如可用于执行参考图3B描述的操作S305,在此不再赘述。
图7A~图7C示意性示出了根据本公开另一实施例的数据处理装置的结构框图。
如图7A所示,本公开实施例的数据处理装置600除了参考图6A描述的性能参数获取模块601、评分模块602以及展示模块603外,例如还可以包括报警信号产生模块701,该报警信号产生模块701用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,产生报警信号。根据本公开的实施,报警信号产生模块701例如可用于执行参考图4A描述的操作S401,在此不再赘述。
如图7B所示,本公开实施例的数据处理装置600除了参考图7A描述的性能参数获取模块601、评分模块602以及展示模块603外,例如还可以包括故障分析模块702,该故障分析模块702用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果。其中,故障分析结果能够表征所述数据库的故障原因。根据本公开的实施,故障分析模块702例如可用于执行参考图4B描述的操作S402,在此不再赘述。
如图7C所示,本公开实施例的数据处理装置600除了参考图6A描述的性能参数获取模块601、评分模块602以及展示模块603外,例如还可以包括自动优化模块703,该自动优化模块703用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化数据库和/或数据库所在服务器。根据本公开的实施,自动优化模块703例如可用于执行参考图4C描述的操作S403,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,性能参数获取模块601、评分模块602、展示模块603、分类模块604、性能示意图生成模块605、预测模块606、预警信号产生模块607、报警信号产生模块701、故障分析模块702以及自动优化模块703中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,性能参数获取模块601、评分模块602、展示模块603、分类模块604、性能示意图生成模块605、预测模块606、预警信号产生模块607、报警信号产生模块701、故障分析模块702以及自动优化模块703中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,性能参数获取模块601、评分模块602、展示模块603、分类模块604、性能示意图生成模块605、预测模块606、预警信号产生模块607、报警信号产生模块701、故障分析模块702以及自动优化模块703中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的数据处理系统的方框图。图8示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,根据本公开实施例的数据处理系统800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有系统800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,系统800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。系统800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线、光缆、射频信号等等,或者上述的任意合适的组合。
例如,根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种数据处理方法,包括:
获取多个性能参数,所述多个性能参数包括数据库的性能参数和/或所述数据库所在服务器的性能参数;
根据评分规则及所述多个性能参数,得到所述多个性能参数中一个或多个性能参数的评分值;以及
展示所述一个或多个性能参数的评分值。
2.根据权利要求1所述的方法,还包括:
根据分类规则,将所述多个性能参数分类,每类性能参数包括具有关联关系的至少两个性能参数;以及
分类展示分类后的所述多个性能参数。
3.根据权利要求1所述的方法,还包括:
根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图;以及
展示所述性能示意图,
其中,所述性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。
4.根据权利要求1所述的方法,还包括:
根据多个性能参数的评分值及参数权重,生成所述数据库的总评分值;以及
展示所述数据库的总评分值;并且/或者
根据多个时刻获取的一个或多个性能参数,生成第一预设时段内所述一个或多个性能参数的预测值;以及
展示所述一个或多个性能参数的预测值。
5.根据权利要求4所述的方法,还包括:
在第一预设时段内所述一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。
6.根据权利要求1所述的方法,还包括,在一个或多个性能参数的评分值不符合第二预设条件的情况下:
产生报警信号;并且/或者
根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果,所述故障分析结果能够表征所述数据库的故障原因;并且/或者
根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化所述数据库和/或所述数据库所在服务器。
7.一种数据处理装置,包括:
性能参数获取模块,用于获取多个性能参数,所述多个性能参数包括数据库的性能参数和/或所述数据库所在服务器的性能参数;
评分模块,用于根据评分规则及所述多个性能参数,得到所述多个性能参数中一个或多个性能参数的评分值;以及
展示模块,用于展示所述一个或多个性能参数的评分值。
8.根据权利要求7所述的装置,还包括:
分类模块,用于根据分类规则,将所述多个性能参数分类,每类性能参数包括具有关联关系的至少两个性能参数,
其中,所述展示模块还用于分类展示分类后的所述多个性能参数。
9.根据权利要求7所述的装置,还包括:
性能示意图生成模块,用于根据一个或多个时刻获取的一个或多个性能参数,和/或根据一个或多个时刻得到的一个或多个性能参数的评分值,生成性能示意图,
其中,所述展示模块还用于展示所述性能示意图,所述性能示意图包括以下至少之一:一个或多个性能参数的动态图、一个或多个性能参数的评分值的动态图、多个性能参数的评分值的雷达图或具有关联关系的多个性能参数的分布图。
10.根据权利要求7所述的装置,其中:
所述评分模块,还用于根据多个性能参数的评分值及参数权重,生成所述数据库的总评分值;以及
所述展示模块,还用于展示所述数据库的总评分值;并且/或者
所述装置还包括预测模块,用于根据多个时刻获取的一个或多个性能参数,生成第一预设时段内所述一个或多个性能参数的预测值;以及
所述展示模块还用于展示所述一个或多个性能参数的预测值。
11.根据权利要求10所述的装置,还包括:
预警信号产生模块,用于在第一预设时段内所述一个或多个性能参数的预测值不符合第一预设条件的情况下,产生预警信号。
12.根据权利要求7所述的装置,还包括:
报警信号产生模块,用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,产生报警信号;并且/或者
故障分析模块,用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,生成故障分析结果,所述故障分析结果能够表征所述数据库的故障原因;并且/或者
自动优化模块,用于在一个或多个性能参数的评分值不符合第二预设条件的情况下,根据不符合第二预设条件的一个或多个性能参数的评分值,自动优化所述数据库和/或所述数据库所在服务器。
13.一种数据处理系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~6任意一项所述的方法。
14.一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行权利要求1~6任意一项所述的方法。
CN201810867728.2A 2018-08-01 2018-08-01 数据处理方法、装置和系统 Pending CN109241096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810867728.2A CN109241096A (zh) 2018-08-01 2018-08-01 数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810867728.2A CN109241096A (zh) 2018-08-01 2018-08-01 数据处理方法、装置和系统

Publications (1)

Publication Number Publication Date
CN109241096A true CN109241096A (zh) 2019-01-18

Family

ID=65072695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810867728.2A Pending CN109241096A (zh) 2018-08-01 2018-08-01 数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109241096A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046163A (zh) * 2019-04-12 2019-07-23 网宿科技股份有限公司 一种数据检索方法及系统
CN110750512A (zh) * 2019-09-09 2020-02-04 北京新数科技有限公司 一种数据库性能评价管理方法及装置
CN110764981A (zh) * 2019-09-09 2020-02-07 北京新数科技有限公司 一种it机房的一体化运维管理方法及装置
CN111966596A (zh) * 2020-08-14 2020-11-20 苏州浪潮智能科技有限公司 一种固件版本稳定性的测评方法、装置、设备及可读介质
CN112084211A (zh) * 2020-10-12 2020-12-15 北京高因科技有限公司 一种慢sql语句处理系统
CN112506951A (zh) * 2020-12-07 2021-03-16 海南车智易通信息技术有限公司 数据库慢查询日志的处理方法、服务器、计算设备和系统
CN113225228A (zh) * 2021-04-30 2021-08-06 北京百度网讯科技有限公司 数据处理方法及装置
CN113778984A (zh) * 2021-08-16 2021-12-10 维沃移动通信(杭州)有限公司 处理组件的选择方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120095987A1 (en) * 2010-10-13 2012-04-19 Tao-Jung Cheng Systems and methods for query optimization
CN105404581A (zh) * 2015-12-25 2016-03-16 北京奇虎科技有限公司 一种数据库的评测方法和装置
US20170031980A1 (en) * 2015-07-28 2017-02-02 InfoKarta, Inc. Visual Aggregation Modeler System and Method for Performance Analysis and Optimization of Databases
CN106528388A (zh) * 2016-10-21 2017-03-22 网易(杭州)网络有限公司 一种数据库检测方法和装置
CN106557353A (zh) * 2016-11-04 2017-04-05 天津轻工职业技术学院 一种容器承载业务应用的服务器性能指标评价方法
CN107391288A (zh) * 2016-03-09 2017-11-24 阿里巴巴集团控股有限公司 服务器评测方法及设备
CN107563620A (zh) * 2017-08-21 2018-01-09 云南电网有限责任公司保山供电局 一种基于设备全寿命信息的综合评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120095987A1 (en) * 2010-10-13 2012-04-19 Tao-Jung Cheng Systems and methods for query optimization
US20170031980A1 (en) * 2015-07-28 2017-02-02 InfoKarta, Inc. Visual Aggregation Modeler System and Method for Performance Analysis and Optimization of Databases
CN105404581A (zh) * 2015-12-25 2016-03-16 北京奇虎科技有限公司 一种数据库的评测方法和装置
CN107391288A (zh) * 2016-03-09 2017-11-24 阿里巴巴集团控股有限公司 服务器评测方法及设备
CN106528388A (zh) * 2016-10-21 2017-03-22 网易(杭州)网络有限公司 一种数据库检测方法和装置
CN106557353A (zh) * 2016-11-04 2017-04-05 天津轻工职业技术学院 一种容器承载业务应用的服务器性能指标评价方法
CN107563620A (zh) * 2017-08-21 2018-01-09 云南电网有限责任公司保山供电局 一种基于设备全寿命信息的综合评价方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046163A (zh) * 2019-04-12 2019-07-23 网宿科技股份有限公司 一种数据检索方法及系统
CN110750512A (zh) * 2019-09-09 2020-02-04 北京新数科技有限公司 一种数据库性能评价管理方法及装置
CN110764981A (zh) * 2019-09-09 2020-02-07 北京新数科技有限公司 一种it机房的一体化运维管理方法及装置
CN111966596A (zh) * 2020-08-14 2020-11-20 苏州浪潮智能科技有限公司 一种固件版本稳定性的测评方法、装置、设备及可读介质
CN111966596B (zh) * 2020-08-14 2023-01-06 苏州浪潮智能科技有限公司 一种固件版本稳定性的测评方法、装置、设备及可读介质
CN112084211A (zh) * 2020-10-12 2020-12-15 北京高因科技有限公司 一种慢sql语句处理系统
CN112506951A (zh) * 2020-12-07 2021-03-16 海南车智易通信息技术有限公司 数据库慢查询日志的处理方法、服务器、计算设备和系统
CN112506951B (zh) * 2020-12-07 2023-02-24 海南车智易通信息技术有限公司 数据库慢查询日志的处理方法、服务器、计算设备和系统
CN113225228A (zh) * 2021-04-30 2021-08-06 北京百度网讯科技有限公司 数据处理方法及装置
CN113225228B (zh) * 2021-04-30 2022-10-21 北京百度网讯科技有限公司 数据处理方法及装置
CN113778984A (zh) * 2021-08-16 2021-12-10 维沃移动通信(杭州)有限公司 处理组件的选择方法和装置

Similar Documents

Publication Publication Date Title
CN109241096A (zh) 数据处理方法、装置和系统
CN107918600B (zh) 报表开发系统及方法、存储介质和电子设备
CN105069690B (zh) 一种电网运行数据处理方法
DE112011100143B4 (de) Optimieren der elektrischen Leistungsaufnahme in einem Rechenzentrum
US7881920B2 (en) Systemic enterprise management method and apparatus
Guo et al. Complex power system status monitoring and evaluation using big data platform and machine learning algorithms: a review and a case study
US9992269B1 (en) Distributed complex event processing
CN109523446A (zh) 一种面向价格领域的大数据处理分析系统
CN103593804A (zh) 一种电力信息通信调度监控平台
CN108322548A (zh) 一种基于云计算的工业过程数据解析平台
CN109670690A (zh) 数据信息中心监控预警方法、系统及设备
CN110928740A (zh) 云计算中心运维数据集中可视化方法及其系统
CN103825755A (zh) 电力二次系统的建模方法与系统
Saenko et al. Parallel processing of big heterogeneous data for security monitoring of IoT networks
CN109088747A (zh) 云计算系统中资源的管理方法和装置
CN103365923B (zh) 用于评估数据库的分区方案的方法和装置
CN111753034A (zh) 一种一站式地理大数据平台
CN110570097A (zh) 基于大数据的业务人员风险识别方法、装置及存储介质
CN112507006A (zh) 基于云端的电网企业运行数据整合系统
Varghese et al. DocLite: A docker-based lightweight cloud benchmarking tool
CN110389873A (zh) 一种判定服务器资源使用情况的方法和装置
Yang et al. Design of enterprise management system based on edge computing architecture
CN109684172A (zh) 基于访问频率的日志推送方法、系统、设备及存储介质
CN109241154A (zh) 一种分布式数据库监控分析方法及系统
CN109446278A (zh) 一种基于区块链的大数据管理平台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Daxing District, Beijing

Applicant after: Jingdong Digital Technology Holding Co., Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing, 100176

Applicant before: Beijing Jingdong Financial Technology Holding Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118