CN113760634A - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN113760634A CN113760634A CN202010923286.6A CN202010923286A CN113760634A CN 113760634 A CN113760634 A CN 113760634A CN 202010923286 A CN202010923286 A CN 202010923286A CN 113760634 A CN113760634 A CN 113760634A
- Authority
- CN
- China
- Prior art keywords
- data
- fault
- equipment
- machine room
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 6
- 230000002547 anomalous effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 230000035784 germination Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013024 troubleshooting Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Abstract
本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；通过与所述故障类型对应的预案策略处理所述数据。该实施方式采用自动化为主、人工为辅的策略，基于数据处理中心和决策分析中心，收集最小粒度的数据，在发现异常数据时及时处理，以将故障消灭在萌芽阶段，达到自动发现、甄别和处理的目的。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。
背景技术
企业中通常设置一些部门，用以管理特定信息的存储和查询工作。特殊定位决定了其所使用的系统必须具备最高等级的可用性、稳定性以及最及时的问题处理响应能力。目前处理方案如下：
1)接入监控系统监控特定指标，当达到配置阈值时报警。工作人员收到报警信息并处理，譬如下线微服务、分组切换、系统机器摘量(将机器进行冷备处理，不再接收外部新请求)等。
2)接入日志上报收集系统：工作人员定期查看日志信息，梳理筛选日志中包含的异常信息，分析问题并处理。
3)使用pcms.xx.com、ducc.xx.com等配置中心，对相应配置进行开关、预案、分组切换操作。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
1)监控系统、配置中心只能通过PC平台操作，若系统发生异常报警，而身边无电脑可登录处理，意味着存在较长的空窗期放任异常存在，对超0级系统而言是不可接受的；
2)报警的处理、异常日志的检索、紧急预案的执行都依赖人工处理，易存在遗漏、操作失误等隐患，且随着企业内部门数量的增加，单靠人工完成上述操作已成为不可能；
3)现有方式只有故障暴露出来后(如设备故障、机房故障)，才会通过监控中心、日志采集查询系统等平台查询故障原因，属于事后修复和弥补，具有一定延迟性。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法和装置，至少能够解决现有技术中过于依赖人为操作和PC平台，带来的系统稳定性和可用性不高的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
通过与所述故障类型对应的预案策略处理所述数据。
可选的，所述基于所述故障分析策略分析所述数据是否异常，包括：
获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
可选的，所述诊断所述数据的故障类型，包括：在通过所述第一故障阈值诊断到所述数据异常时，诊断所述故障类型为设备故障；
所述通过与所述故障类型对应的预案策略处理所述数据，包括：
通过所述设备的设备号调用微服务实例接口，以判断所述设备是否属于微服务类型；
若属于，则调用微服务下线接口下线所述设备，否则调用协议服务下线接口下线所述设备。
可选的，所述诊断所述数据的故障类型，包括：在通过所述第二故障阈值诊断到所述数据异常时，诊断所述故障类型为机房故障；
所述通过与所述故障类型对应的预案策略处理所述数据，包括：
确定与机房故障对应的机房切换策略，从所述机房切换策略中获取与所述机房对应的切换配置号；
从与所述切换配置号对应的其他机房中，选择一正常运行的机房；
获取所选择一机房的接口配置参数，将所述机房的接口配置参数更改为所获取的接口配置参数，以将连接至所述机房的流量或服务切换至所述一机房。
可选的，所述获取待处理的数据，包括：基于第一周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储；其中，系统包括至少一个机房，机房包括至少一个设备。
可选的，所述获取待处理的数据，包括：基于第二周期，从数据处理中心获取所述待处理的数据；其中，所述数据处理中心基于第三周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储，且所述第二周期小于所述第三周期。
为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理装置，包括：
获取模块，用于获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
诊断模块，用于基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
处理模块，用于通过与所述故障类型对应的预案策略处理所述数据。
可选的，所述诊断模块，用于：获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
可选的，所述诊断模块，用于：在通过所述第一故障阈值诊断到所述数据异常时，诊断所述故障类型为设备故障；
所述处理模块，用于：
通过所述设备的设备号调用微服务实例接口，以判断所述设备是否属于微服务类型；
若属于，则调用微服务下线接口下线所述设备，否则调用协议服务下线接口下线所述设备。
可选的，所述诊断模块，用于：在通过所述第二故障阈值诊断到所述数据异常时，诊断所述故障类型为机房故障；
所述处理模块，用于：
确定与机房故障对应的机房切换策略，从所述机房切换策略中获取与所述机房对应的切换配置号；
从与所述切换配置号对应的其他机房中，选择一正常运行的机房；
获取所选择一机房的接口配置参数，将所述机房的接口配置参数更改为所获取的接口配置参数，以将连接至所述机房的流量或服务切换至所述一机房。
可选的，所述获取模块，用于：基于第一周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储；其中，系统包括至少一个机房，机房包括至少一个设备。
可选的，所述获取模块，用于：基于第二周期，从数据处理中心获取所述待处理的数据；其中，所述数据处理中心基于第三周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储，且所述第二周期小于所述第三周期。
为实现上述目的，根据本发明实施例的再一方面，提供了一种数据处理电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据处理方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：采用自动化为主、人工为辅的策略，基于数据处理中心和决策分析中心，依托收集的系统、应用、设备、日志等多维度大数据信息，提前发现设备/机房隐患，将故障消灭在萌芽阶段，达到自动发现、自动甄别、自动处理异常数据的目的，解决了人工在PC端查找并处理数据的问题。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种数据处理方法的主要流程示意图；
图2是一种分析数据是否异常的主要流程示意图；
图3是根据本发明实施例的一种可选的数据处理方法的流程示意图；
图4是根据本发明实施例的另一种可选的数据处理方法的流程示意图；
图5是根据本发明实施例的一种数据处理装置的主要模块示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本方案的数据通过从平台抓取得到。一个平台绑定至少一个系统，每个系统下设置有至少一个机房，每个机房内配置有至少一个设备(或机器)用以提供不同服务，如商品读服务、主数据服务、统一服务、基础中间件服务等。
参见图1，示出的是本发明实施例提供的一种数据处理方法的主要流程图，包括如下步骤：
S101：获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
S102：基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
S103：通过与所述故障类型对应的预案策略处理所述数据。
上述实施方式中，对于步骤S101，决策分析中心定期(即第一周期，如1s)从平台中抓取多个维度的数据并存储；其中，维度可以水平扩展，本方案主要考虑容器数据监控中心、监控平台、配置中心和日志采集查询系统维度下的数据。例如：
1)通过监控平台提供的API(Application Program Interface，应用程序接口)接口，获取系统维度上报的数据，包含上报key的可用率、调用次数、TP99、TP999以及这些维度下每台设备的具体数据分布。
2)通过容器数据监控中心开放的API接口，抓取设备维度的数据，包含影响系统稳定的CPU、内存、连通性、重传数、入口出口流量等。
3)日志采集查询系统上传的日志信息。由于正常业务的日志量较大，所以只需关注影响系统稳定性指标的特定日志即可，如NullPointE xception、RPC Exception或指定的特殊关键字的日志。
为降低后续工作量，对于抓取到的数据，在存储之前还可以按时间(从小到大顺序)、指标(TP99、TP999、可用率、调用次数)、设备(连通性情况、CPU、内存、重传数、流量)、机房(所属机房信息、网络)、日志关键字(NullPointException、RPC Exception)等进行汇总存储。
由于数据量较大(通常过亿)，因此数据汇总时优选使用Bitmap(位图算法)、DFA(Deterministic Finite Automaton，有穷自动机)等适用于大数据场景的算法。且数据保存有时限限制(如7天)，超期将自动处理。
进一步的，为降低决策分析中心工作量，还可以设置数据处理中心，以通过数据处理中心完成上述工作，决策分析中心仅用于分析数据是否异常并处理。为避免数据过剩情况，决策分析中心从数据处理中心获取数据的第二周期，需小于数据处理中心从平台抓取数据的第三周期，如1s和5s。
对于步骤S102，本方案预先根据不同维度设置不同的故障分析策略，且故障类型主要分为设备故障和机房故障两种(参见图2所示)：
步骤一：获取故障分析策略中的第一故障阈值，判断数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
步骤二：若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
步骤三：确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
对于步骤一，故障分析策略针对设备和维度设置有第一故障阈值，用以判断提供数据的设备是否存有故障。如，数据中设备的重传数超过阈值，则会诊断为重传故障。
通常一个故障分析策略中判断设备是否故障只设有一个阈值，且除了阈值比对外，还可以包括连通性检测(ping)、端口存活检测等，本方案主要考虑阈值比对。
对于步骤二和步骤三，在多机房数据维度下，即使设备未故障，设备所处机房也可能发生故障。如一机房数据指标(可用率，TP性能等)高于其他机房数据指标的第二故障阈值，则诊断该机房存在故障。例如系统下包含ABC三个机房，如果A机房的数据指标高于其余两个机房的数据指标，且差值高于其余两个机房数据指标的20％时，则认为该时刻A机房存在故障。
另外，可以通过图2所示步骤，直接确定异常数据对应的故障类型，如通过步骤一确定的故障类型为设备故障，如通过步骤一确定数据正常，但步骤二和步骤三确定数据异常，则故障类型为机房故障。
根据不同的故障类型，可以添加不同故障标签至数据中，以供后续决策分析中心根据故障标签确定处理异常数据的预案策略，如设备故障标签和机房故障标签。
诊断出故障后，决策分析中心首先会通过语音、短信等方式进行报警提醒。后台维护有系统级别的负责人列表信息，通过数据中携带的平台信息、系统信息、机房信息、设备信息等，确定具体负责人并发送报警信息。
对于步骤S103，本方案同样在决策分析中心，预先针对不同故障类型设置有不同预案策略，以此处理不同的故障数据，具体参见后续图3所示描述。
上述实施例所提供的方法，依托数据处理中心抓取多维度数据并汇总，解决现有只能通过各自平台查看分散数据的问题；通过决策分析中心分析数据是否异常并诊断出故障类型，查找与之匹配的预案策略处理异常数据，从而达到从定位、报警到处理问题都实现自动化的目的，降低对人工处理的依赖度。
参见图3，示出了根据本发明实施例的一种可选的数据处理方法流程示意图，包括如下步骤：
S301：获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
S302：获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值；
S303：若超出，则确定所述数据异常，诊断故障类型为设备故障；
S304：通过设备的设备号调用微服务实例接口，以判断所述设备是否属于微服务类型；其中，设备通过数据中的设备标识确定；
S305：若属于，则调用微服务下线接口下线所述设备；
S306：否则调用协议服务下线接口下线所述设备。
上述实施方式中，对于步骤S301可参见图1所示步骤S101的描述，在此不再赘述。
上述实施方式中，对于步骤S302和S303，故障分析策略针对设备和维度设置有第一故障阈值，用以判断提供数据的设备是否存有故障。如，数据中设备的重传数超过阈值，则会诊断为重传故障。进一步的，还可以添加设备故障标签至该数据中。
通常一个故障分析策略中判断设备是否故障只设有一个阈值，且除了阈值比对外，还可以包括连通性检测(ping)、端口存活检测等，本方案主要考虑阈值比对。
对于步骤S304～S306，预案策略后台在录入时，有多个check项，如“自动执行”和“手动执行”，具体依赖人工设定，默认自动执行。
对于高风险预案、或需要多人确认才能执行或非紧急预案，通常选择人工处理。人工执行时，将数据和故障信息(设备/机房信息、故障内容、时间)推送至应急平台界面进行展示。工作人员随时随地登录移动端界面，即可查询故障信息并完成确认，之后数据处理流程与自动化一致。
针对设备故障的预案策略至少配置有如下信息：设备故障标签、执行方式(手动/自动)、执行内容(设备下线)、第一故障阈值(可用率阈值、调用次数阈值、TP99阈值、TP999阈值、CPU阈值、重传数阈值、内存阈值、日志关键字阈值等)。
故障类型下分有连通性异常故障、异常日志故障等，此时处理的对象直接为提供该数据的设备(数据中存储有设备标识)，最终采取的措施为设备下线(JSF下线：微服务、设备摘量)。
调用微服务实例接口，以判断设备是否为微服务类型，如杰夫、JSF(JavaServerFaces，标准框架)服务，若是，则调用微服务下线接口下线设备；否则，则确定设备属于http类协议服务，直接调用协议服务接口下线设备。
上述实施例所提供的方法，对于设备故障，通过分析设备的微服务/协议服务类型，调用相应下线接口下线设备，以此直接切断异常数据来源，整体可以自动化执行，对人工参与的依赖度较低。
参见图4，示出了根据本发明实施例的另一种可选的数据处理方法流程示意图，包括如下步骤：
S401：获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
S402：获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值；
S403：若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
S404：确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，判断所述差值与所述第一数据的比值是否均超出第二故障阈值；
S405：若均超出，则确定所述数据异常，诊断故障类型为机房故障；
S406：确定与机房故障对应的机房切换策略，从所述机房切换策略中获取与所述机房对应的切换配置号；
S407：从与所述切换配置号对应的其他机房中，选择一正常运行的机房；
S408：获取所选择一机房的接口配置参数，将所述机房的接口配置参数更改为所获取的接口配置参数，以将连接至所述机房的流量或服务切换至所述一机房。
上述实施方式中，对于步骤S401可参见图1所示步骤S101的描述，在此不再赘述。
上述实施方式中，对于步骤S402～S405，在多机房数据维度下，即使设备未故障，设备所处机房也可能发生故障。如一机房数据指标(可用率，TP性能等)高于其他机房数据指标的第二故障阈值，则诊断该机房存在故障。例如系统下包含ABC三个机房，如果A机房的数据指标高于其余两个机房的数据指标，且差值高于其余两个机房数据指标的20％时，则认为该时刻A机房存在故障。
对于步骤S406～S408，预案策略后台在录入时，有多个check项，如“自动执行”和“手动执行”，具体依赖人工设定，默认自动执行。
自动执行与手动执行的区别之处在于，手动执行需先将数据以及故障信息(应用信息、故障内容、发生时间)发送至应急平台进行展示，待工作人员确认后才可以处理，处理过程与自动化处理一致。
针对设备故障的预案策略至少配置有如下信息：机房故障标签、执行方式(手动/自动)、执行内容(机房切换)、第二故障阈值(可用率阈值、调用次数阈值、TP99阈值、TP999阈值、CPU阈值、重传数阈值、内存阈值等)。
当故障类型为机房故障时，此时处理对象为机房(一个机房下配置有至少一个设备，设备用于生产数据)，相应预案策略为机房切换策略，具体地：
1)预先在机房切换策略中针对每个机房配置切换配置号，该切换配置号区别于机房本身所具有的配置号，且可以对应于多个机房。例如，机房P的配置号为123，切换配置号为234；
2)查询与故障机房对应的切换配置号，确定与该切换配置号对应的其他机房，并从中选择一个正常运行的机房。如通过上述切换配置号234查询到机房Q、机房M和机房N，但机房Q也诊断发生故障，故从剩余的机房M和机房N中选择一个；
3)获取所选择正常机房的接口配置参数，将本次故障机房的接口配置参数更改为获取的接口配置参数，以将连接至故障机房的流量切换至所选择的正常机房。
上述实施例所提供的方法，通过与故障机房对应的切换配置号确定正常机房，以将连接至故障机房的流量或服务切换至正常机房，保证设备运行的稳定性以及设备提供数据的安全性。
本发明实施例所提供的方法，采用自动化为主、人工为辅的策略，基于数据处理中心和决策分析中心，依托收集的系统、应用、设备、日志等多维度大数据信息，提前发现设备/机房隐患：
1)监测最小的数据粒度，在获取数据后立即分析处理，将故障消灭在萌芽阶段，达到自动发现、自动甄别、自动处理异常数据的目的；
2)问题排查也摆脱了平台限制，且可以批量处理，开发人员随时可以通过移动端完成故障的处理；
3)即使是非工作时间，仍可保持高稳定、高效率的运行，且解决了人工操作的延迟、遗漏、不确定性以及人力成本的不可控性；将开发人员从繁重的运维角色解脱，使其更加专注于业务处理。
参见图5，示出了本发明实施例提供的一种数据处理装置500的主要模块示意图，包括：
获取模块501，用于获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
诊断模块502，用于基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
处理模块503，用于通过与所述故障类型对应的预案策略处理所述数据。
本发明实施装置中，所述诊断模块502，用于：
获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
本发明实施装置中，所述诊断模块502，用于：在通过所述第一故障阈值诊断到所述数据异常时，诊断所述故障类型为设备故障；
所述处理模块503，用于：
通过所述设备的设备号调用微服务实例接口，以判断所述设备是否属于微服务类型；
若属于，则调用微服务下线接口下线所述设备，否则调用协议服务下线接口下线所述设备。
本发明实施装置中，所述诊断模块502，用于：在通过所述第二故障阈值诊断到所述数据异常时，诊断所述故障类型为机房故障；
所述处理模块503，用于：
确定与机房故障对应的机房切换策略，从所述机房切换策略中获取与所述机房对应的切换配置号；
从与所述切换配置号对应的其他机房中，选择一正常运行的机房；
获取所选择一机房的接口配置参数，将所述机房的接口配置参数更改为所获取的接口配置参数，以将连接至所述机房的流量或服务切换至所述一机房。
本发明实施装置中，所述获取模块501，用于：
基于第一周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储；其中，系统包括至少一个机房，机房包括至少一个设备。
本发明实施装置中，所述获取模块501，用于：
基于第二周期，从数据处理中心获取所述待处理的数据；其中，所述数据处理中心基于第三周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储，且所述第二周期小于所述第三周期。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图6示出了可以应用本发明实施例的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605(仅仅是示例)。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，服务器605可以是提供各种服务的服务器。
需要说明的是，本发明实施例所提供的方法一般由服务器605执行，相应地，装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、诊断模块、处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取数据和故障分析策略模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
通过与所述故障类型对应的预案策略处理所述数据。
根据本发明实施例的技术方案，采用自动化为主、人工为辅的策略，基于数据处理中心和决策分析中心，依托收集的系统、应用、设备、日志等多维度大数据信息，提前发现设备/机房隐患：
1)监测最小的数据粒度，将故障消灭在萌芽阶段，达到自动发现、自动甄别、自动处理异常数据的目的；
2)问题排查也摆脱了平台限制，且可以批量处理，开发人员随时可以通过移动端完成故障的处理；
3)即使是非工作时间，仍可保持高稳定、高效率的运行，且解决了人工操作的延迟、遗漏、不确定性以及人力成本的不可控性；将开发人员从繁重的运维角色解脱，使其更加专注于业务处理。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
通过与所述故障类型对应的预案策略处理所述数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述故障分析策略分析所述数据是否异常，包括：
获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
3.根据权利要求2所述的方法，其特征在于，所述诊断所述数据的故障类型，包括：在通过所述第一故障阈值诊断到所述数据异常时，诊断所述故障类型为设备故障；
所述通过与所述故障类型对应的预案策略处理所述数据，包括：
通过所述设备的设备号调用微服务实例接口，以判断所述设备是否属于微服务类型；
若属于，则调用微服务下线接口下线所述设备，否则调用协议服务下线接口下线所述设备。
4.根据权利要求2所述的方法，其特征在于，所述诊断所述数据的故障类型，包括：在通过所述第二故障阈值诊断到所述数据异常时，诊断所述故障类型为机房故障；
所述通过与所述故障类型对应的预案策略处理所述数据，包括：
确定与机房故障对应的机房切换策略，从所述机房切换策略中获取与所述机房对应的切换配置号；
从与所述切换配置号对应的其他机房中，选择一正常运行的机房；
获取所选择一机房的接口配置参数，将所述机房的接口配置参数更改为所获取的接口配置参数，以将连接至所述机房的流量或服务切换至所述一机房。
5.根据权利要求1所述的方法，其特征在于，所述获取待处理的数据，包括：
基于第一周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储；其中，系统包括至少一个机房，机房包括至少一个设备。
6.根据权利要求1所述的方法，其特征在于，所述获取待处理的数据，包括：
基于第二周期，从数据处理中心获取所述待处理的数据；其中，所述数据处理中心基于第三周期，从至少一个平台下的至少一个系统中，抓取多个维度的数据并存储，且所述第二周期小于所述第三周期。
7.一种数据处理装置，其特征在于，包括：
获取模块，用于获取待处理的数据，确定与所述数据所处维度对应的故障分析策略；其中，维度为数据存储的最小粒度；
诊断模块，用于基于所述故障分析策略分析所述数据是否异常，若异常，则诊断所述数据的故障类型；
处理模块，用于通过与所述故障类型对应的预案策略处理所述数据。
8.根据权利要求7所述的装置，其特征在于，所述诊断模块，用于：
获取所述故障分析策略中的第一故障阈值，判断所述数据中的数值是否超出所述第一故障阈值，若超出，则确定所述数据异常；
若未超出，则获取存储于所述数据中的设备标识，确定与所述设备标识对应的设备以及所述设备所处机房，进而确定所述机房所处平台下的其他机房以及位于其他机房下的其他设备；
确定所述其他设备下与所述维度对应的第一数据，计算所述数据与所述第一数据的差值，若所述差值与所述第一数据的比值均超出第二故障阈值，则确定所述数据异常。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923286.6A CN113760634A (zh) | 2020-09-04 | 2020-09-04 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923286.6A CN113760634A (zh) | 2020-09-04 | 2020-09-04 | 一种数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760634A true CN113760634A (zh) | 2021-12-07 |
Family
ID=78785693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923286.6A Pending CN113760634A (zh) | 2020-09-04 | 2020-09-04 | 一种数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760634A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114567536A (zh) * | 2022-02-24 | 2022-05-31 | 北京百度网讯科技有限公司 | 异常数据处理方法、装置、电子设备和存储介质 |
| CN117035747A (zh) * | 2023-10-09 | 2023-11-10 | 国网山东省电力公司博兴县供电公司 | 一种机房多系统故障诊断处理方法、系统、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055059A1 (en) * | 2012-10-01 | 2014-04-10 | Nest Labs, Inc. | Radiant heating controls and methods for an environmental control system |
| CN107301131A (zh) * | 2017-06-30 | 2017-10-27 | 郑州云海信息技术有限公司 | 一种分布式存储管理软件故障诊断方法及系统 |
| CN107689886A (zh) * | 2017-08-11 | 2018-02-13 | 北京小度信息科技有限公司 | 数据接口故障处理方法、装置及电子设备 |
| CN108289034A (zh) * | 2017-06-21 | 2018-07-17 | 新华三大数据技术有限公司 | 一种故障发现方法和装置 |
| CN108825591A (zh) * | 2018-07-30 | 2018-11-16 | 中国石化销售有限公司华南分公司 | 一种电液执行器蓄能器动态故障检测方法 |
| CN111245793A (zh) * | 2019-12-31 | 2020-06-05 | 西安交大捷普网络科技有限公司 | 网络数据的异常分析方法及装置 |
| US20200200648A1 (en) * | 2018-02-12 | 2020-06-25 | Dalian University Of Technology | Method for Fault Diagnosis of an Aero-engine Rolling Bearing Based on Random Forest of Power Spectrum Entropy |
| CN111565171A (zh) * | 2020-03-31 | 2020-08-21 | 北京三快在线科技有限公司 | 异常数据的检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-04 CN CN202010923286.6A patent/CN113760634A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055059A1 (en) * | 2012-10-01 | 2014-04-10 | Nest Labs, Inc. | Radiant heating controls and methods for an environmental control system |
| CN108289034A (zh) * | 2017-06-21 | 2018-07-17 | 新华三大数据技术有限公司 | 一种故障发现方法和装置 |
| CN107301131A (zh) * | 2017-06-30 | 2017-10-27 | 郑州云海信息技术有限公司 | 一种分布式存储管理软件故障诊断方法及系统 |
| CN107689886A (zh) * | 2017-08-11 | 2018-02-13 | 北京小度信息科技有限公司 | 数据接口故障处理方法、装置及电子设备 |
| US20200200648A1 (en) * | 2018-02-12 | 2020-06-25 | Dalian University Of Technology | Method for Fault Diagnosis of an Aero-engine Rolling Bearing Based on Random Forest of Power Spectrum Entropy |
| CN108825591A (zh) * | 2018-07-30 | 2018-11-16 | 中国石化销售有限公司华南分公司 | 一种电液执行器蓄能器动态故障检测方法 |
| CN111245793A (zh) * | 2019-12-31 | 2020-06-05 | 西安交大捷普网络科技有限公司 | 网络数据的异常分析方法及装置 |
| CN111565171A (zh) * | 2020-03-31 | 2020-08-21 | 北京三快在线科技有限公司 | 异常数据的检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 元尼东珠;罗亚锋;房红征;杨浩;: "基于卷积神经网络的发动机气路故障诊断方法", 计算机测量与控制, no. 12, 25 December 2019 (2019-12-25) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114567536A (zh) * | 2022-02-24 | 2022-05-31 | 北京百度网讯科技有限公司 | 异常数据处理方法、装置、电子设备和存储介质 |
| CN114567536B (zh) * | 2022-02-24 | 2024-02-23 | 北京百度网讯科技有限公司 | 异常数据处理方法、装置、电子设备和存储介质 |
| CN117035747A (zh) * | 2023-10-09 | 2023-11-10 | 国网山东省电力公司博兴县供电公司 | 一种机房多系统故障诊断处理方法、系统、设备及介质 |
| CN117035747B (zh) * | 2023-10-09 | 2024-02-02 | 国网山东省电力公司博兴县供电公司 | 一种机房多系统故障诊断处理方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10200506B2 (en) | Method, system and device for monitoring data | |
| CN110727560A (zh) | 云服务报警方法及装置 | |
| CN110231998B (zh) | 分布式定时任务的检测方法、装置及存储介质 | |
| CN111431754A (zh) | 配用电通信网故障分析方法和系统 | |
| CN113760634A (zh) | 一种数据处理方法和装置 | |
| CN115529595A (zh) | 一种日志数据的异常检测方法、装置、设备及介质 | |
| CN115629933A (zh) | 业务系统监控方法、装置、设备及存储介质 | |
| CN113495820A (zh) | 异常信息收集、处理方法和装置以及异常监控系统 | |
| CN115220995A (zh) | 一种基于agent探针的微服务全链路分析方法 | |
| CN109639755B (zh) | 关联系统服务器解耦方法、装置、介质及电子设备 | |
| CN110727563A (zh) | 预设客户的云服务报警方法及装置 | |
| CN113656252A (zh) | 故障定位方法、装置、电子设备以及存储介质 | |
| EP1622310A2 (en) | Administration system for network management systems | |
| CN110609761B (zh) | 确定故障源的方法、装置、存储介质和电子设备 | |
| FI20185598A1 (en) | Automatic network monitoring and control | |
| CN115080363B (zh) | 一种基于业务日志的系统容量评估方法及装置 | |
| CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
| CN114244685A (zh) | 一种云服务中心访问异常处置系统 | |
| CN113852984A (zh) | 一种无线终端接入监控系统、方法、电子设备及可读存储装置 | |
| CN111447329A (zh) | 呼叫中心中状态服务器的监控方法、系统、设备及介质 | |
| CN111983960A (zh) | 一种监控系统及方法 | |
| CN114422332B (zh) | 网络切片控制方法、装置、处理设备及存储介质 | |
| CN110890988B (zh) | 一种服务器集群运行监控系统 | |
| CN114338688B (zh) | 一种数据管理方法及装置 | |
| CN113890814A (zh) | 故障感知模型构建和故障感知方法与系统、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |