CN102479113A - 异常自适应处理方法及系统 - Google Patents

异常自适应处理方法及系统 Download PDF

Info

Publication number
CN102479113A
CN102479113A CN2010105712019A CN201010571201A CN102479113A CN 102479113 A CN102479113 A CN 102479113A CN 2010105712019 A CN2010105712019 A CN 2010105712019A CN 201010571201 A CN201010571201 A CN 201010571201A CN 102479113 A CN102479113 A CN 102479113A
Authority
CN
China
Prior art keywords
error
task
sign
reporting
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105712019A
Other languages
English (en)
Other versions
CN102479113B (zh
Inventor
孟繁力
王晓伟
王雅文
李宏昌
迟建德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Heilongjiang Co Ltd
Original Assignee
China Mobile Group Heilongjiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Heilongjiang Co Ltd filed Critical China Mobile Group Heilongjiang Co Ltd
Priority to CN201010571201.9A priority Critical patent/CN102479113B/zh
Publication of CN102479113A publication Critical patent/CN102479113A/zh
Application granted granted Critical
Publication of CN102479113B publication Critical patent/CN102479113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种异常自适应处理方法及系统,其中,该方法包括:接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。本发明实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。

Description

异常自适应处理方法及系统
技术领域
本发明涉及业务支撑领域,具体涉及一种异常自适应处理方法及系统。
背景技术
随着经营分析系统在经营决策和营销管理方面的作用日益显著,其所承载的应用也日趋丰富,其处理的数据量及任务量也成指数增长,相应地,数据处理的异常情况也随之增多,维护工作量也不断增加。现有的经营分析系统,数据处理技术是传统的基于文件系统的ETL技术。ETL是英文Extract-Transform-Load的缩写,用来描述将资料从来源端经过抽取(extract)、转换(transform)、载入(load)至目的端的过程。ETL是数据仓库理论中数据处理的核心环节。现有经分系统关于异常情况的处理大多采用系统监控,人工处理的方式。具体地(参见图1),故障系统对关键处理步骤监控,当系统有异常情况导致程序中断,故障系统会发出告警,通知维护人员,维护人员得到告警信息后对告警信息分析,到系统察看故障点以确认问题根源(即分析故障),根据问题根源解决故障,并在解决问题后重启相关ETL任务及后续操作。这种处理方式耗费大量的人力去分析、查询及处理故障,不仅成本大而且处理效率低,同时还依赖维护人员的技术水平,可能出现误操作给系统带来高危风险,此外,整个分析问题和解决问题的过程中,直接停止出错系统任务及后续所有任务,降低系统的及时性。
发明内容
本发明的第一目的是提出一种高效的异常自适应处理方法。
本发明的第二目的是提出一种高效的异常自适应处理系统。
为实现上述第一目的,本发明提供了一种异常自适应处理方法,包括:接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
为实现上述第二目的,本发明提供了一种异常自适应处理系统,包括:异常分析器,用于接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;异常处理器,用于根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
本发明各个实施例中,通过对出错的系统任务的报错类别(即报错标识)自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一并用于解释本发明,并不构成对本发明的限制。在附图中:
图1为现有技术的异常处理方法的示意图;
图2为本发明的异常自适应处理方法的实施例一流程图;
图3为本发明的异常自适应处理方法的实施例二流程图;
图4为本发明的异常自适应处理系统的实施例结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
方法实施例
图2为本发明的异常自适应处理方法的实施例一流程图。如图2所示,本实施例包括:
步骤202:接收表征一个系统任务(即出错系统任务,以下各实施例均同)的一个监控指标(即出错的监控指标,以下各实施例均同)异常的异常信息,异常信息包括出错的监控指标的报错标识及出错系统任务的任务标识;
步骤204:根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;
步骤206:根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
本实施例通过对出错的系统任务的报错标识自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
图3为本发明的异常自适应处理方法的实施例二示意图。如图3所示,包括:
步骤302:检测每一系统任务的运行日志中的各监控指标;在某出错系统任务的某个监控指标出现异常时生成对应的异常信息,该异常信息包括对应于该监控指标的报错标识(见表1)及该出错的系统任务的任务标识;任务标识可以为01002、02041等数字标号;
本领域技术人员可以理解,在对各系统任务的各监控指标进行监控及检测时,可能同时产生多个异常信息,此处仅以单个异常信息进行举例解释说明,每个异常信息的分析及处理过程思路一致,不再赘述,此外,对于系统任务的监控方式可以为多种,不限于其运行日志,如:对数据结果监控及启动时间监控等;
具体操作时,可以对于每一监控指标对应设置一个数据质量验证程序,通过该程序实现对相应的监控指标的检测,由数据质量监控器40(详见图4的解释说明,具体监控过程和方法可以参见申请号为200910223541.X的专利申请)并行执行各数据质量验证程序以分析系统任务的运行日志,当某一个系统任务的某个监控指标出现异常时,马上将对应的异常信息发送给异常分析器42(详见图4的解释说明);
表1
Figure BSA00000372465800041
步骤304:异常分析器42接收该异常信息,根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,利用该异常原因分析方法根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;具体操作时,也可以由异常分析器42实时扫描数据质量监控器40的结果数据(即异常信息),当发现有异常信息时,根据报错标识调用对应的各种异常分析单元(详见图4)执行相应的异常原因分析方法;具体解释如下:
1)当报错id为01时,则调用索引异常原因分析方法,该索引异常原因分析方法的操作具体为:读取任务id,通过该出错的系统任务的运行日志,找出失效的索引字段(运行日志中标识了失效的索引字段),并获取该失效的索引字段的原有索引结构,其中,该失效的索引字段的原有索引结构具体获取方法解释如下:
每个索引在创建的时候,会生成日志,包括索引创建的数据源,索引字段,索引结构(为通用的描述方法,主要包括唯一索引、位图索引、联合索引等),此信息单独存放,称为索引信息表;异常分析器42在读到错误id=01后,就判断出该任务是索引失效导致的,然后根据任务标识读取出错任务的日志,找出失效的索引的任务编号,然后再根据这个任务编号到索引信息表中找出对应的原有索引结构,以及根据该失效的索引字段等组合生成配置信息(详见表2中的信息),并将该配置信息发送至异常处理器44;
表2配置信息
Figure BSA00000372465800051
2)在报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;该数据一致性异常原因分析方法根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志(即第一运行日志)及前置系统任务的运行日志(即第二运行日志),确定数据不一致的异常字段的异常原因;
如,数据质量监控器40发现有数据不一致时,向异常分析器42发送包括报错id(02)及出错系统任务的任务id的异常信息,具体操作时,该异常信息还可以包括具体的差异字段以及该出错系统任务的前置系统任务(即比对任务)的任务id(一般将某一系统任务与其前面相邻的系统任务(即前置系统任务)进行比对,也就是说一般认为前面的系统任务是正常的),详见表3;
表3
  任务id   报错id   出错任务   差异字段   前置任务
  01012   02   hwpw.pm_ci_user   fee   01011
根据包括报错id为02的异常信息调用数据一致性异常原因分析方法,该数据一致性异常原因分析方法的操作具体为:将两个任务(即任务id为01012及01011对应的系统任务)的运行日志做比对,确认差异原因是fee字段的异常原因,如空值,具体操作时每个异常原因可以对应设置一个异常类型标识,如将空置导致异常的异常原因标识设置为“031”;将表4中的信息发送至异常处理器44;
表4
Figure BSA00000372465800052
Figure BSA00000372465800061
3)在报错标识为结构报错标识时,调用结构异常原因分析方法;该结构异常原因分析方法根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志中的数据源表结构及前置系统任务的运行日志中的数据源表结构,确定表结构不一致的异常原因;
如,数据质量监控器40发现有系统任务出错且出错原因是字段同表结构不匹配,则向异常分析器42发送表5中的信息:
表5
  任务id   报错id   出错任务   差异字段   比对任务id
  01112   03   hwpw.pm_ci_user   User_id,fee   01021
根据包括报错id为03的异常信息调用结构异常原因分析方法,该调用结构异常原因分析方法的操作具体为:将出错任务同前置任务的数据源的表结构做比对,得出表结构不一致的异常原因,如:差异原因标识032代表有新增字段,具体如前一个任务是10个字段,后一个任务是11个字段;021代表字段类型不一致,比如前一个字段是numer型,后一个字段是date型;011代表长度不一致,如前一个字段是字符型(11位),后一个任务是字符型(12位);在确定具体的异常原因后将表6中的信息发送至异常处理器44;
表6
Figure BSA00000372465800062
4)在报错标识为效率报错标识时,调用效率异常原因分析方法;该效率异常原因分析方法根据任务标识获取出错系统任务的运行日志,确定效率的异常原因;
如,当数据质量监控器40发现某一系统任务的执行效率与预设效率阈值相比有明显降低时,则向异常分析器42发送表7中的信息:
表7
Figure BSA00000372465800063
Figure BSA00000372465800071
根据包括报错id为04的异常信息调用效率异常原因分析方法,该效率异常原因分析方法根据该任务id获取对应的运行日志(该运行日志记录了效率低下的原因,如出错任务的并行任务数量过多)确定具体的异常原因,如异常原因标识042代表并行度低,这样后续处理的时候,通过减少出错任务的并行任务;将表8中的信息发送至异常处理器44;
表8
  任务id   异常原因标识   报错任务   并行任务
  01012   042   hwpw.pm_ci_user   01013,03015
5)在报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括任务标识的控制命令;
如,当数据质量监控器40发现某个任务资源不足时,则向异常分析器42发送表9中的信息:
表9
  任务id   报错id   报错任务   资源占用异常比例
  01012   05   hwpw.pm_ci_user   0.30
根据报错id为05,则启用资源占用异常原因分析方法,该资源占用异常原因分析方法的具体操作为,将包括任务标识的控制命令发送至异常处理器44;
步骤306:根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作;具体包括以下几种情况:
(1)在报错标识为索引失效报错标识时,调用索引重建处理方法,根据失效的索引字段、失效的索引字段的索引结构及任务标识生成并执行索引重建语句;如,异常处理器44根据报错id选择索引重建处理方法,该索引重建处理方法的具体操作为:根据表2中的配置信息生成索引重建语句并执行,完成异常处理;
(2)在报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据异常字段的异常原因及任务标识进行异常处理操作;如,异常处理器44根据表4中的异常原因标识,对数据源进行非空处理;
(3)在报错标识为结构报错标识时,调用结构异常处理方法,根据表结构不一致的异常原因及任务标识,启动表结构同步操作,将出错系统任务的运行日志中的数据源表结构更新为当前数据源表结构;如,异常处理器44根据表6中的差异原因标识和任务id,启用表结构同步程序,将出错任务的表结构更新为数据源最新表结构;
(4)在报错标识为效率报错标识时,调用效率异常处理方法,根据效率的异常原因及任务标识,启动优先级调度器,暂停与出错系统任务的优先级相同或者优先级更低的并行任务;如,异常处理器44根据表8中的差异原因标识,启用优先级调度器,根据优先级,将与出错任务的并行任务(优先级相同或者优先级更低)暂停;
(5)在报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据控制命令启动负载调节器,将系统剩余资源以及比出错系统任务优先级低的其他系统任务的资源分配给出错系统任务;如,异常处理器44启用负载调节器,将系统剩余资源及优先级较低的任务资源释放,分配给该出错任务。
步骤308:对于步骤306中的第(1)-(3)种情况,在异常处理器44处理完之后,自动执行控制器46(详见图4的解释说明)根据出错系统任务的任务标识,自动重启该出错系统任务及其后续任务,对于各任务的处理方法及方式可以参见申请号为200810187997.0的专利申请;对于步骤306中的第(4)-(5)种情况时,即在报错标识为效率报错标识时及在报错标识为资源占用报错标识时,没有对出错系统任务在先实行暂停的操作,故没有重启的动作,具体地,在报错标识为效率报错标识时,自动执行控制器46接收异常处理器44发送的出错系统任务的任务id及各系统任务新的执行顺序,并按照新的任务顺序执行任务;在报错标识为资源占用报错标识时,自动执行控制器46不中断出错任务,按照新分配的系统资源执行该出错系统任务。
本实施例通过对出错系统任务的报错类别(即报错id)自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端;同时根据各个异常的种类,确定是否终端出错系统任务,避免了现有技术中中断所有的出错系统任务及其后续系统任务而导致的低效率,提高了处理的及时性及效率。
系统实施例
图4为本发明的异常自适应处理系统的实施例结构图。图2及3所示的各方法实施例均可适用于本实施例。本实施例包括:异常分析器42,用于接收表征出错系统任务的一个监控指标异常的异常信息,异常信息包括出错的监控指标的报错标识及出错系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;异常处理器44,用于根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
具体操作时,该异常自适应处理系统还可以包括:数据质量监控器40,用于检测每一系统任务的运行日志的各监控指标;自动执行控制器46,用于根据任务标识,自动重启出错系统任务及出错系统任务的后续任务。
该异常分析器42可以包括调度单元420用于根据报错标识调度各异常分析单元,各异常分析单元具体可以包括:
索引异常分析单元421(对应执行图3中的索引异常原因分析方法),用于在报错标识为索引失效报错标识时,调用索引异常原因分析方法;根据任务标识获取出错系统任务的运行日志,获取失效的索引字段及失效的索引字段的索引结构;
数据一致性异常分析单元422(对应执行图3中的数据一致性异常原因分析方法),用于在报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志及前置系统任务的运行日志,确定数据不一致的异常字段的异常原因;
结构异常分析单元424(对应执行图3中的结构异常原因分析方法),用于在报错标识为结构报错标识时,调用结构异常原因分析方法;根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志中的数据源表结构及前置系统任务的运行日志中的数据源表结构,确定表结构不一致的异常原因;
效率异常分析单元426(对应执行图3中的效率异常原因分析方法),用于在报错标识为效率报错标识时,调用效率异常原因分析方法;根据任务标识获取出错系统任务的运行日志,根据该运行日志的记载内容确定效率的异常原因;
资源占用异常分析单元428(对应执行图3中的资源占用异常原因分析方法),用于在报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括任务标识的控制命令。
该异常处理器44可以包括以下各异常处理单元,即:
索引异常处理单元440(对应执行图3中的索引异常处理方法),用于在报错标识为索引失效报错标识时,调用索引重建处理方法,根据失效的索引字段、失效的索引字段的索引结构及任务标识生成并执行索引重建语句;
数据一致性异常处理单元442(对应执行图3中的数据一致性异常处理方法),用于在报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据异常字段的异常原因及任务标识进行异常处理操作;
结构异常处理单元444(对应执行图3中的结构异常处理方法),用于在报错标识为结构报错标识时,调用结构异常处理方法,根据表结构不一致的异常原因及任务标识,启动表结构同步操作,将出错系统任务的运行日志中的数据源表结构更新为当前数据源表结构;
效率异常处理单元446(对应执行图3中的效率异常处理方法),用于在报错标识为效率报错标识时,调用效率异常处理方法,根据效率的异常原因及任务标识,启动优先级调度器,暂停与出错系统任务的同优先级的并行任务或/和暂停优先级比该出错系统任务低的并行任务;
资源占用异常处理单元448(对应执行图3中的资源占用异常处理方法),用于在报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据控制命令启动负载调节器,将系统剩余资源分配给出错系统任务或/和将优先级低于出错系统任务优先级低的其他系统任务的资源分配给出错系统任务。本领域技术人员可以理解,具体操作时也可以在异常处理器44中设置一个调度模块,用于根据报错标识调度各异常处理单元,图4中各异常处理单元与对应的异常分析单元相连为举例说明。
本实施通过对出错系统任务的报错类别(即报错id)自动选择对应的异常分析单元及异常处理单元进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
最后应说明的是:以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种异常自适应处理方法,其特征在于,包括:
接收表征一个系统任务的一个监控指标异常的异常信息,所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识;
根据预设的所述报错标识与异常原因分析方法的对应关系,调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因;
根据预设的所述报错标识与异常处理方法的对应关系,调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作。
2.根据权利要求1所述的异常自适应处理方法,其特征在于,在所述根据所述产生原因及任务标识进行异常处理操作的步骤之后还包括:
根据所述任务标识,自动重启所述一个系统任务及所述一个系统任务的后续任务。
3.根据权利要求1所述的异常自适应处理方法,其特征在于,在所述接收表征一个系统任务的一个监控指标异常的异常信息的步骤之前还包括:
检测每一系统任务的运行日志中的各监控指标。
4.根据上述权利要求1-3所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为索引失效报错标识时,调用索引异常原因分析方法;
根据所述任务标识获取所述一个系统任务的运行日志,获取失效的索引字段及所述失效的索引字段的索引结构。
5.根据权利要求4所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为索引失效报错标识时,调用索引重建处理方法,根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句。
6.根据上述权利要求1-3所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志及所述第二运行日志,确定数据不一致的异常字段的异常原因。
7.根据权利要求6所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据所述异常字段的异常原因及任务标识进行异常处理操作。
8.根据上述权利要求1-3所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为结构报错标识时,调用结构异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构,确定表结构不一致的异常原因。
9.根据权利要求8所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为结构报错标识时,调用结构异常处理方法,根据所述表结构不一致的异常原因及任务标识,启动表结构同步操作,将所述第一运行日志中的数据源表结构更新为当前数据源表结构。
10.根据上述权利要求1或3所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为效率报错标识时,调用效率异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志,根据所述第一运行日志的记载内容确定效率的异常原因。
11.根据权利要求10所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为效率报错标识时,调用效率异常处理方法,根据所述效率的异常原因及任务标识,启动优先级调度器,暂停与所述一个系统任务的同优先级的并行任务或/和暂停优先级比所述一个系统任务低的并行任务。
12.根据上述权利要求1或3所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括所述任务标识的控制命令。
13.根据权利要求12所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据所述控制命令启动负载调节器,将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
14.一种异常自适应处理系统,其特征在于,包括:
异常分析器,用于接收表征一个系统任务的一个监控指标异常的异常信息,所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识;根据预设的所述报错标识与异常原因分析方法的对应关系,调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因;
异常处理器,用于根据预设的所述报错标识与异常处理方法的对应关系,调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作。
15.根据权利要求14所述的异常自适应处理系统,其特征在于,还包括:
自动执行控制器,用于根据所述任务标识,自动重启所述一个系统任务及所述一个系统任务的后续任务。
16.根据权利要求14所述的异常自适应处理系统,其特征在于,还包括:
数据质量监控器,用于检测每一系统任务的运行日志中的各监控指标。
17.根据上述权利要求14或16所述的异常自适应处理系统,其特征在于,所述异常分析器包括:
索引异常分析单元,用于在所述报错标识为索引失效报错标识时,调用索引异常原因分析方法;根据所述任务标识获取所述一个系统任务的运行日志,获取失效的索引字段及所述失效的索引字段的索引结构;
数据一致性异常分析单元,用于在所述报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志及所述第二运行日志,确定数据不一致的异常字段的异常原因;
结构异常分析单元,用于在所述报错标识为结构报错标识时,调用结构异常原因分析方法;根据所述任务标识获取所述第一运行日志及所述第二运行日志,比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构,确定表结构不一致的异常原因;
效率异常分析单元,用于在所述报错标识为效率报错标识时,调用效率异常原因分析方法;根据所述任务标识获取所述第一运行日志,根据所述第一运行日志的记载内容确定效率的异常原因;
资源占用异常分析单元,用于在所述报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括所述任务标识的控制命令。
18.根据权利要求17所述的异常自适应处理系统,其特征在于,所述异常处理器包括:
索引异常处理单元,用于在所述报错标识为索引失效报错标识时,调用索引重建处理方法,根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句;
数据一致性异常处理单元,用于在所述报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据所述异常字段的异常原因及任务标识进行异常处理操作;
结构异常处理单元,用于在所述报错标识为结构报错标识时,调用结构异常处理方法,根据所述表结构不一致的异常原因及任务标识,启动表结构同步操作,将所述第一运行日志中的数据源表结构更新为当前数据源表结构;
效率异常处理单元,用于在所述报错标识为效率报错标识时,调用效率异常处理方法,根据所述效率的异常原因及任务标识,启动优先级调度器,暂停与所述一个系统任务的同优先级的并行任务或/和暂停优先级比所述一个系统任务低的并行任务;
资源占用异常处理单元,用于在所述报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据所述控制命令启动负载调节器,将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
CN201010571201.9A 2010-11-30 2010-11-30 异常自适应处理方法及系统 Active CN102479113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010571201.9A CN102479113B (zh) 2010-11-30 2010-11-30 异常自适应处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010571201.9A CN102479113B (zh) 2010-11-30 2010-11-30 异常自适应处理方法及系统

Publications (2)

Publication Number Publication Date
CN102479113A true CN102479113A (zh) 2012-05-30
CN102479113B CN102479113B (zh) 2014-12-24

Family

ID=46091766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010571201.9A Active CN102479113B (zh) 2010-11-30 2010-11-30 异常自适应处理方法及系统

Country Status (1)

Country Link
CN (1) CN102479113B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103701926A (zh) * 2013-12-31 2014-04-02 小米科技有限责任公司 一种获取故障原因信息的方法、装置和系统
CN104794124A (zh) * 2014-01-20 2015-07-22 中国移动通信集团重庆有限公司 一种数据缺失补漏的智能实现方法及系统
CN106201754A (zh) * 2016-07-06 2016-12-07 乐视控股(北京)有限公司 任务信息分析方法及装置
CN106708630A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 面向服务架构中服务的处理方法和装置
CN107404494A (zh) * 2017-08-21 2017-11-28 北京奇安信科技有限公司 异常事件信息处理方法及装置
CN107786544A (zh) * 2017-09-29 2018-03-09 贵州白山云科技有限公司 一种消息的任务状态处理方法及系统
CN108334433A (zh) * 2018-01-31 2018-07-27 努比亚技术有限公司 基于功耗管理的重启定位方法、移动终端及可读存储介质
CN108681598A (zh) * 2018-05-21 2018-10-19 平安科技(深圳)有限公司 任务自动重跑方法、系统、计算机设备和存储介质
CN109189699A (zh) * 2018-09-21 2019-01-11 郑州云海信息技术有限公司 多路服务器通信方法、系统、中间控制器及可读存储介质
CN110795342A (zh) * 2019-10-11 2020-02-14 杭州迪普信息技术有限公司 一种错误检测方法及装置
CN110852876A (zh) * 2019-11-18 2020-02-28 中国银行股份有限公司 批量报错恢复方法及装置
CN110909055A (zh) * 2019-11-18 2020-03-24 中移(杭州)信息技术有限公司 数据处理方法、装置、电子设备以及存储介质
CN113742664A (zh) * 2020-05-29 2021-12-03 钉钉控股(开曼)有限公司 监控、审计方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1972210A (zh) * 2006-11-21 2007-05-30 华为技术有限公司 网络监控方法及其系统
CN101373450A (zh) * 2007-08-21 2009-02-25 联想(北京)有限公司 处理cpu异常的方法及系统
CN101877618A (zh) * 2010-06-30 2010-11-03 中兴通讯股份有限公司 基于无代理方式进行监控的方法、服务器及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1972210A (zh) * 2006-11-21 2007-05-30 华为技术有限公司 网络监控方法及其系统
CN101373450A (zh) * 2007-08-21 2009-02-25 联想(北京)有限公司 处理cpu异常的方法及系统
CN101877618A (zh) * 2010-06-30 2010-11-03 中兴通讯股份有限公司 基于无代理方式进行监控的方法、服务器及系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103701926A (zh) * 2013-12-31 2014-04-02 小米科技有限责任公司 一种获取故障原因信息的方法、装置和系统
CN103701926B (zh) * 2013-12-31 2017-06-16 小米科技有限责任公司 一种获取故障原因信息的方法、装置和系统
CN104794124A (zh) * 2014-01-20 2015-07-22 中国移动通信集团重庆有限公司 一种数据缺失补漏的智能实现方法及系统
CN106708630A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 面向服务架构中服务的处理方法和装置
CN106201754A (zh) * 2016-07-06 2016-12-07 乐视控股(北京)有限公司 任务信息分析方法及装置
CN107404494A (zh) * 2017-08-21 2017-11-28 北京奇安信科技有限公司 异常事件信息处理方法及装置
CN107404494B (zh) * 2017-08-21 2020-04-21 奇安信科技集团股份有限公司 异常事件信息处理方法及装置
CN107786544A (zh) * 2017-09-29 2018-03-09 贵州白山云科技有限公司 一种消息的任务状态处理方法及系统
CN108334433A (zh) * 2018-01-31 2018-07-27 努比亚技术有限公司 基于功耗管理的重启定位方法、移动终端及可读存储介质
CN108334433B (zh) * 2018-01-31 2022-01-14 努比亚技术有限公司 基于功耗管理的重启定位方法、移动终端及可读存储介质
WO2019223174A1 (zh) * 2018-05-21 2019-11-28 平安科技(深圳)有限公司 任务自动重跑方法、系统、计算机设备和存储介质
CN108681598A (zh) * 2018-05-21 2018-10-19 平安科技(深圳)有限公司 任务自动重跑方法、系统、计算机设备和存储介质
CN108681598B (zh) * 2018-05-21 2023-06-02 平安科技(深圳)有限公司 任务自动重跑方法、系统、计算机设备和存储介质
CN109189699A (zh) * 2018-09-21 2019-01-11 郑州云海信息技术有限公司 多路服务器通信方法、系统、中间控制器及可读存储介质
CN109189699B (zh) * 2018-09-21 2022-03-22 郑州云海信息技术有限公司 多路服务器通信方法、系统、中间控制器及可读存储介质
CN110795342A (zh) * 2019-10-11 2020-02-14 杭州迪普信息技术有限公司 一种错误检测方法及装置
CN110852876A (zh) * 2019-11-18 2020-02-28 中国银行股份有限公司 批量报错恢复方法及装置
CN110909055A (zh) * 2019-11-18 2020-03-24 中移(杭州)信息技术有限公司 数据处理方法、装置、电子设备以及存储介质
CN113742664A (zh) * 2020-05-29 2021-12-03 钉钉控股(开曼)有限公司 监控、审计方法、设备及系统
CN113742664B (zh) * 2020-05-29 2024-03-29 钉钉控股(开曼)有限公司 监控、审计方法、设备及系统

Also Published As

Publication number Publication date
CN102479113B (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN102479113A (zh) 异常自适应处理方法及系统
CN107908494B (zh) 异常事件的处理方法、装置、电子设备及存储介质
US10152382B2 (en) Method and system for monitoring virtual machine cluster
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN101197621B (zh) 一种对网管系统故障进行远程诊断定位的方法及其系统
CN108536532B (zh) 一种批量任务处理方法及系统
CN111143163B (zh) 数据监控方法、装置、计算机设备和存储介质
CN105207806A (zh) 分布式服务的监控方法及装置
CN111181767A (zh) 一种面向复杂系统的监控和故障自愈系统及其方法
CN105760240A (zh) 分布式任务处理方法及装置
CN110750426A (zh) 服务状态监测方法、装置、电子设备及可读存储介质
CN111046011A (zh) 日志收集方法、系统、节点、电子设备及可读存储介质
CN111913824B (zh) 确定数据链路故障原因的方法及相关设备
CN104899505A (zh) 软件检测方法及装置
CN107562538B (zh) 铁路运输统计中的数据抽取多任务管理方法和系统
CN105025179A (zh) 呼叫中心座席的监控方法及系统
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN105187490B (zh) 一种物联网数据的中转处理方法
CN112580092B (zh) 一种敏感文件识别方法及装置
CN111130955B (zh) 基于互联网信贷系统的分布式链路监控方法
CN110011845B (zh) 日志采集方法及系统
CN113590492A (zh) 信息处理方法、系统、电子设备及计算机可读存储介质
CN107330089B (zh) 跨网络结构化数据收集系统
CN112131077A (zh) 故障节点的定位方法和定位装置、以及数据库集群系统
CN111026643A (zh) 一种基于websocket的android客户端远程调试系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant