CN102479113B - 异常自适应处理方法及系统 - Google Patents
异常自适应处理方法及系统 Download PDFInfo
- Publication number
- CN102479113B CN102479113B CN201010571201.9A CN201010571201A CN102479113B CN 102479113 B CN102479113 B CN 102479113B CN 201010571201 A CN201010571201 A CN 201010571201A CN 102479113 B CN102479113 B CN 102479113B
- Authority
- CN
- China
- Prior art keywords
- error
- abnormal
- task
- report
- running log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种异常自适应处理方法及系统,其中,该方法包括:接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。本发明实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
Description
技术领域
本发明涉及业务支撑领域,具体涉及一种异常自适应处理方法及系统。
背景技术
随着经营分析系统在经营决策和营销管理方面的作用日益显著,其所承载的应用也日趋丰富,其处理的数据量及任务量也成指数增长,相应地,数据处理的异常情况也随之增多,维护工作量也不断增加。现有的经营分析系统,数据处理技术是传统的基于文件系统的ETL技术。ETL是英文Extract-Transform-Load的缩写,用来描述将资料从来源端经过抽取(extract)、转换(transform)、载入(load)至目的端的过程。ETL是数据仓库理论中数据处理的核心环节。现有经分系统关于异常情况的处理大多采用系统监控,人工处理的方式。具体地(参见图1),故障系统对关键处理步骤监控,当系统有异常情况导致程序中断,故障系统会发出告警,通知维护人员,维护人员得到告警信息后对告警信息分析,到系统察看故障点以确认问题根源(即分析故障),根据问题根源解决故障,并在解决问题后重启相关ETL任务及后续操作。这种处理方式耗费大量的人力去分析、查询及处理故障,不仅成本大而且处理效率低,同时还依赖维护人员的技术水平,可能出现误操作给系统带来高危风险,此外,整个分析问题和解决问题的过程中,直接停止出错系统任务及后续所有任务,降低系统的及时性。
发明内容
本发明的第一目的是提出一种高效的异常自适应处理方法。
本发明的第二目的是提出一种高效的异常自适应处理系统。
为实现上述第一目的,本发明提供了一种异常自适应处理方法,包括:接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
为实现上述第二目的,本发明提供了一种异常自适应处理系统,包括:异常分析器,用于接收表征一个系统任务的一个监控指标异常的异常信息,异常信息包括一个监控指标的报错标识及一个系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取一个系统任务的运行日志,确定异常信息的产生原因;异常处理器,用于根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
本发明各个实施例中,通过对出错的系统任务的报错类别(即报错标识)自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一并用于解释本发明,并不构成对本发明的限制。在附图中:
图1为现有技术的异常处理方法的示意图;
图2为本发明的异常自适应处理方法的实施例一流程图;
图3为本发明的异常自适应处理方法的实施例二流程图;
图4为本发明的异常自适应处理系统的实施例结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
方法实施例
图2为本发明的异常自适应处理方法的实施例一流程图。如图2所示,本实施例包括:
步骤202:接收表征一个系统任务(即出错系统任务,以下各实施例均同)的一个监控指标(即出错的监控指标,以下各实施例均同)异常的异常信息,异常信息包括出错的监控指标的报错标识及出错系统任务的任务标识;
步骤204:根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;
步骤206:根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
本实施例通过对出错的系统任务的报错标识自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
图3为本发明的异常自适应处理方法的实施例二示意图。如图3所示,包括:
步骤302:检测每一系统任务的运行日志中的各监控指标;在某出错系统任务的某个监控指标出现异常时生成对应的异常信息,该异常信息包括对应于该监控指标的报错标识(见表1)及该出错的系统任务的任务标识;任务标识可以为01002、02041等数字标号;
本领域技术人员可以理解,在对各系统任务的各监控指标进行监控及检测时,可能同时产生多个异常信息,此处仅以单个异常信息进行举例解释说明,每个异常信息的分析及处理过程思路一致,不再赘述,此外,对于系统任务的监控方式可以为多种,不限于其运行日志,如:对数据结果监控及启动时间监控等;
具体操作时,可以对于每一监控指标对应设置一个数据质量验证程序,通过该程序实现对相应的监控指标的检测,由数据质量监控器40(详见图4的解释说明,具体监控过程和方法可以参见申请号为200910223541.X的专利申请)并行执行各数据质量验证程序以分析系统任务的运行日志,当某一个系统任务的某个监控指标出现异常时,马上将对应的异常信息发送给异常分析器42(详见图4的解释说明);
表1
步骤304:异常分析器42接收该异常信息,根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,利用该异常原因分析方法根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;具体操作时,也可以由异常分析器42实时扫描数据质量监控器40的结果数据(即异常信息),当发现有异常信息时,根据报错标识调用对应的各种异常分析单元(详见图4)执行相应的异常原因分析方法;具体解释如下:
1)当报错id为01时,则调用索引异常原因分析方法,该索引异常原因分析方法的操作具体为:读取任务id,通过该出错的系统任务的运行日志,找出失效的索引字段(运行日志中标识了失效的索引字段),并获取该失效的索引字段的原有索引结构,其中,该失效的索引字段的原有索引结构具体获取方法解释如下:
每个索引在创建的时候,会生成日志,包括索引创建的数据源,索引字段,索引结构(为通用的描述方法,主要包括唯一索引、位图索引、联合索引等),此信息单独存放,称为索引信息表;异常分析器42在读到错误id=01后,就判断出该任务是索引失效导致的,然后根据任务标识读取出错任务的日志,找出失效的索引的任务编号,然后再根据这个任务编号到索引信息表中找出对应的原有索引结构,以及根据该失效的索引字段等组合生成配置信息(详见表2中的信息),并将该配置信息发送至异常处理器44;
表2配置信息
2)在报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;该数据一致性异常原因分析方法根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志(即第一运行日志)及前置系统任务的运行日志(即第二运行日志),确定数据不一致的异常字段的异常原因;
如,数据质量监控器40发现有数据不一致时,向异常分析器42发送包括报错id(02)及出错系统任务的任务id的异常信息,具体操作时,该异常信息还可以包括具体的差异字段以及该出错系统任务的前置系统任务(即比对任务)的任务id(一般将某一系统任务与其前面相邻的系统任务(即前置系统任务)进行比对,也就是说一般认为前面的系统任务是正常的),详见表3;
表3
任务id | 报错id | 出错任务 | 差异字段 | 前置任务 |
01012 | 02 | hwpw.pm_ci_user | fee | 01011 |
根据包括报错id为02的异常信息调用数据一致性异常原因分析方法,该数据一致性异常原因分析方法的操作具体为:将两个任务(即任务id为01012及01011对应的系统任务)的运行日志做比对,确认差异原因是fee字段的异常原因,如空值,具体操作时每个异常原因可以对应设置一个异常类型标识,如将空置导致异常的异常原因标识设置为“031”;将表4中的信息发送至异常处理器44;
表4
3)在报错标识为结构报错标识时,调用结构异常原因分析方法;该结构异常原因分析方法根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志中的数据源表结构及前置系统任务的运行日志中的数据源表结构,确定表结构不一致的异常原因;
如,数据质量监控器40发现有系统任务出错且出错原因是字段同表结构不匹配,则向异常分析器42发送表5中的信息:
表5
任务id | 报错id | 出错任务 | 差异字段 | 比对任务id |
01112 | 03 | hwpw.pm_ci_user | User_id,fee | 01021 |
根据包括报错id为03的异常信息调用结构异常原因分析方法,该调用结构异常原因分析方法的操作具体为:将出错任务同前置任务的数据源的表结构做比对,得出表结构不一致的异常原因,如:差异原因标识032代表有新增字段,具体如前一个任务是10个字段,后一个任务是11个字段;021代表字段类型不一致,比如前一个字段是numer型,后一个字段是date型;011代表长度不一致,如前一个字段是字符型(11位),后一个任务是字符型(12位);在确定具体的异常原因后将表6中的信息发送至异常处理器44;
表6
4)在报错标识为效率报错标识时,调用效率异常原因分析方法;该效率异常原因分析方法根据任务标识获取出错系统任务的运行日志,确定效率的异常原因;
如,当数据质量监控器40发现某一系统任务的执行效率与预设效率阈值相比有明显降低时,则向异常分析器42发送表7中的信息:
表7
根据包括报错id为04的异常信息调用效率异常原因分析方法,该效率异常原因分析方法根据该任务id获取对应的运行日志(该运行日志记录了效率低下的原因,如出错任务的并行任务数量过多)确定具体的异常原因,如异常原因标识042代表并行度低,这样后续处理的时候,通过减少出错任务的并行任务;将表8中的信息发送至异常处理器44;
表8
任务id | 异常原因标识 | 报错任务 | 并行任务 |
01012 | 042 | hwpw.pm_ci_user | 01013,03015 |
5)在报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括任务标识的控制命令;
如,当数据质量监控器40发现某个任务资源不足时,则向异常分析器42发送表9中的信息:
表9
任务id | 报错id | 报错任务 | 资源占用异常比例 |
01012 | 05 | hwpw.pm_ci_user | 0.30 |
根据报错id为05,则启用资源占用异常原因分析方法,该资源占用异常原因分析方法的具体操作为,将包括任务标识的控制命令发送至异常处理器44;
步骤306:根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作;具体包括以下几种情况:
(1)在报错标识为索引失效报错标识时,调用索引重建处理方法,根据失效的索引字段、失效的索引字段的索引结构及任务标识生成并执行索引重建语句;如,异常处理器44根据报错id选择索引重建处理方法,该索引重建处理方法的具体操作为:根据表2中的配置信息生成索引重建语句并执行,完成异常处理;
(2)在报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据异常字段的异常原因及任务标识进行异常处理操作;如,异常处理器44根据表4中的异常原因标识,对数据源进行非空处理;
(3)在报错标识为结构报错标识时,调用结构异常处理方法,根据表结构不一致的异常原因及任务标识,启动表结构同步操作,将出错系统任务的运行日志中的数据源表结构更新为当前数据源表结构;如,异常处理器44根据表6中的差异原因标识和任务id,启用表结构同步程序,将出错任务的表结构更新为数据源最新表结构;
(4)在报错标识为效率报错标识时,调用效率异常处理方法,根据效率的异常原因及任务标识,启动优先级调度器,暂停与出错系统任务的优先级相同或者优先级更低的并行任务;如,异常处理器44根据表8中的差异原因标识,启用优先级调度器,根据优先级,将与出错任务的并行任务(优先级相同或者优先级更低)暂停;
(5)在报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据控制命令启动负载调节器,将系统剩余资源以及比出错系统任务优先级低的其他系统任务的资源分配给出错系统任务;如,异常处理器44启用负载调节器,将系统剩余资源及优先级较低的任务资源释放,分配给该出错任务。
步骤308:对于步骤306中的第(1)-(3)种情况,在异常处理器44处理完之后,自动执行控制器46(详见图4的解释说明)根据出错系统任务的任务标识,自动重启该出错系统任务及其后续任务,对于各任务的处理方法及方式可以参见申请号为200810187997.0的专利申请;对于步骤306中的第(4)-(5)种情况时,即在报错标识为效率报错标识时及在报错标识为资源占用报错标识时,没有对出错系统任务在先实行暂停的操作,故没有重启的动作,具体地,在报错标识为效率报错标识时,自动执行控制器46接收异常处理器44发送的出错系统任务的任务id及各系统任务新的执行顺序,并按照新的任务顺序执行任务;在报错标识为资源占用报错标识时,自动执行控制器46不中断出错任务,按照新分配的系统资源执行该出错系统任务。
本实施例通过对出错系统任务的报错类别(即报错id)自动选择对应的异常原因分析方法及异常处理方法进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端;同时根据各个异常的种类,确定是否终端出错系统任务,避免了现有技术中中断所有的出错系统任务及其后续系统任务而导致的低效率,提高了处理的及时性及效率。
系统实施例
图4为本发明的异常自适应处理系统的实施例结构图。图2及3所示的各方法实施例均可适用于本实施例。本实施例包括:异常分析器42,用于接收表征出错系统任务的一个监控指标异常的异常信息,异常信息包括出错的监控指标的报错标识及出错系统任务的任务标识;根据预设的报错标识与异常原因分析方法的对应关系,调用与报错标识对应的异常原因分析方法,根据任务标识获取出错系统任务的运行日志,确定异常信息的产生原因;异常处理器44,用于根据预设的报错标识与异常处理方法的对应关系,调用与报错标识对应的异常处理方法,根据产生原因及任务标识进行异常处理操作。
具体操作时,该异常自适应处理系统还可以包括:数据质量监控器40,用于检测每一系统任务的运行日志的各监控指标;自动执行控制器46,用于根据任务标识,自动重启出错系统任务及出错系统任务的后续任务。
该异常分析器42可以包括调度单元420用于根据报错标识调度各异常分析单元,各异常分析单元具体可以包括:
索引异常分析单元421(对应执行图3中的索引异常原因分析方法),用于在报错标识为索引失效报错标识时,调用索引异常原因分析方法;根据任务标识获取出错系统任务的运行日志,获取失效的索引字段及失效的索引字段的索引结构;
数据一致性异常分析单元422(对应执行图3中的数据一致性异常原因分析方法),用于在报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志及前置系统任务的运行日志,确定数据不一致的异常字段的异常原因;
结构异常分析单元424(对应执行图3中的结构异常原因分析方法),用于在报错标识为结构报错标识时,调用结构异常原因分析方法;根据任务标识获取出错系统任务的运行日志及出错系统任务的前置系统任务的运行日志,比对出错系统任务的运行日志中的数据源表结构及前置系统任务的运行日志中的数据源表结构,确定表结构不一致的异常原因;
效率异常分析单元426(对应执行图3中的效率异常原因分析方法),用于在报错标识为效率报错标识时,调用效率异常原因分析方法;根据任务标识获取出错系统任务的运行日志,根据该运行日志的记载内容确定效率的异常原因;
资源占用异常分析单元428(对应执行图3中的资源占用异常原因分析方法),用于在报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括任务标识的控制命令。
该异常处理器44可以包括以下各异常处理单元,即:
索引异常处理单元440(对应执行图3中的索引异常处理方法),用于在报错标识为索引失效报错标识时,调用索引重建处理方法,根据失效的索引字段、失效的索引字段的索引结构及任务标识生成并执行索引重建语句;
数据一致性异常处理单元442(对应执行图3中的数据一致性异常处理方法),用于在报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据异常字段的异常原因及任务标识进行异常处理操作;
结构异常处理单元444(对应执行图3中的结构异常处理方法),用于在报错标识为结构报错标识时,调用结构异常处理方法,根据表结构不一致的异常原因及任务标识,启动表结构同步操作,将出错系统任务的运行日志中的数据源表结构更新为当前数据源表结构;
效率异常处理单元446(对应执行图3中的效率异常处理方法),用于在报错标识为效率报错标识时,调用效率异常处理方法,根据效率的异常原因及任务标识,启动优先级调度器,暂停与出错系统任务的同优先级的并行任务或/和暂停优先级比该出错系统任务低的并行任务;
资源占用异常处理单元448(对应执行图3中的资源占用异常处理方法),用于在报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据控制命令启动负载调节器,将系统剩余资源分配给出错系统任务或/和将优先级低于出错系统任务优先级低的其他系统任务的资源分配给出错系统任务。本领域技术人员可以理解,具体操作时也可以在异常处理器44中设置一个调度模块,用于根据报错标识调度各异常处理单元,图4中各异常处理单元与对应的异常分析单元相连为举例说明。
本实施通过对出错系统任务的报错类别(即报错id)自动选择对应的异常分析单元及异常处理单元进行自动异常的自动分析及处理,实现了异常自适应分析及处理,提升异常处理的效率,避免了现有人工处理方式导致的效率低、成本高及准确性不高的弊端。
最后应说明的是:以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种异常自适应处理方法,其特征在于,应用于经营分析系统,该经营分析系统是基于文件系统的ETL技术,该ETL技术属于数据仓库理论,包括:
接收表征一个系统任务的一个监控指标异常的异常信息,所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识;
根据预设的所述报错标识与异常原因分析方法的对应关系,调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因;
根据预设的所述报错标识与异常处理方法的对应关系,调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作;
所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤包括:
在所述报错标识为索引失效报错标识时,调用索引异常原因分析方法;
根据所述任务标识获取所述一个系统任务的运行日志,获取失效的索引字段及所述失效的索引字段的索引结构;
所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤还包括:
在所述报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志及所述第二运行日志,确定数据不一致的异常字段的异常原因;
所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤还包括:
在所述报错标识为结构报错标识时,调用结构异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构,确定表结构不一致的异常原因;
所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤还包括:
在所述报错标识为效率报错标识时,调用效率异常原因分析方法,根据所述任务标识获取所述一个系统任务的第一运行日志,根据所述第一运行日志的记载内容确定效率的异常原因;
所述调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因的步骤还包括:
在所述报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括所述任务标识的控制命令。
2.根据权利要求1所述的异常自适应处理方法,其特征在于,在所述根
据所述产生原因及任务标识进行异常处理操作的步骤之后还包括:
根据所述任务标识,自动重启所述一个系统任务及所述一个系统任务的后续任务。
3.根据权利要求1所述的异常自适应处理方法,其特征在于,在所述接收表征一个系统任务的一个监控指标异常的异常信息的步骤之前还包括:
检测每一系统任务的运行日志中的各监控指标。
4.根据权利要求1所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为索引失效报错标识时,调用索引重建处理方法,根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句。
5.根据权利要求1所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据所述异常字段的异常原因及任务标识进行异常处理操作。
6.根据权利要求1所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为结构报错标识时,调用结构异常处理方法,根据所述表结构不一致的异常原因及任务标识,启动表结构同步操作,将所述第一运行日志中的数据源表结构更新为当前数据源表结构。
7.根据权利要求1所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为效率报错标识时,调用效率异常处理方法,根据所述效率的异常原因及任务标识,启动优先级调度器,暂停与所述一个系统任务的同优先级的并行任务或/和暂停优先级比所述一个系统任务低的并行任务。
8.根据权利要求1所述的异常自适应处理方法,其特征在于,所述调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作包括:
在所述报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据所述控制命令启动负载调节器,将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
9.一种异常自适应处理系统,其特征在于,应用于经营分析系统,该经营分析系统是基于文件系统的ETL技术,该ETL技术属于数据仓库理论,包括:
异常分析器,用于接收表征一个系统任务的一个监控指标异常的异常信息,所述异常信息包括所述一个监控指标的报错标识及所述一个系统任务的任务标识;根据预设的所述报错标识与异常原因分析方法的对应关系,调用与所述报错标识对应的异常原因分析方法,根据所述任务标识获取所述一个系统任务的运行日志,确定所述异常信息的产生原因;
异常处理器,用于根据预设的所述报错标识与异常处理方法的对应关系,调用与所述报错标识对应的异常处理方法,根据所述产生原因及任务标识进行异常处理操作;
所述异常分析器包括:
索引异常分析单元,用于在所述报错标识为索引失效报错标识时,调用索引异常原因分析方法;根据所述任务标识获取所述一个系统任务的运行日志,获取失效的索引字段及所述失效的索引字段的索引结构;
数据一致性异常分析单元,用于在所述报错标识为数据一致性报错标识时,调用数据一致性异常原因分析方法;根据所述任务标识获取所述一个系统任务的第一运行日志及所述一个系统任务的前置系统任务的第二运行日志,比对所述第一运行日志及所述第二运行日志,确定数据不一致的异常字段的异常原因;
结构异常分析单元,用于在所述报错标识为结构报错标识时,调用结构异常原因分析方法;根据所述任务标识获取所述第一运行日志及所述第二运行日志,比对所述第一运行日志中的数据源表结构及所述第二运行日志中的数据源表结构,确定表结构不一致的异常原因;
效率异常分析单元,用于在所述报错标识为效率报错标识时,调用效率异常原因分析方法;根据所述任务标识获取所述第一运行日志,根据所述第一运行日志的记载内容确定效率的异常原因;
资源占用异常分析单元,用于在所述报错标识为资源占用报错标识时,调用资源占用异常原因分析方法,发送包括所述任务标识的控制命令。
10.根据权利要求9所述的异常自适应处理系统,其特征在于,还包括:
自动执行控制器,用于根据所述任务标识,自动重启所述一个系统任务及所述一个系统任务的后续任务。
11.根据权利要求9所述的异常自适应处理系统,其特征在于,还包括:
数据质量监控器,用于检测每一系统任务的运行日志中的各监控指标。
12.根据权利要求9所述的异常自适应处理系统,其特征在于,所述异常处理器包括:
索引异常处理单元,用于在所述报错标识为索引失效报错标识时,调用索引重建处理方法,根据所述失效的索引字段、所述失效的索引字段的索引结构及任务标识生成并执行索引重建语句;
数据一致性异常处理单元,用于在所述报错标识为数据一致性报错标识时,调用数据一致性异常处理方法,根据所述异常字段的异常原因及任务标识进行异常处理操作;
结构异常处理单元,用于在所述报错标识为结构报错标识时,调用结构异常处理方法,根据所述表结构不一致的异常原因及任务标识,启动表结构同步操作,将所述第一运行日志中的数据源表结构更新为当前数据源表结构;
效率异常处理单元,用于在所述报错标识为效率报错标识时,调用效率异常处理方法,根据所述效率的异常原因及任务标识,启动优先级调度器,暂停与所述一个系统任务的同优先级的并行任务或/和暂停优先级比所述一个系统任务低的并行任务;
资源占用异常处理单元,用于在所述报错标识为资源占用报错标识时,调用资源占用异常处理方法,根据所述控制命令启动负载调节器,将系统剩余资源分配给所述一个系统任务或/和将优先级低于所述一个系统任务的其他系统任务的资源分配给所述一个系统任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010571201.9A CN102479113B (zh) | 2010-11-30 | 2010-11-30 | 异常自适应处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010571201.9A CN102479113B (zh) | 2010-11-30 | 2010-11-30 | 异常自适应处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102479113A CN102479113A (zh) | 2012-05-30 |
CN102479113B true CN102479113B (zh) | 2014-12-24 |
Family
ID=46091766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010571201.9A Active CN102479113B (zh) | 2010-11-30 | 2010-11-30 | 异常自适应处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102479113B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103701926B (zh) * | 2013-12-31 | 2017-06-16 | 小米科技有限责任公司 | 一种获取故障原因信息的方法、装置和系统 |
CN104794124A (zh) * | 2014-01-20 | 2015-07-22 | 中国移动通信集团重庆有限公司 | 一种数据缺失补漏的智能实现方法及系统 |
CN106708630A (zh) * | 2015-11-16 | 2017-05-24 | 北京国双科技有限公司 | 面向服务架构中服务的处理方法和装置 |
CN106201754A (zh) * | 2016-07-06 | 2016-12-07 | 乐视控股(北京)有限公司 | 任务信息分析方法及装置 |
CN107404494B (zh) * | 2017-08-21 | 2020-04-21 | 奇安信科技集团股份有限公司 | 异常事件信息处理方法及装置 |
CN107786544B (zh) * | 2017-09-29 | 2018-08-17 | 贵州白山云科技有限公司 | 一种消息的任务状态处理方法及系统 |
CN108334433B (zh) * | 2018-01-31 | 2022-01-14 | 努比亚技术有限公司 | 基于功耗管理的重启定位方法、移动终端及可读存储介质 |
CN108681598B (zh) * | 2018-05-21 | 2023-06-02 | 平安科技(深圳)有限公司 | 任务自动重跑方法、系统、计算机设备和存储介质 |
CN109189699B (zh) * | 2018-09-21 | 2022-03-22 | 郑州云海信息技术有限公司 | 多路服务器通信方法、系统、中间控制器及可读存储介质 |
CN110795342A (zh) * | 2019-10-11 | 2020-02-14 | 杭州迪普信息技术有限公司 | 一种错误检测方法及装置 |
CN110852876A (zh) * | 2019-11-18 | 2020-02-28 | 中国银行股份有限公司 | 批量报错恢复方法及装置 |
CN110909055A (zh) * | 2019-11-18 | 2020-03-24 | 中移(杭州)信息技术有限公司 | 数据处理方法、装置、电子设备以及存储介质 |
CN113742664B (zh) * | 2020-05-29 | 2024-03-29 | 钉钉控股(开曼)有限公司 | 监控、审计方法、设备及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1972210A (zh) * | 2006-11-21 | 2007-05-30 | 华为技术有限公司 | 网络监控方法及其系统 |
CN101373450A (zh) * | 2007-08-21 | 2009-02-25 | 联想(北京)有限公司 | 处理cpu异常的方法及系统 |
CN101877618A (zh) * | 2010-06-30 | 2010-11-03 | 中兴通讯股份有限公司 | 基于无代理方式进行监控的方法、服务器及系统 |
-
2010
- 2010-11-30 CN CN201010571201.9A patent/CN102479113B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1972210A (zh) * | 2006-11-21 | 2007-05-30 | 华为技术有限公司 | 网络监控方法及其系统 |
CN101373450A (zh) * | 2007-08-21 | 2009-02-25 | 联想(北京)有限公司 | 处理cpu异常的方法及系统 |
CN101877618A (zh) * | 2010-06-30 | 2010-11-03 | 中兴通讯股份有限公司 | 基于无代理方式进行监控的方法、服务器及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102479113A (zh) | 2012-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102479113B (zh) | 异常自适应处理方法及系统 | |
CN106293941B (zh) | 一种数据库系统资源的分配方法 | |
CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
CN106156115B (zh) | 一种资源调度方法及装置 | |
CN111143163B (zh) | 数据监控方法、装置、计算机设备和存储介质 | |
CN110704231A (zh) | 一种故障处理方法及装置 | |
EP3591485B1 (en) | Method and device for monitoring for equipment failure | |
CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
CN105306272A (zh) | 信息系统故障场景信息收集方法及系统 | |
CN111190955B (zh) | 一种基于知识图谱的营配调贯通核查方法 | |
CN104038373A (zh) | 信息预警与自修复系统及方法 | |
CN112612680A (zh) | 一种消息告警方法、系统、计算机设备及存储介质 | |
CN111274090A (zh) | 作业处理方法、装置、介质及电子设备 | |
CN116415045A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN105025179A (zh) | 呼叫中心座席的监控方法及系统 | |
CN108228254A (zh) | 应用于停车场的智能化问题处理方法、服务器和终端设备 | |
CN109584765A (zh) | 实现led显示屏故障检测的方法及其系统 | |
CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
CN111130955B (zh) | 基于互联网信贷系统的分布式链路监控方法 | |
CN107590647A (zh) | 船舶管理系统的伺服监管系统 | |
US20090006436A1 (en) | Automated yield analysis system | |
CN112579685A (zh) | 大数据作业的状态监测及健康度评估方法、装置 | |
CN112711508A (zh) | 面向大规模客户端系统的智能运维服务系统 | |
CN112104497A (zh) | 终端管理方法、装置、系统、服务器、终端及存储介质 | |
CN110968447A (zh) | 一种服务器主机巡检系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |