CN103246735B - 一种异常数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种异常数据处理系统，包括相互连接的异常数据客户端和异常数据处理服务端，其中，异常数据客户端进一步包括：异常事件检测装置，用于在当异常事件发生后，生成一个异常事件发生消息传入异常数据收集处理装置；异常数据收集处理装置，用于根据异常事件的事件标识、模块代码查询事件定义库装置，生成异常事件实例，根据异常事件实例属性信息及异常产生的原因，搜索措施定义库装置，找到针对此事件的措施定义信息；措施执行增补装置，用于执行异常数据收集处理装置所产生的措施。利用本发明的异常数据处理系统和方法，能够实现异常数据处理自动化、智能化，避免了人工干预，提高了数据异常处理的响应速度，降低了处理时间。

Description

一种异常数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种异常数据处理方法和系统。

背景技术

目前，信息系统有数据流跨系统、跨部门的特点。各个系统对上、下游、系统内部的异常数据，通常使用日志处理机制进行处理。

当异常结果发生时，用户只能人工通过查询分散在海量日志中的异常数据记录，以分析、判断异常结果产生的原因。对于隐蔽的异常结果，系统缺乏有效的发现、分析能力。

在异常数据处理流程上，系统局限在暂停处理、等待人工解决，或者跳过该数据处理等方式进行。当处理以定时批量自动执行为主、且对处理结果实时性要求较高的情况时，往往导致问题解决的实效差等问题，无法实现异常数据的自动处理，异常结果后处理等功能。

因此，如何提高异常数据的处理效率是迫切要解决的技术问题。

发明内容

为了克服现有技术中的上述缺陷，本发明提供了一种异常数据处理方法及系统，当异常事件发生时，通过收集异常数据，动态选择对应的措施，然后根据相应的措施自动对异常数据进行处理，这是对异常数据分布采集，集中处理的一种方法和系统。

本发明的异常数据处理系统包括相互连接的异常数据客户端和异常数据处理服务端，其中，异常数据客户端进一步包括：异常事件检测装置(1)，用于在当异常事件发生后，生成一个异常事件发生消息传入异常数据收集处理装置(2)；异常数据收集处理装置(2)，用于根据异常事件的事件标识、模块代码查询事件定义库装置(3)，生成异常事件实例，根据异常事件实例属性信息及异常产生的原因，搜索措施定义库装置(4)，找到针对此事件的措施定义信息；事件定义库(3)，用于定义系统各个单元可能发生的事件集合，并提供用户维护功能；措施定义库(4)，用于定义系统针对事件定义库(3)定义的事件，，并提供用户维护以及自我学习新增措施的功能；措施执行增补装置(5)，用于执行异常数据收集处理装置(2)所产生的措施；异常数据处理服务端，用于接受并保存来自异常数据客户端的异常数据记录，并提供用户对异常数据分析、统计功能。

本发明还提供了一种异常数据处理方法，该方法包括步骤：步骤1，异常事件检测装置(1)在当异常事件发生后生成一个异常事件发生消息传入异常数据收集处理装置(2)；步骤2，异常数据收集处理装置根据异常事件的事件标识、模块代码查询事件定义库装置(3)，生成异常事件实例，根据异常事件实例属性信息及异常产生的原因，搜索措施定义库装置(4)，找到针对此事件的措施定义信息；步骤4，措施执行增补装置(5)执行异常数据收集处理装置(2)所产生的措施；其中，事件定义库(3)，用于定义系统各个单元可能发生的事件集合，并提供用户维护功能；措施定义库(4)，用于定义系统针对事件定义库(3)定义的事件，，并提供用户维护以及自我学习新增措施的功能。

本发明的异常数据处理方法和系统采用了分布-集中式体系结构，有效地解决了数据流跨系统、跨部门的问题，主要从如下三个方面进行实现：1)使用具有自我学习功能的措施定义库，使异常数据处理自动化、智能化，避免了人工干预，提高了数据异常处理的响应速度，降低了处理时间；2)采用事件驱动的设计模式，由产生异常的模块触发异常数据处理流程，降低了对系统资源的占用率，提高了处理效率；3)提供了HTTP协议、文件传输、系统内部通讯等异常数据登记模式，将分散在各个系统的异常数据进行集中分析、处理，解决了异常数据分散管理的问题。

附图说明

图1为本发明异常数据处理系统的结构框图；

图2为本发明异常数据处理系统中异常数据收集处理装置的结构框图；

图3为本发明异常数据处理系统中数据事后处理装置的结构框图；

图4为本发明异常数据处理方法流程图；

图5为本发明异常数据统计流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明主要是涉及应用系统中对于异常数据的处理机制，尤其是针对业务意义较大的数据，提供可预先定义和分析的异常数据处理。本发明的异常数据处理方法和系统的工作原理，是在发生异常事件时启动异常数据处理流程，收集相关的异常数据信息，对异常数据进行分析和登记，然后动态选择相应的处理措施进行处理。措施中定义了异常数据处理规则表达式，将表达式与描述性的语言相结合，形成完整清晰的定义信息。如果措施未定义，则对数据特征进行分析，新增一条措施。

每次发生同一个异常事件的若干变量值很可能不同，系统自动将异常发生时的事件定义和措施定义中的系统变量值记录下来，形成异常数据统计报告。后台批量处理完成后，前台可查询每日产生的异常数据信息。通过变量解析的方法，将登记的异常数据变量值，和事件、措施定义中的表达式相结合，即可查询出描述清晰、包含若干变量值的异常信息，和相应的措施处理信息。

通过先定义表达式，然后记录异常数据值，通过变量解析将二者结合的方法，将可预测的异常进行捕捉，并采取已定义的措施处理，实现对异常数据的分布采集，集中处理。

图1为本发明异常数据处理系统的结构框图。参照图1，该系统包括异常数据处理客户端和异常数据处理服务端。

异常数据客户端进一步包括异常事件检测装置1、异常数据收集处理装置2、事件定义库3、措施定义库4和措施执行增补装置5。异常数据收集处理装置2与异常事件检测装置1、事件定义库3、措施定义库4和措施执行增补装置5分别进行连接，同时措施定义库4与措施执行增补装置5进行连接。其中异常事件检测装置1，调用异常数据收集处理装置2，启动异常数据处理流程。异常数据收集处理装置2调用事件定义库3、措施定义库4，对异常数据进行收集处理后，将需要采取的措施输出到措施执行增补装置5。措施执行增补装置5在执行输入的措施后，调用数据传输服务装置6，将处理结果传输到异常数据处理服务端。

具体地，异常事件检测装置1安装在异常发生的客户端上，负责当检测到异常事件发生时，触发该异常数据的处理流程。当数据处理流程进入预先设置的检测点时，异常事件检测装置1将数据处理流程的相关信息与事件定义库3的事件发生条件进行匹配，如果某个事件发生条件成立，则异常事件检测装置1生成该符合发生条件的事件并开启一个新的处理异常数据的流程。

异常数据收集处理装置2负责当一个异常数据处理流程被触发后，根据发生的事件，针对当前异常发生的场景，收集异常数据，包括事件的名称、发生的位置以及与业务相关的数据。匹配措施定义库，从而找到针对特定异常事件的措施。

异常数据收集处理装置2还负责初始化一个异常处理流程实例，包括异常事件标识、异常事件名称、异常事件发生的模块代码、以及相关业务数据。根据异常事件的事件标识、模块代码查询事件定义库装置3，生成异常事件实例，包括相关事件、事件原因列表等信息，并结合业务数据，识别异常产生的原因。

异常数据收集处理装置2根据异常事件实例属性信息及异常产生的原因，搜索措施定义库装置4，查找针对此事件的措施定义信息，并识别异常数据名称、类型、异常原因等特征，并对此进行分析，针对异常数据特征的分析结果，判断在措施定义库中，是否存在此类异常的措施，如果找到针对此异常数据的措施定义，则生成针对此异常的具体措施，否则根据分析结果，在措施定义库中，自动新增针对此类异常的措施定义，然后生成针对此异常的具体措施。

图2为异常数据收集处理装置2的结构图。参照图2，异常数据收集处理装置2进一步包括异常场景数据获取单元21、异常数据分析单元22、异常措施搜索单元23。

异常场景数据获取单元21用于从当前发生的异常场景，获取异常场景的异常事件的名称、发生的位置等信息。

异常数据分析单元22通过解析传入的异常场景数据，识别事件类型、异常原因等关键信息，生成异常事件实例。

异常措施搜索单元23将分析得到的异常事件、异常原因等关键信息为条件，搜索措施定义库，获取针对此特定事件的异常事件处理措施。

继续参照图1，事件定义库3定义系统各个单元可能发生的事件集合，并提供用户维护功能。

措施定义库4定义系统针对事件定义库定义的事件，所采取的措施公式、影响评估等定义信息，并提供用户维护以及自我学习新增措施的功能。如果系统检测到未定义措施的异常事件，则系统根据收集的数据，识别异常数据关键信息，如异常数据名称、产生原因、场景信息等，进行分析处理后，措施定义库自动新增此类异常的措施。

措施执行增补装置5负责执行异常数据收集处理装置所产生的措施，如使用备用数据、切换数据源等。措施执行增补装置5将从异常场景获取异常事件发生时的数据，填入异常措施公式，生成针对该异常事件的具体的措施实例，即使用实际异常场景信息将从措施定义库4获取的措施类型初始化成针对该异常事件的具体措施对象，如果该措施实例包含相应的处理方案，则执行该方案，对异常数据进行修复、替换等操作。如果没有针对此类异常的措施，则调用措施定义库4自动学习功能，新增此类异常的处理措施并执行。其中，措施定义库里定义了措施的类型，例如将异常报价x替换成上一日报价y。具体措施是根据实际场景生成的，异常报价7替换成上一日报价6.19。

措施执行增补装置5还用于记录生成的异常数据实例，包含事件发生日期、事件实例、措施实例、措施执行的结果等信息，并将生成的异常数据记录通过数据传输服务装置6发送给异常数据处理服务器。

数据传输服务装置6提供异常数据传输服务，负责将异常数据记录从异常数据处理客户端传送到异常数据处理服务器端。数据传输服务6与异常数据处理客户端的措施执行增补装置5以及异常数据处理服务端的数据存储装置7进行连接。

异常数据处理服务端进一步包括数据存储装置7、异常数据库装置8和数据事后处理装置9。其中异常数据库装置8与数据存储装置7和数据事后处理装置9分别进行连接。

数据存储装置7接受数据传输服务装置6传入的异常数据记录，并将异常数据记录记录到异常数据库装置8中。

数据存储装置8是异常数据的存储装置，负责将异常数据处理客户端传出的异常数据，统一存放到相应的异常数据库中。

数据事后处理装置9提供了用户对异常数据分析、统计功能。其中数据分析提供联机查询功能，统计功能统计当日产生的异常数据结果。

参照图3，数据事后处理装置9进一步包括：异常数据统计单元91、异常数据统计提醒单元92、统计结果展示单元93、异常数据分析单元94、分析结果展示单元95。其中异常数据统计单元91连接异常数据统计提醒单元92和统计结果展示单元93，异常数据分析单元94连接分析结果展示单元95。

异常数据统计单元91用于对异常数据存储库中的数据进行数据统计生成每日异常数据统计报表。异常数据统计提醒单元92负责将报表通过邮件方式，发送到用户邮箱中。统计结果展示单元93是统计结果的联机查询单元，用户使用B/S方式，访问统计结果。异常数据分析单元94是数据异常的分析单元，通过计算一段时间内异常数据的发生频率、严重程度等，从而对系统运行是否正常进行分析验证。分析结果展示单元95是分析结果的联机查询单元，用户使用B/S方式，访问分析结果。

图5为数据事后处理装置9进行异常数据统计的工作原理图。参照图5，数据事后处理装置9按照以下步骤执行异常数据统计：步骤201，读取异常数据库装置8，根据事件发生时间、事件发生模块进行统计，生成异常数据发生的次数、影响程度的每日统计报表；步骤202：数据事后处理装置9将每日统计报表存入异常数据库装置8；步骤203：统计结果通过装置9的统计结果展示单元93将每日统计报表结果显示到用户界面；步骤204：数据事后处理装置9读取需要邮件通知的邮件地址列表；步骤205：异常数据收集装置9将生成的每日统计报表发送到用户邮箱中。

图4为本发明异常数据处理方法的流程图。该方法应用到上面所描述的异常数据处理系统中。

参照图4，在步骤100，异常事件发生后，异常事件检测装置1生成一个异常事件发生消息传入异常数据收集处理装置2。

在步骤101，异常数据收集处理装置2初始化一个异常处理流程实例，包括异常事件标识、异常事件名称、异常事件发生的模块代码、以及相关业务数据。在步骤102，异常数据收集处理装置2根据异常事件的事件标识、模块代码查询事件定义库装置3，生成异常事件实例，包括相关事件、事件原因列表等信息，并结合业务数据，识别异常产生的原因。在步骤103，异常数据收集处理装置2根据异常事件实例属性信息，搜索措施定义库装置4，找到针对异常事件备选措施集合。在步骤104，异常数据收集处理装置2，根据收集到的数据，识别异常数据名称、类型、异常原因等特征，并对此进行分析。在步骤105，异常数据收集处理装置2，针对异常数据特征的分析结果，判断在步骤103得到的备选措施集合中，是否存在此类异常的措施，如果不存在，则转步骤106，如果存在，则转步骤107。

在步骤106，措施定义库4，使用自我学习功能对异常数据特征进行分析，然后在措施定义库中，自动生成针对此类异常的措施。

在步骤107，措施执行增补装置5，将从异常场景获取异常事件发生时的数据，填入异常措施公式，生成针对该异常事件的具体的措施实例，即使用实际异常场景信息将从措施定义库4获取的措施类型初始化成针对该异常事件的具体措施对象，如果该措施实例包含相应的处理方案，则执行该方案，对异常数据进行修复、替换等操作。在步骤108，措施执行增补装置5，记录生成的异常数据实例，包含事件发生日期、事件实例、措施实例、措施执行的结果等信息。在步骤109，措施执行增补装置5将生成的异常数据记录通过数据传输服务装置6发送给异常数据处理服务器。

在步骤110，数据存储装置7接受数据传输服务装置6传入的异常数据记录。在步骤111，数据存储装置7将异常数据记录记录到异常数据库装置8中。

在步骤112，数据事后处理装置9读取异常数据库装置8，进行影响程度、发生模块、措施方案等的过滤分析。在步骤113，数据事后处理装置9将分析结果存入异常数据库装置8。在步骤114，分析结果通过装置9的分析结果展示单元95将处理结果显示到用户界面。

本发明的异常数据处理方法和系统采用了分布-集中式体系结构，有效地解决了数据流跨系统、跨部门的问题，主要从如下三个方面进行实现：1)使用具有自我学习功能的措施定义库，使异常数据处理自动化、智能化，避免了人工干预，提高了数据异常处理的响应速度，降低了处理时间；2)采用事件驱动的设计模式，由产生异常的模块触发异常数据处理流程，降低了对系统资源的占用率，提高了处理效率；3)提供了HTTP协议、文件传输、系统内部通讯等异常数据登记模式，将分散在各个系统的异常数据进行集中分析、处理，解决了异常数据分散管理的问题。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种异常数据处理系统，该系统包括相互连接的异常数据客户端和异常数据处理服务端，其中，

异常数据客户端进一步包括：

异常事件检测装置(1)，用于在当异常事件发生后，生成一个异常事件发生消息传入异常数据收集处理装置(2)；

异常数据收集处理装置(2)，用于根据异常事件的事件标识、模块代码查询事件定义库(3)，生成异常事件实例，根据异常事件实例属性信息及异常产生的原因，搜索措施定义库(4)，找到针对此事件的措施定义信息；

事件定义库(3)，用于定义系统各个单元可能发生的事件集合，并提供用户维护功能；

措施定义库(4)，用于定义系统针对事件定义库(3)定义的事件，并提供用户维护以及自我学习新增措施的功能；

措施执行增补装置(5)，用于执行异常数据收集处理装置(2)所产生的措施；

异常数据处理服务端，用于接受并保存来自异常数据客户端的异常数据记录，并提供用户对异常数据分析、统计功能。

2.根据权利要求1所述的系统，其特征在于，异常数据收集处理装置(2)进一步包括：

异常场景数据获取单元(21)，用于从当前发生的异常场景，获取异常场景的异常事件相关信息；

异常数据分析单元(22)，用于通过解析传入的所述异常事件相关信息，通过识别这些信息中的关键信息，生成异常事件实例；

异常措施搜索单元(23)，用于将分析得到的所述关键信息为条件，搜索措施定义库(4)，获取针对此异常事件的异常事件处理措施。

3.根据权利要求2所述的系统，其特征在于，措施执行增补装置(5)将从异常场景获取异常事件发生时的数据，填入异常措施公式，生成针对异常事件的措施实例，如果措施定义库(4)中定义了相应的方案，则执行方案，对异常数据进行操作，如果措施定义库(4)中没有针对此类异常的措施，则调用措施定义库(4)自动学习功能，新增此类异常的处理措施并执行。

4.根据权利要求3所述的系统，其特征在于，措施执行增补装置(5)还用于将生成的异常数据记录发送给异常数据处理服务器。

5.根据权利要求4所述的系统，其特征在于，该系统进一步包括：

数据传输服务装置（6），用于连接异常数据处理客户端和异常数据处理服务器端，并将异常数据记录从异常数据处理客户端传送到异常数据处理服务器端。

6.根据权利要求5所述的系统，其特征在于，异常数据处理服务端进一步包括：

数据存储装置(7)，用于接受数据传输服务装置(6)传入的异常数据记录，并将异常数据记录记录到异常数据库装置(8)中；

异常数据库装置(8)，是异常数据的存储装置，负责将异常数据处理客户端传出的异常数据，统一存放到相应的异常数据库中；

数据事后处理装置(9)，用于提供用户对异常数据分析、统计功能。

7.根据权利要求6所述的系统，其特征在于，数据事后处理装置(9)进一步包括：

异常数据统计单元(91)，用于对异常数据库中的数据进行数据统计生成每日异常数据统计报表；

异常数据统计提醒单元(92)，用于将报表通过邮件方式，发送到用户邮箱中；

统计结果展示单元(93)，是统计结果的联机查询单元，用户使用B/S方式访问统计结果；

异常数据分析单元(94)，是数据异常的分析单元，通过计算一段时间内异常数据的发生频率、严重程度，对系统运行是否正常进行分析验证；

分析结果展示单元(95)，是分析结果的联机查询单元，用户使用B/S方式访问分析结果。

8.根据权利要求7所述的系统，其特征在于，数据事后处理装置(9)按照以下步骤执行异常数据统计：步骤201，读取异常数据库装置(8)，根据事件发生时间、事件发生模块进行统计，生成异常数据发生的次数、影响程度的每日统计报表；步骤202：数据事后处理装置(9)将每日统计报表存入异常数据库装置(8)；步骤203：统计结果通过数据事后处理装置(9)的统计结果展示单元(93)将每日统计报表结果显示到用户界面；步骤204：数据事后处理装置(9)读取需要邮件通知的邮件地址列表；步骤205：数据事后处理装置(9)将生成的每日统计报表发送到用户邮箱中。

9.一种异常数据处理方法，该方法包括步骤：

步骤1，异常事件检测装置(1)在当异常事件发生后生成一个异常事件发生消息传入异常数据收集处理装置(2)；

步骤2，异常数据收集处理装置根据异常事件的事件标识、模块代码查询事件定义库(3)，生成异常事件实例，根据异常事件实例属性信息及异常产生的原因，搜索措施定义库(4)，找到针对此事件的措施定义信息；

步骤4，措施执行增补装置(5)执行异常数据收集处理装置(2)所产生的措施；措施执行增补装置(5)将生成的异常数据记录发送给异常数据处理服务器，异常数据处理服务器接受该异常数据记录并进行分析该记录，分析结果显示给用户；

其中，事件定义库(3)，用于定义系统各个单元可能发生的事件集合，并提供用户维护功能；措施定义库(4)，用于定义系统针对事件定义库(3)定义的事件，并提供用户维护以及自我学习新增措施的功能。

10.根据权利要求9所述的方法，其特征在于，该方法在步骤2之后还包括：

步骤3，措施定义库(4)使用自我学习功能对异常数据特征进行分析，然后在措施定义库中，自动生成针对此类异常的措施；

其中步骤2进一步包括：

异常数据收集处理装置(2)根据异常事件实例属性信息及异常产生的原因，搜索措施定义库(4)，如果找到针对此异常数据的措施定义，异常数据收集处理装置(2)根据收集到的数据，识别异常数据的特征并进行分析，针对分析结果判断在措施定义库中，是否存在此类异常的措施，如果不存在，则转步骤3，如果存在，则转步骤4。

11.根据权利要求10所述的方法，其特征在于，步骤4进一步包括：

措施执行增补装置(5)将从异常场景获取异常事件发生时的数据填入异常措施公式，生成针对异常事件的措施实例，针对该措施实例如果措施定义库(4)定义了相应的方案，则执行方案。