CN105607983A - 数据异常监控方法和装置 - Google Patents

Abstract

本申请公开了一种数据异常监控方法和装置，其中方法包括：对于对数据中心系统的每次数据查询，记录相应的查询情况信息；在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新；在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。采用本发明，可以及时、高效地获知数据异常的发生并进行相应的报警。

Description

数据异常监控方法和装置

技术领域

本发明涉及数据仓库技术，特别是涉及一种数据异常监控方法和装置。

背景技术

随着互联网的快速发展，WEB应用系统数量的不断增加，随之而来的分布式系统的出现，导致各种系统之间业务的交集，都会涉及系统之间接口的相互调用。特别是涉及不同业务的系统，如仓库系统和交易系统之间等。而仓库又是分布在全国不同的地方，每个仓库都有自己的仓库系统，所以需要有一个系统来统一抽取各个仓库系统数据，并与订单、客服系统进行数据交互，以及对订单、客服系统提供数据库查询功能。

目前，仓库系统的数据会回传给数据中心系统(如商品的序列号记录，即序列号中心系统)，数据中心系统提供查询接口，订单、客服等系统会调用数据中心系统所提供的查询接口，来查询所需的数据，如图1所示。

因为仓库系统版本各异，网络情况又不好，同时，库房人员在使用系统时，会有操作错误、不按规则操作的情况发生。这些情况直接造成库房系统的数据不准确，如一个商品是一个序列号商品，但是，库房人员没有按照序列号商品的流程操作该商品，将会直接造成该商品的序列号丢失、错误等。故，此种数据可能没有回传给数据中心系统，当应用系统通过调用数据中心系统的接口来查询该序列号时，就会发现原本应该存在的信息，却没有查询到，此种情况经常发生。此时，业务人员会向上游系统咨询为何数据信息没有，以此类推，一直到找到仓库人员来排查。显然，此种发现以及排查数据异常问题的方式，会存在时效很低，且人力成本浪费很大的问题。

同时，由于现有数据中心系统只提供数据接收、查询的接口，不能甄别数据的完成性，故很难对该种情况进行监控。

由此可见，现有技术方案中由于没有对系统使用人员误操作所引起的数据丢失情况进行监控，使数据异常不能及时得到解决，而只有当由用户发现数据不正确时，才会进行问题的排查，并且，还需要业务人员进行人工排查，使得问题解决的时效性很低，同时，又浪费了大量的人工成本。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据异常监控方法和装置，可以及时获知数据异常的发生，并可以高效、自动化地进行相应的报警。

为了达到上述目的，本发明提出的技术方案为：

一种数据异常监控方法，包括：

对于对数据中心系统的每次数据查询，记录相应的查询情况信息；

在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新；

在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

一种数据异常监控装置，包括：

查询信息记录模块，用于对于对数据中心系统的每次数据查询，记录相应的查询情况信息；

异常记录更新模块，用于在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新；

报警模块，用于在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

综上所述，本发明提出的数据异常监控方法和装置，通过对数据中心系统的数据查询情况进行监控，并对数据查询结果进行分析，可以及时获知数据异常的发生，并可以高效、自动化地进行相应的报警，从而可以及时触发相关人员进行异常数据处理，有效提高系统异常数据的处理效率，降低人工排查处理成本。

附图说明

图1为现有数据中心系统部署示意图；

图2为本发明实施例一的方法流程示意图；

图3为本发明实施例一的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明的核心思想是：通过对数据中心系统的数据查询情况进行监控，来及时获知数据异常，同时，根据监控结果及时进行报警。

图2为本发明实施例的方法流程示意图，如图2所示，该实施例所实现的数据异常监控方法主要包括：

步骤201、对于对数据中心系统的每次数据查询，记录相应的查询情况信息。

本步骤，用于对每次数据查询的情况进行记录，以便此后可以据此进行数据异常分析，从而可以及时获知数据异常的发生，并可以高效、自动化地进行相应的报警。

较佳地，为了准确地进行数据异常分析，所述查询情况信息将至少包括请求查询的系统标识、查询参数和用于指示查询结果是否为空的信息。在实际应用中，本领域技术人员可以根据异常处理的实际需要在查询情况信息中进一步增加其他用于异常处理的查询数据。

步骤202、在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新。

本步骤，用于周期性的实时更新异常记录集合，以便基于异常记录集合中的异常记录，自动进行异常数据报警。在进行具体更新时，是依据当前异常更新周期内产生的新的查询情况信息进行的。较佳地，本步骤中可以采用下述方法对当前的异常记录集合进行更新：

对于本周期内记录的每一条所述查询情况信息，确定当前的异常记录集合中是否存在与该条查询情况信息携带的请求查询的系统标识和查询参数相同的异常记录，如果存在，则当该条查询情况信息对应的查询结果为空时，将异常记录集合中所确定出的异常记录的查询次数增加1，当该条查询情况信息对应的查询结果不为空时，将所确定出的异常记录从所述异常记录集合中删除；如果不存在，则当该条查询情况信息对应的查询结果为空时，将该条查询情况信息增加至异常记录集合中，并将相应的查询次数初始化为1。

利用上述异常记录集合的更新方法，可以确保更新后的异常记录集合中只保存查询异常的记录信息。这里，对于本周期内记录的每一条所述查询情况信息，如果该信息对应的查询结果非空，且异常记录集合已保存相同的查询记录，说明之前查询异常的数据已恢复正常，所以这里需要将其从异常记录集合里删除，以确保更新后的异常记录集合中只保存查询异常的记录信息。而当一条查询情况信息对应的查询结果为空时，则需要将其增加到异常记录集合中或对已有的相同查询对应的异常记录的查询次数进行加一处理，以便进一步基于异常记录集合进行预警处理。

在实际应用中，所述异常更新周期设置的过长，会影响报警的及时性，过短会产生较大的资源开销，具体可由本领域技术人员根据实际需要设置合适取值。

步骤203、在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

本步骤，用于在每个报警周期根据当前的异常记录集合进行报警。

较佳地，在实际应用中，可以根据预设的报警策略，根据当前的所述异常记录集合，生成相应的报警信息，以及确定相应的报警方式和报警通知人员。具体地，可以采用下述方法实现：

对于所述异常记录集合中的每一条异常记录，按照预设的报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的查询次数阈值；当该条异常记录的查询次数大于所述查询次数阈值时，将该条异常记录封装为报警信息，并按照所述报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的报警方式和报警通知人员。

上述方法中，本领域技术人员可以根据实际需要设置合理的报警策略。这里，在报警策略里将为不同请求查询的系统标识、查询参数，配置合适的查询次数阈值，只要异常记录的查询次数大于相应的查询次数阈值，则可以基于该异常记录进行相应的报警。另外，报警策略也将设置不同请求查询的系统标识、查询参数对应的报警方式(如邮件、短信或聊天工具等)和报警通知人员。这样，基于报警策略，根据异常记录对应的请求查询的系统标识、查询参数，即可确定出相应的报警方式和报警通知人员，从而可以实现及时自动预警的目的。

在实际应用中，所述报警周期设置的过长，会影响报警的及时性，过短会产生较大的资源开销，具体可由本领域技术人员根据实际需要设置合适取值。

图3为与上述方法相对应的数据异常监控装置结构示意图，如图3所示，该装置包括：

查询信息记录模块，用于对于对数据中心系统的每次数据查询，记录相应的查询情况信息。

异常记录更新模块，用于在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新。

报警模块，用于在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

较佳地，所述查询情况信息包括请求查询的系统标识、查询参数和用于指示查询结果是否为空的信息。

较佳地，所述异常记录更新模块，进一步用于对于本周期内记录的每一条所述查询情况信息，确定当前的异常记录集合中是否存在与该条查询情况信息携带的请求查询的系统标识和查询参数相同的异常记录，如果存在，则当该条查询情况信息对应的查询结果为空时，将异常记录集合中所确定出的异常记录的查询次数增加1，当该条查询情况信息对应的查询结果不为空时，将所确定出的异常记录从所述异常记录集合中删除；如果不存在，则当该条查询情况信息对应的查询结果为空时，将该条查询情况信息增加至异常记录集合中，并将相应的查询次数初始化为1。

较佳地，所述报警模块，进一步用于对于所述异常记录集合中的每一条异常记录，按照预设的报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的查询次数阈值；当该条异常记录的查询次数大于所述查询次数阈值时，将该条异常记录封装为报警信息，并按照所述报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的报警方式和报警通知人员。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据异常监控方法，其特征在于，包括：

对于对数据中心系统的每次数据查询，记录相应的查询情况信息；

在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新；

在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

2.根据权利要求1所述的方法，其特征在于，所述查询情况信息包括请求查询的系统标识、查询参数和用于指示查询结果是否为空的信息。

3.根据权利要求2所述的方法，其特征在于，所述根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新包括：

对于本周期内记录的每一条所述查询情况信息，确定当前的异常记录集合中是否存在与该条查询情况信息携带的请求查询的系统标识和查询参数相同的异常记录，如果存在，则当该条查询情况信息对应的查询结果为空时，将异常记录集合中所确定出的异常记录的查询次数增加1，当该条查询情况信息对应的查询结果不为空时，将所确定出的异常记录从所述异常记录集合中删除；如果不存在，则当该条查询情况信息对应的查询结果为空时，将该条查询情况信息增加至异常记录集合中，并将相应的查询次数初始化为1。

4.根据权利要求2所述的方法，其特征在于，所述根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员包括：

对于所述异常记录集合中的每一条异常记录，按照预设的报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的查询次数阈值；当该条异常记录的查询次数大于所述查询次数阈值时，将该条异常记录封装为报警信息，并按照所述报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的报警方式和报警通知人员。

5.一种数据异常监控装置，其特征在于，包括：

查询信息记录模块，用于对于对数据中心系统的每次数据查询，记录相应的查询情况信息；

异常记录更新模块，用于在每个预设的异常更新周期，根据本周期内记录的所述查询情况信息，对当前的异常记录集合进行更新；

报警模块，用于在每个预设的报警周期，根据当前的所述异常记录集合，生成相应的报警信息，并确定相应的报警方式和报警通知人员，按照所述报警方式将所述报警信息通知给所述报警通知人员。

6.根据权利要求5所述的装置，其特征在于，所述查询情况信息包括请求查询的系统标识、查询参数和用于指示查询结果是否为空的信息。

7.根据权利要求6所述的装置，其特征在于，所述异常记录更新模块，进一步用于对于本周期内记录的每一条所述查询情况信息，确定当前的异常记录集合中是否存在与该条查询情况信息携带的请求查询的系统标识和查询参数相同的异常记录，如果存在，则当该条查询情况信息对应的查询结果为空时，将异常记录集合中所确定出的异常记录的查询次数增加1，当该条查询情况信息对应的查询结果不为空时，将所确定出的异常记录从所述异常记录集合中删除；如果不存在，则当该条查询情况信息对应的查询结果为空时，将该条查询情况信息增加至异常记录集合中，并将相应的查询次数初始化为1。

8.根据权利要求6所述的装置，其特征在于，所述报警模块，进一步用于对于所述异常记录集合中的每一条异常记录，按照预设的报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的查询次数阈值；当该条异常记录的查询次数大于所述查询次数阈值时，将该条异常记录封装为报警信息，并按照所述报警策略，根据该条异常记录对应的请求查询的系统标识、查询参数，确定相应的报警方式和报警通知人员。