CN109582555A - 数据异常检测方法、装置、检测系统及存储介质 - Google Patents

Abstract

本发明实施例公开了数据异常检测方法、装置、检测系统及存储介质。该方法包括：接收日志数据，并统计日志数据的接收量；统计对日志数据进行数据处理后，所输出数据的输出量；若输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

Description

数据异常检测方法、装置、检测系统及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据异常检测方法、装置、检测系统及存储介质。

背景技术

网络是信息传输、接收、共享的虚拟平台，通过它把各个点、面、体的信息联系到一起，从而实现这些资源的共享。随着技术的不断发展，互联网的应用越来越广泛，所产生数据的数量与日俱增。

对互联网海量数据进行入库处理时，通常会存在由于数据丢失导致的数据质量较差的问题。由于数据入库的环节众多，各个环节都有可能出现数据丢失的现象。现有技术中并没有统一的数据排查方法以对数据丢失等异常问题进行监控和排查。

发明内容

本发明提供一种数据异常检测方法、装置、检测系统及存储介质，以对数据入库过程中的数据丢失等异常现象进行监控和排查。

第一方面，本发明实施例提供了一种数据异常检测方法，包括：

接收日志数据，并统计所述日志数据的接收量；

统计对所述日志数据进行数据处理后，所输出数据的输出量；

若所述输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。

第二方面，本发明实施例还提供了一种数据异常检测装置，包括：

输入统计模块，用于接收日志数据，并统计所述日志数据的接收量；

输出统计模块，用于统计对所述日志数据进行数据处理后，所输出数据的输出量；

异常确定模块，用于在所述输出量与所述接收量的数据变化率大于设定阈值，确定当前设备存在数据异常。

第三方面，本发明实施例还提供了一种数据异常检测系统，包括至少一个处理环节设备，用于执行如第一方面实施例提供的一种数据异常检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面实施例提供的一种数据异常检测方法。

本发明实施例通过接收日志数据，并统计日志数据的接收量；统计对日志数据进行数据处理后，所输出数据的输出量；若输出量与接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

附图说明

图1是本发明实施例一中的一种数据异常检测方法的流程图；

图2是本发明实施例二中的一种数据异常检测方法的流程图；

图3是本发明实施例三中的一种数据异常检测装置的结构图；

图4是本发明实施例四中的一种数据异常检测系统的结构图；

图5是本发明实施例五中的一种数据异常检测系统的结构图；

图6是本发明实施例五中的一种数据异常检测方法的流程图；

图7A是本发明实施例六中的一种数据异常检测方法的示意图；

图7B是本发明实施例六中的另一种数据异常检测方法的示意图；

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的一种数据异常检测方法的流程图。本发明实施例适用于对接收大量数据的数据接收系统所接收的数据是否存在异常进行检测的情况。该方法由数据异常检测装置来执行，该装置由软件和/或硬件实现，并具体配置于数据接收系统中的处理环节设备中。

如图1所示的一种数据异常检测方法，包括：

S110、接收日志数据，并统计所述日志数据的接收量。

其中，日志数据为向数据接收系统所发送的数据流中的数据，日志数据包括数据报文和/或数据记录。其中，数据报文对应于网络中交换与传输的数据单元，即站点一次性向出来环节设备所发送的数据块。数据记录对应于数据源中一行信息的一组完整的相关数据。

其中，接收量可以是字节数、数据包数、记录行数以及流量数中的至少一种；接收量的统计类型可以是平均值、瞬时值以及累加值中的至少一种。

具体的，当日志数据包括数据报文时，接收各站点所发送的数据报文，并统计所接收的数据报文的报文接收量。当日志数据包括数据记录时，接收各站点所发送的数据记录，并统计所接收的数据记录的记录接收量。

S120、统计对所述日志数据进行数据处理后，所输出数据的输出量。

其中，对日志数据进行的数据处理包括转发以及丢弃等。

与接收量相对应的，输出量可以是字节数、数据包数、记录行数以及流量数中的至少一种；输出量的统计类型可以是平均值、瞬时值以及累加值中的至少一种。

具体的，当日志数据包括数据报文时，接收各在接收各站点所发送的数据报文后，处理环节设备对所接收的数据报文进行处理，并将处理后得到的新的数据报文进行输出；在输出处理后的数据报文时，统计数据报文的报文输出量。当日志数据包括数据记录时，在接收到各站点所发送的数据记录后，处理环节设备对所接收的数据记录进行处理，并将处理后得到的新的数据记录进行输出；在输出处理后的数据记录时，统计数据记录的记录输出量。

S130、若所述输出量与所述接收量的数据变化率大于设定数量阈值，则确定当前设备存在数据异常。

示例性地，当日志数据包括数据报文时，可以计算报文输出量与报文接收量之间的绝对差值为报文差值；确定报文差值与报文接收量的比值为报文变化率；若该报文变化率大于设定报文阈值，则确定当前设备存在数据异常。其中，设定报文阈值由技术人员根据经验值设定。示例性地，设定报文阈值为5％。

具体的，当报文接收量为接收的报文数量时，相应的报文输出量为输出的报文数量，设定报文阈值为预先设定的报文数量阈值。当报文接收量为接收的报文流量时，相应的报文输出量为输出的报文流量，设定报文阈值为预先设定的报文流量阈值。需要说明的是，当报文输出量包括输出的报文数量和输出的报文流量时，当报文数量的变化率大于报文数量阈值，或者报文流量的变化率大于报文流量阈值时，均确定当前设备存在数据异常。

示例性地，当日志数据包括数据记录时，可以计算记录接收量与记录输出量之间的绝对差值为记录差值，确定记录差值与记录接收量的比值为记录变化率；若该记录数量变化率大于设定记录阈值，则确定当前设备存在数据异常。其中，设定记录阈值由技术人员根据经验值设定。示例性地，设定记录阈值为5％。优选地，设定记录阈值和设定报文阈值数值相同。

具体的，当记录接收量为接收的记录数量时，相应的记录输出量为输出的记录数量，设定记录阈值为预先设定的记录数量阈值。当记录接收量为接收的记录字节数时，相应的记录输出量为输出的记录字节数，设定记录阈值为预先设定的记录字节阈值。需要说明的是，当记录输出量包括输出的记录数量和输出的记录字节数时，当记录数量的变化率大于记录数量阈值，或记录字节数的变化率大于记录字节阈值时，均确定当前设备存在数据异常。

可以理解的是，上述数据异常检测方法可以应用于一个处理环节设备，或者是至少两个通信连接的处理环节设备，还可以是一个处理环节设备中所包含的至少一个数据处理模块。

本发明实施例通过接收日志数据，并统计日志数据的接收量；统计对日志数据进行数据处理后，所输出数据的输出量；若输出量与接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

为了进一步确定处理环节设备产生数据异常的原因，便于技术人员有针对性的对设备进行维修维护，进一步地，该数据异常检测方法还包括：获取当前设备的异常状态位，根据所述异常状态位确定产生功能异常的处理端口。

其中，异常状态位用于表征该处理环节设备是否存在功能异常，同时还标识出现功能异常的处理端口。

具体的，各处理环节设备通过自检确定本设备是否存在功能异常，并在存在功能异常时，根据产生功能异常的端口信息生成异常状态位，存储在处理环节设备本地。当检测到处理环节设备的数据异常或将要进行设备异常检测时，获取异常状态位，并根据所获取的异常状态位确定存在功能异常的端口信息。

在上述各实施例的技术方案的基础上，进一步地，在确定输出量与所述接收量的数据变化率之前，还包括：获取进行数据处理时所包含的各处理指令，并确定所述处理指令中是否包括数据丢弃指令；在处理指令包括数据丢弃指令时，确定进行数据处理所丢弃数据的数据量；根据所丢弃数据的数据量与所述输出量的和值，更新所述输出量。其中，数据丢弃指令包括数据去重操作指令。

可以理解的是，还可以确定所丢弃数据的数据量与输入量的比值为丢弃比率；将数据变化率与丢弃比率的差值，更新数据变化率；在更新后的数据变化率大于设定阈值时，确定当前设备存在数据异常。

本发明实施例通过确定数据处理时的处理指令包括数据丢弃指令时，将正常丢弃的数据量与输出量求和，将和值与输入量的数据变化率与设定阈值重新比较，确定数据处理设备是否存在数据异常，进而排除由于数据正常处理导致的数据记录标识的丢失的情况，进一步提高数据异常检测的准确性。

实施例二

图2是本发明实施例二中的一种数据异常检测方法的流程图。本发明实施例在上述各实施例的技术方案的基础上，进行了细分优化。

进一步地，将操作“统计所述日志数据的接收量”细分为“根据所接收的日志数据的输入属性对所述日志数据进行统计，得到所述日志数据的接收量；其中，所述输入属性包括数据接收时间段、数据类型以及数据源类型中的至少一种”；相应的，将操作“统计对所述日志数据进行数据处理后，所输出数据的输出量”细分为“对日志数据进行数据处理后，根据输出属性对所输出数据的进行统计，得到所输出数据的输出量；其中，所述输出属性包括数据生成时间段、所述数据类型以及所述数据源类型中的至少一种；所述数据生成时间段与所述数据接收时间段相对应”，以实现数据分段统计，进一步提高了数据异常检测的准确性。

如图2所示的数据异常检测方法，包括：

S210、接收日志数据，并根据所接收的日志数据的输入属性对所述日志数据进行统计，得到所述日志数据的接收量。

其中，输入属性包括数据接收时间段、数据类型以及数据源类型中的至少一种。

其中，数据类型包括结构化数据和非结构化数据，用于区分数据；数据源类型可以理解为所接收的日志数据的站点标识，用于区分数据源。

S220、对日志数据进行数据处理后，根据输出属性对所输出数据的进行统计，得到所输出数据的输出量。

其中，所述输出属性包括数据生成时间段、所述数据类型以及所述数据源类型中的至少一种；所述数据生成时间段与所述数据接收时间段相对应。

具体的，统计所接收日志数据的接收量以及对应的输出数据的输出量的方式，可以包括下述方式的至少一种。

方式一：接收日志数据，并根据日志数据的接收时间段对日志数据进行统计，得到日志数据的时间接收总量和/或单位时间接收量；当接收到日志数据后，处理环节设备对所接收的日志数据进行处理后，输出处理后的日志数据；根据所输出数据的生成时间段对所输出数据进行统计，得到所输出数据的时间生成总量和/或单位时间输出量；其中，接收时间段的时间长度与生成时间段的时间长度相同。例如，接收时间段为09:00-09:10，相应的生成时间段为09:02-09:12，其中对日志数据进行处理的时间长度为2分钟。

方式二：接收日志数据，并根据日志数据的数据类型对日志数据进行统计，得到同一数据类型的日志数据的类型接收量；当接收到日志数据后，处理环节设备对所接收的日志数据进行处理后，输出处理后的日志数据；根据所输出的数据的数据类型进行统计，得到所输出数据的类型输出量。

方式三：接收日志数据，并根据日志数据的数据源类型对日志数据进行统计，得到同一数据源类型的日志数据的源类型接收量；当接收到日志数据后，处理环节设备对所接收的日志数据进行处理后，输出处理后的日志数据；根据所输出的数据的源数据类型进行统计，得到所输出数据的源类型输出量。

S230、判断所述输出量与接收量的数据变化率是否大于设定阈值；如果是，则执行S240；如果否，则执行S250。

可选地，计算时间输出总量与时间接收总量的绝对差值作为时间输出总差值；确定时间输出总差值与时间接收总量的比值为时间输出总变化率；当时间输出总变化率大于设定时间总阈值，则确定当前设备存在数据异常。

或者可选地，计算单位时间输出量与单位时间接收量的绝对差值作为单位时间输出差值；确定单位时间输出差值与单位时间接收量的比值为单位时间输出变化率；若单位时间输出变化率大于设定单位时间阈值，则确定当前设备存在数据异常。

或者可选地，计算类型输出量与类型接收量的绝对差值作为类型输出差值；确定类型输出差值与类型接收量的比值为类型输出变化率；若类型输出变化率大于设定类型阈值，则确定当前设备存在数据异常。

或者可选地，计算源类型输出量与源类型接收量的绝对差值作为源类型输出差值；确定源类型输出差值与源类型接收量的比值为源类型输出变化率；若源类型输出变化率大于设定源类型阈值，则确定当前设备存在数据异常。

其中，设定时间总阈值、设定单位时间阈值、设定类型阈值以及设定源类型阈值由技术人员根据经验值设定。其中，设定时间总阈值、设定单位时间阈值、设定类型阈值以及设定源类型阈值可以相同，也可以不同。优选地，将上述各阈值设置为相同值，例如是5％。

S240、确定当前设备存在数据异常。

S250、确定当前设备不存在数据异常。

本发明实施例通过将输入量和输出量的统计步骤细化为根据输入属性对日志数据进行统计，根据与输入属性相对应的输出属性，对处理日志数据的所输出数据进行统计，进而实现对日志数据和对应的所输出数据的分段统计，通过将分段后的输入量和输出量进行比较，增加了输入量和输出量的对比维度，进而提供了数据异常检测的准确性。

实施例三

图3是本发明实施例三中的一种数据异常检测装置的结构图。本发明实施例适用于对接收大量数据的数据接收系统所接收的数据是否存在异常进行检测的情况，该装置由软件和/或硬件实现，并具体配置于数据接收系统中的处理环节设备中。如图3所示的数据异常检测装置，包括：输入统计模块310，输出统计模块320以及异常确定模块330。

输入统计模块310，用于接收日志数据，并统计所述日志数据的接收量；

输出统计模块320，用于统计对所述日志数据进行数据处理后，所输出数据的输出量；

异常确定模块330，用于在所述输出量与所述接收量的数据变化率大于设定阈值，确定当前设备存在数据异常。

本发明实施例通过输入统计模块接收日志数据，并统计日志数据的接收量；通过输出统计模块统计对日志数据进行数据处理后，所输出数据的输出量；通过异常确定模块在输出量与接收量的数据变化率大于设定阈值，确定当前设备存在数据异常。上述技术方案通过接收的日志数据和对日志数据进行处理后输出的输出数据之间的数量和/或流量的比较，实现了对数据丢失等异常现象的监控和排查，降低了系统的监控成本，提高了监控效率和监控精度。

进一步地，所述输入统计模块310，具体用于：

根据所接收的日志数据的输入属性对所述日志数据进行统计，得到所述日志数据的接收量；

其中，所述输入属性包括数据接收时间段、数据类型以及数据源类型中的至少一种；

相应的，所述输出统计模块320，具体用于：

对日志数据进行数据处理后，根据输出属性对所输出数据的进行统计，得到所输出数据的输出量；

其中，所述输出属性包括数据生成时间段、所述数据类型以及所述数据源类型中的至少一种；所述数据生成时间段与所述数据接收时间段相对应。

进一步地，该装置还包括，异常端口确定模块，用于：

获取当前设备的异常状态位，根据所述异常状态位确定产生功能异常的处理端口。

进一步地，所述异常确定模块330，还用于：

获取进行数据处理时所包含的各处理指令，并确定所述处理指令中是否包括数据丢弃指令；

在处理指令包括数据丢弃指令时，确定进行数据处理所丢弃数据的数据量；

根据所丢弃数据的数据量与所述输出量的和值，更新所述输出量。

进一步地，日志数据包括数据报文和/或数据记录。

进一步地，所述接收量包括字节数、数据包数以及流量数中的至少一种；

相应的，所述输出量包括字节数、数据包数以及流量数中的至少一种。

上述数据异常检测装置可执行本发明任意实施例所提供的数据异常检测方法，具备执行数据异常检测方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四中的一种数据异常检测系统的结构图。该系统400包括至少一个处理环节设备410，用于执行上述各实施例的技术方案所提供的一种数据异常检测方法。

实施例五

图5是本发明实施例五中的一种数据异常检测系统的结构图。该系统500包括至少一个处理环节设备510，用于执行上述各实施例的技术方案所提供的一种数据异常检测方法。还包括一致性检测设备520，用于执行另一种数据异常检测方法。

如图6所示的一种数据异常检测方法，应用于一致性检测设备520，包括：

S610、依次获取与当前处理环节设备所关联的各处理环节设备，基于所述待检测数据进行数据处理后得到的处理结果数据。

其中，所述待检测数据包括指定字段标识。

具体的，向当前处理环节设备输入待检测数据，并由当前处理环节设备和与当前处理环节设备通信连接的其他处理环节设备，基于待检测数据进行数据处理。一致性检测设备依次获取各处理环节设备基于待检测数据进行数据处理后得到的处理结果数据。

其中，指定字段标识用于将待检测数据与所接收的日志数据以及在处理环节设备之间所传输的日志数据。其中，日志数据包括数据报文和/或数据记录。需要说明的是，指定字段标识不会基于各处理环节设备进行的数据处理操作而发生改变。

S620、根据包含所述指定字段标识的处理结果数据，与所述待检测数据的数量关系，确定产生数据异常的处理环节设备，并生成异常环节设备表。

具体的，获取各处理环节设备所输出的处理结果数据中，包含指定字段表示的目标处理结果数据；当处理环节设备所输出的目标处理结果数据的数量与输入至该处理环节设备中包含指定字段标识的数据的数量不一致，则确定该处理环节设备存在数据异常；针对产生数据异常的处理环节设备，生成异常环节设备表。

本发明实施例通过性当前处理环节设备输入包括指定字段标识的待检测数据，并依次获取与当前处理环节设备所关联的各处理环节设备，基于待检测数据进行数据处理后得到的处理结果数据；并根据包含指定字段标识的处理结果数据，以及待检测数据的数量关系，确定产生数据异常的处理环节设备，并生成异常环节设备表。上述技术方案通过引入包含指定字段标识的待检测数据，确定同种数据在各处理环节设备中进行数据处理时，输出数据与输入数据之间的一致性，进一步提高了数据异常检测的准确性。

进一步地，该数据异常检测方法，还包括：获取并比较当前处理环节设备与前一处理环节设备的数据记录标识表；将两个数据记录标识表中所包含不一致的数据记录标识与当前处理环节设备，关联存储至所述异常环节设备表中。

其中，数据记录标识表由各处理环节设备根据处理环节设备处理后输出的数据记录所形成的数据记录标识表，并将各数据记录标识表发送中一致性检测设备中加以存储。

具体的，通过业务拨测生方式获取前一处理环节设备的数据记录标识表作为基础数据记录标识表；将当前处理环节设备的当前数据记录标识表与基础数据记录标识表进行比较，并获取存在于基础数据记录标识表，但未存在于当前数据记录标识表中的目标数据记录标识，并将目标数据记录标识关联存储至异常环节设备表中。

本发明实施例通过将相邻两处理环节设备的数据记录标识表进行比较，以检测相邻两处理环节设备在进行数据传输时的一致性，进一步提高了数据异常检测的准确性。

进一步地，在“将两个数据记录标识表中所包含不一致的数据记录标识与当前处理环节设备”之后，在“关联存储至所述异常环节设备表中”之前，还包括：确定前一处理环节设备中是否包含数据丢弃指令；确定基于所述数据丢弃指令对应的丢弃数据；确定所述丢弃数据对应的数据记录标识与所述不一致的异常数据记录标识；将所述异常数据记录标识与前一处理环节设备关联存储至异常环节设备表中。其中，数据丢弃指令包括数据去重操作指令。

本发明实施例通过将前一处理环节设备中的数据丢弃指令对应的丢弃数据，确定数据记录标识存在异常时是否为数据的正常处理所致，进而排除由于数据正常处理导致的数据记录标识的丢失的情况，进一步提高数据异常检测的准确性。

进一步地，该数据异常检测方法，还包括：接收用户输入的待查询数据记录标识，根据所述待查询数据记录标识查询各处理环节设备对应的数据记录标识表；获取不包括所述待查询数据记录标识的数据记录标识表所对应的目标处理环节设备，并将所述待查询数据记录标识和所述目标处理环节设备关联存储。

当接收到的日志数据包括数据记录时，各处理环节设备会在接收、处理以及输出数据记录时，存储数据记录的数据记录标识。例如，可以是数据记录的数据源标识等。

当用户在一致性检测设备的人机交互界面中输入至少一个待查询数据记录标识时，会根据待查询数据记录标识查询各处理环节设备对应的数据记录标识表；获取不包含该待查询数据记录标识的目标数据记录标识表；确定各目标数据记录标识表对应的目标处理环节设备，并将目标处理环节设备与待查询数据记录标识关联存储。可以理解的是，为了方便用户及时了解查询结果，还可以将确定的目标处理环节设备加以显示。

本发明实施例通过指定数据记录标识查询的方式，在各处理环节设备对应的数据记录标识表中查询相应信息，便于用户对指定的数据记录标识对应的数据记录，在数据接收系统中的处理或传输过程中是否存在异常的情况进行查询。

实施例六

图7A是本发明实施例六中的一种数据异常检测方法的示意图；图7B是本发明实施例六中的另一种数据异常检测方法的流程图。本发明实施例在上述各实施例的技术方案的基础上，提供了一种优选实施方式。

如图7A所示的一种数据异常检测方法，应用于处理环节设备，包括：

S701、各处理环节设备接收数据报文或数据记录；继续执行S702A或S702B。

S702A、各处理环节设备在线统计接收的数据报文的报文数量以及报文流量；继续执行S703A。

S702B、各处理环节设备在线统计接收的数据记录的记录数量以及记录字节数；继续执行S703B。

S703A、在处理环节设备对所接收的数据报文进行处理后，在线统计所输出的数据报文的报文数量以及报文流量；继续执行S704A。

S703B、在处理环节设备对所接收的数据记录进行处理后，在线统计所输出的数据记录的记录数量以及记录字节数；继续执行S704B。

S704A、在处理环节设备中包括数据丢弃指令时，计算数据丢弃指令对应丢弃的报文数量与输出的报文数量的和值，更新输出的报文数量；并计算丢弃的报文流量与输出的报文流量的和值，更新输出的报文流量。继续执行S705A。

S704B、在处理环节设备中包括数据丢弃指令时，计算数据丢弃指令对应丢弃的记录数量与输出的记录数量的和值，更新输出的记录数量；并计算丢弃的记录字节数与输出的记录字节数的和值，更新输出的记录字节数。继续执行S705B。

S705A、确定各处理环节设备接收的报文数量与输出的报文数量的第一数据变化率，以及接收的报文流量与输出的报文流量的第二数据变化率；继续执行S706A。

其中，第一数据变化率和第二数据变化率均由技术人员根据经验值设定；其中，第一数据变化率与第二数据变化率可以相同也可以不同。示例性地，第一数据变化率与第二数据变化率均设置为5％。

S705B、确定各处理环节设备接收的记录数量与输出的记录数量的第三数据变化率，以及接收的记录字节数与输出的记录字节数的第三数据变化率；继续执行S706B。

其中，第三数据变化率和第四数据变化率均由技术人员根据经验值设定；其中，第三数据变化率与第四数据变化率可以相同也可以不同。示例性地，第三数据变化率与第四数据变化率均设置为5％。

S706A、若第一数据变化率大于第一阈值，或者第二数据变化率大于第二阈值，则确定处理环节设备存在数据异常；继续执行S707。

S706B、若第三数据变化率大于第三阈值，或者第四数据变化率大于第四阈值，则确定处理环节设备存在数据异常；继续执行S707。

S707、将存在数据异常的处理环节设备的设备标识，生成异常环节设备表。

S708、获取各处理环节设备自检后的异常状态位，将异常状态位标识为异常的处理环节设备在异常环节设备表中备注功能异常的处理端口。

S709、向当前处理环节设备中数据包含指定字段标识的待检测数据，各处理环节设备对待检测数据进行数据处理。

S710、一致性检测设备根据待检测数据对各处理环节设备的数据一致性进行检测。

其中，S710中对数据一致性检测包括S720～S730，具体如下：

S720、一致性检测设备依次获取基于待检测数据的数据处理结果。

S721、当数据处理结果与待检测数据的数量不一致，一致性检测设备确定对应的处理环节设备中丢弃数据的数据丢弃量。

S722、当数据丢弃量与数据处理结果的和值与待检测数据不一致时，确定并存储对应的处理环节设备为异常环节设备。

S723、在接收到用户在界面输入的异常数据记录标识查询指令时，获取各处理环节设备的数据记录标识表，其中数据记录标识表中存储有处理环节设备中所处理的数据记录的数据记录标识。

S724、确定当前处理环节设备与前一处理环节设备的数据记录标识表中包含不一致的数据记录标识时，确定存在差异的数据记录标识为目标数据记录标识。

S725、剔除目标数据记录标识中包含的前一处理环节设备根据数据丢弃指令所丢弃的数据记录对应的数据记录标识，得到异常数据记录标识。

S726、将异常数据记录标识与对应的处理环节设备关联存储。

S727、在接收到数据记录标识查询指令时，根据用户输入的待查询数据记录标识查找各处理环节设备对应的数据记录标识表；

S728、获取不包括待查询数据记录标识的数据记录标识表所对应的目标处理环节设备；

S729、剔除根据数据丢弃指令丢弃数据的目标处理设备，得到异常环节设备；

S730、将待查询数据记录标识与对应的处理环节设备关联存储。

实施例七

本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被数据查询装置执行时实现本发明实施提供的一种数据异常检测方法，包括：接收日志数据，并统计所述日志数据的接收量；统计对所述日志数据进行数据处理后，所输出数据的输出量；若所述输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种数据异常检测方法，其特征在于，包括：

接收日志数据，并统计所述日志数据的接收量；

统计对所述日志数据进行数据处理后，所输出数据的输出量；

若所述输出量与所述接收量的数据变化率大于设定阈值，则确定当前设备存在数据异常。

2.根据权利要求1所述的方法，其特征在于，统计所述日志数据的接收量，包括：

根据所接收的日志数据的输入属性对所述日志数据进行统计，得到所述日志数据的接收量；

其中，所述输入属性包括数据接收时间段、数据类型以及数据源类型中的至少一种；

相应的，所述统计对所述日志数据进行数据处理后，所输出数据的输出量，包括：

对日志数据进行数据处理后，根据输出属性对所输出数据的进行统计，得到所输出数据的输出量；

其中，所述输出属性包括数据生成时间段、所述数据类型以及所述数据源类型中的至少一种；所述数据生成时间段与所述数据接收时间段相对应。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取当前设备的异常状态位，根据所述异常状态位确定产生功能异常的处理端口。

4.根据权利要求1所述的方法，其特征在于，在确定输出量与所述接收量的数据变化率之前，还包括：

获取进行数据处理时所包含的各处理指令，并确定所述处理指令中是否包括数据丢弃指令；

在处理指令包括数据丢弃指令时，确定进行数据处理所丢弃数据的数据量；

根据所丢弃数据的数据量与所述输出量的和值，更新所述输出量。

5.根据权利要求1-4任一项所述的方法，其特征在于，日志数据包括数据报文和/或数据记录。

6.根据权利要求5所述的方法，其特征在于，所述接收量包括字节数、数据包数、记录行数以及流量数中的至少一种；

相应的，所述输出量包括字节数、数据包数、记录行数以及流量数中的至少一种。

7.一种数据异常检测装置，其特征在于，包括：

输入统计模块，用于接收日志数据，并统计所述日志数据的接收量；

输出统计模块，用于统计对所述日志数据进行数据处理后，所输出数据的输出量；

异常确定模块，用于在所述输出量与所述接收量的数据变化率大于设定阈值，确定当前设备存在数据异常。

8.一种数据异常检测系统，其特征在于，包括至少一个处理环节设备，用于执行如权利要求1-6任一项所述的一种数据异常检测方法。

9.根据权利要求8所述的系统，其特征在于，还包括一致性检测设备；

所述一致性检测设备用于执行数据异常检测方法，包括：

依次获取与当前处理环节设备所关联的各处理环节设备，基于待检测数据进行数据处理后得到的处理结果数据；其中，所述待检测数据包括指定字段标识；

根据包含所述指定字段标识的处理结果数据，与所述待检测数据的数量关系，确定产生数据异常的处理环节设备，并生成异常环节设备表。

10.根据权利要求9所述的系统，其特征在于，所述一致性检测设备所执行的数据异常检测方法，还包括：

获取并比较当前处理环节设备与前一处理环节设备的数据记录标识表；

将两个数据记录标识表中所包含不一致的数据记录标识与当前处理环节设备，关联存储至所述异常环节设备表中。

11.根据权利要求9所述的系统，其特征在于，所述一致性检测设备所执行的数据异常检测方法，还包括：

接收用户输入的待查询数据记录标识，根据所述数据记录标识查询各处理环节设备对应的数据记录标识表；

获取不包括所述待查询数据记录标识的数据记录标识表所对应的目标处理环节设备，并将所述待查询数据记录标识和所述目标处理环节设备关联存储。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的一种数据异常检测方法。