CN115563156A - 流数据信息的校验方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供的一种流数据信息的校验方法、装置、设备及存储介质，涉及数据信息处理技术领域，通过获取流数据信息；根据流数据信息在配置信息中调取流数据信息对应的校验规则；根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果；其中，元数据信息表是按照不同类型的历史流数据信息预先配置的；若校验结果为正常，则将流数据信息传递至预设的数据库中。采用本技术方案，能够解决数据清理过程的时效性问题，以实现达到秒级的时效性的目的。

Description

流数据信息的校验方法、装置、设备及存储介质

技术领域

本申请涉及数据信息处理技术领域，尤其涉及一种流数据信息的校验方法、装置、设备及存储介质。

背景技术

在互联网或者银行内部的系统中，运行着上千上万个子系统，每个子系统都会产生各种类型的数据，不管是监控数据或者业务数据，因为历史版本或不同的规范要求，产生的数据格式或者数据内容各种各样，在数据进入下游系统处理时需要对数据进行各种预处理，对下游系统产生非常大的压力，为了兼容各种格式的数据内容，无法使用统一的规则来处理，需要再对数据进行一次清理。

目前数据采集存储主要的方式是将采集的数据发送到kafka上，下游应用系统根据需要从kafka上获取不同的数据，在数据进入下游应用系统业务逻辑处理前，需要先进行一次的数据清理操作，清理的方式是通过定时启动批计算作业来操作清洗数据，主要是调度服务申请计算资源，启动批量计算作业，再执行批量数据。从批量数据的流程可以看出，每次执行一次批量计算，都需要启动一次批量计算的程序，处理的数据越多，需要的计算资源越多，中间的存储资源要求越多，处理的时间也会越久，时效性也就越差。

因此，亟需一种流数据信息的校验方法，能够解决数据清理过程的时效性问题，以实现达到秒级的时效性的目的。

发明内容

本申请提供一种流数据信息的校验方法、装置、设备及存储介质，能够解决数据清理过程的时效性问题，以实现达到秒级的时效性的目的。

第一方面，本申请提供一种流数据信息的校验方法，包括：

获取流数据信息；

根据所述流数据信息在配置信息中调取所述流数据信息对应的校验规则；

根据所述校验规则中的所述元数据信息表，对所述流数据信息进行校验，得到校验结果；其中，所述元数据信息表是按照不同类型的历史流数据信息预先配置的；

若所述校验结果为正常，则将所述流数据信息传递至预设的数据库中。

在一个示例中，所述根据所述校验规则中的所述元数据信息表，对所述流数据信息进行校验，得到校验结果，包括：

对所述流数据信息进行解析，得到解析结果；

将所述解析结果与所述元数据信息表进行比对，得到校验结果。

在一个示例中，所述方法还包括：

若所述校验结果为异常，则记录所述校验结果；

对所述校验结果进行分析，得到分析结果。

在一个示例中，所述对所述校验结果进行分析，得到分析结果，包括：

若所述分析结果为满足预设的规则，则将预设数值替换所述校验结果中的异常数值；

若所述分析结果为不满足预设的规则，则将所述校验结果进行删除。

在一个示例中，所述方法还包括：

若所述校验结果为异常的流数据的数量超过阈值，则发送校验失败的消息至用户端，以提醒用户调整所述校验规则或调整所述阈值，得到调整后的校验规则。

在一个示例中，所述方法还包括：

将所述调整后的校验规则在配置信息中替换原始的校验规则。

第二方面，本申请提供一种流数据信息的校验装置，所述装置包括：

获取单元，用于获取流数据信息；

调取单元，用于根据所述流数据信息在配置信息中调取所述流数据信息对应的校验规则；

校验单元，用于根据所述校验规则中的元数据信息表，对所述流数据信息进行校验，得到校验结果；其中，所述元数据信息表是按照不同类型的历史流数据信息预先配置的；

传递单元，用于若所述校验结果为正常，则将所述流数据信息传递至预设的数据库中。

在一个示例中，校验单元，包括：

解析模块，用于对所述流数据信息进行解析，得到解析结果；

比对模块，用于将所述解析结果与所述元数据信息表进行比对，得到校验结果。

在一个示例中，所述装置还包括：

记录单元，用于若所述校验结果为异常，则记录所述校验结果；

分析单元，用于对所述校验结果进行分析，得到分析结果。

在一个示例中，分析单元，包括：

替换模块，用于若所述分析结果为满足预设的规则，则将预设数值替换所述校验结果中的异常数值；

删除模块，用于若所述分析结果为不满足预设的规则，则将所述校验结果进行删除。

在一个示例中，所述装置还包括：

发送单元，用于若所述校验结果为异常的流数据的数量超过阈值，则发送校验失败的消息至用户端，以提醒用户调整所述校验规则或调整所述阈值，得到调整后的校验规则。

在一个示例中，所述装置还包括：

替换单元，用于将所述调整后的校验规则在配置信息中替换原始的校验规则。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。

本申请提供的一种流数据信息的校验方法、装置、设备及存储介质，通过获取流数据信息；根据流数据信息在配置信息中调取流数据信息对应的校验规则；根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果；其中，元数据信息表是按照不同类型的历史流数据信息预先配置的；若校验结果为正常，则将流数据信息传递至预设的数据库中。采用本技术方案，能够解决数据清理过程的时效性问题，以实现达到秒级的时效性的目的。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据本申请实施例一提供的一种流数据信息的校验方法的流程示意图；

图2是根据本申请实施例二提供的一种流数据信息的校验方法的流程示意图；

图3是根据本申请实施例三提供的一种流数据信息的校验装置的结构示意图；

图4是根据本申请实施例四提供的一种流数据信息的校验装置的结构示意图；

图5是根据一示例性实施例示出的一种电子设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

目前，定时启动批计算作业来操作清洗数据，主要流程如下：调度服务申请计算资源，启动批量计算作业，再执行批作业的执行程序；批计算作业订阅，消费一定大小的数据、或者一定时间范围内的数据，将数据存储到内存或者磁盘上；根据数据清理规则对每条数据进行数据的检查和处理，执行完之后存储到临时存储文件系统中；批量将处理之后的数据写入到数据库存储里面。从批量处理数据的流程可以看出，每次执行一次批量操作，都需要启动一次作业，处理的数据量越多，需要的计算资源越多，中间的存储资源要求越多，处理的时间也会越久，时效性也就越差，如果要提升时效性，可以通过多次跑批计算作业的方式来提升，但是如果频率太高的话，那么每次通过调度启动作业也会消耗很多时间和资源，而且也很难达到部分场景需要的实效性要求。

本申请提供的流数据信息的校验方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1是根据本申请实施例一提供的一种流数据信息的校验方法的流程示意图。实施例一中包括如下步骤：

S101、获取流数据信息。

本实施例中，流数据信息是从kafka中获取的，其中，kafka是一个开源流处理平台，可以处理用户在网站中的动作流数据信息。其中，流数据信息是从互联网或者银行系统内部的系统中产生的数据信息。流数据信息由于产生的方式不同，因此具备不同的格式和内容。具体的，本申请的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

本实施例中，流数据信息是能够用于实时计算的数据信息，并在实时数据处理框架Flink中进行处理。这样设置的好处是在大数据领域大部分的批计算作业是每天凌晨调度执行一次，一次执行过去一天的数据量，并发数据量大、需要的资源数量多、处理时间长，时效性低，基本上都是T+1的时间延迟，而采用实时数据处理框架Flink的数据信息校验作业，作业一直都是运行状态，有流数据信息及时处理，基本上可以实现秒级的时效性。

S102、根据流数据信息在配置信息中调取流数据信息对应的校验规则。

本实施例中，在获取流数据信息后，就对流数据信息进行实时处理，根据流数据信息调取对应的校验规则，并按照校验规则，对流数据信息进行校验，校验过程主要是对流数据信息的数据格式和数据内容进行数据清洗的过程。在对流数据信息进行校验后，得到校验结果。本实施例中，元数据信息表为预先配置的，在从各个子系统中获取流数据信息后，就在实时数据处理框架Flink将流数据信息按照不同的类别建立元数据信息表。其中，实时数据处理框架Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

本实施例中，采用基于实时数据处理框架Flink搭建数据处理平台，也可以采用其他框架，比如spark streaming，两者都是开源的实时计算处理框架，但是相对于Flink而言，spark streaming框架基本不再更新，技术迭代基本停滞，而Flink目前正在快速的发展，在流数据的处理上，Flink也有更好的性能优势。

本实施例中，配置信息是配置在实时数据处理框架Flink中的，一个流数据信息校验作业，可以配置一个或者多个实时流数据对应的元数据信息表，一个元数据信息表就是一个校验规则，多个元数据信息表就是多个校验规则。因此，根据流数据信息可以调用的校验规则可以是多个。

S103、根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果。

本实施例中，元数据信息表中包含字段名、字段的类型、字段的精度或者字段的长度，根据上述内容可以对每一条流数据信息中的每一个字段进行一一校验，得到校验结果。

S104、若校验结果为正常，则将流数据信息传递至预设的数据库中。

本实施例中，若元数据信息表中的数据内容和数据格式与流数据信息的数据内容和数据格式相同，则校验结果为正常，则将流数据信息传递至预设的数据库中，并可以通过预设的数据库将流数据信息传递至下游系统。

本申请提供的一种流数据信息的校验方法，通过获取流数据信息；根据流数据信息对应的校验规则，对流数据信息进行校验，得到校验结果；其中，校验规则包括元数据信息表；若校验结果为正常，则将流数据信息传递至预设的数据库中。采用本技术方案，能够基于已经搭建的数据处理平台，根据不同的流数据做不同的校验规则，并调用校验规则实现流数据校验操作。采用已经搭建的数据处理平台，在计算资源和存储资源的使用上会更加优化，实时计算作业可以根据需要申请计算资源，中间的状态数据都是存储在内存中的，不需要大量的外部文件系统存储临时文件，所以相对于批量计算的作业，会更节省计算资源和存储资源。

图2是根据本申请实施例二提供的一种流数据信息的校验方法的流程示意图。实施例二中包括如下步骤：

S201、获取流数据信息。

示例性地，本步骤可以参见上述步骤S101，不再赘述。

S202、根据流数据信息在配置信息中调取流数据信息对应的校验规则。

示例性地，本步骤可以参见上述步骤S102，不再赘述。

S203、根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果。

示例性地，本步骤可以参见上述步骤S103，不再赘述。

在一个示例中，根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果，包括：

对流数据信息进行解析，得到解析结果；

将解析结果与元数据信息表进行比对，得到校验结果。

本实施例中，对流数据信息进行解析，得到流数据信息中的字段名、字段的类型、字段的精度和字段的长度，将流数据信息中的内容与元数据信息表进行比对，得到校验结果。

S204、若校验结果为正常，则将流数据信息传递至预设的数据库中。

示例性地，本步骤可以参见上述步骤S104，不再赘述。

S205、若校验结果为异常，则记录校验结果；对校验结果进行分析，得到分析结果。

本实施例中，在校验结果异常时，将异常的校验结果进行记录，并将校验结果根据一定的规则存储到kafka中，可以进行实时的异常数据分析或者统计，得到分析结果。

在一个示例中，对校验结果进行分析，得到分析结果，包括：

若分析结果为满足预设的规则，则将预设数值替换校验结果中的异常数值；

若分析结果为不满足预设的规则，则将校验结果进行删除。

本实施例中，预设的规则为数值错误或者数值缺失，则将预设数值替换校验结果中的异常数值，若分析结果不满足预设的规则，则将校验结果进行删除。

S206、若校验结果为异常的流数据的数量超过阈值，则发送校验失败的消息至用户端，以提醒用户调整校验规则或调整阈值，得到调整后的校验规则。

本实施例中，阈值可以是用户预先进行设置的数值，若异常的流数据的数量超过阈值，则失败率比较高，则可以发送校验失败的消息至用户端，以使用户知晓流数据信息的校验质量，以提醒用户调整校验规则或调整阈值，得到调整后的校验规则。这样设置的好处是，现有技术中用户无法及时感知异常流数据信息，基于批量计算的数据信息校验，需要等到一个批次的流数据信息处理完，并进行汇总之后，才能得到异常流数据信息的数量或者比例，但使用基于实时数据处理框架Flink实时计算的流数据信息校验方法，能够实时汇总统计作业的异常流数据信息的总数和失败率，并可以根据作业失败配置，执行失败操作，让用户及时感知流数据信息异常，及时介入异常流数据信息的处理。

S207、将调整后的校验规则在配置信息中替换原始的校验规则。

本实施例中，将调整后的校验规则重新在配置信息中进行配置，进而替换掉原始的校验规则，在下一次调用校验规则时，调用调整后的校验规则。

本申请提供的一种流数据信息的校验方法，在校验结果为异常，能够对校验结果进行分析，得到分析结果，并对分析结果进行进一步地处理，可以防止当流数据信息出现抖动或者超出预期的校验失败率时，及时让作业终止，避免给下游系统输出大量的异常流数据信息，同时可以让用户感知当前流数据信息校验过程中的问题，及时调整流数据信息校验规则或者修改失败配置。

图3是根据本申请实施例三提供的一种流数据信息的校验装置的结构示意图。具体的，实施例三的装置30中包括：

获取单元301，用于获取流数据信息。

调取单元302，用于根据流数据信息在配置信息中调取流数据信息对应的校验规则。

校验单元303，用于根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果；其中，元数据信息表是按照不同类型的历史流数据信息预先配置的。

传递单元304，用于若校验结果为正常，则将流数据信息传递至预设的数据库中。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4是根据本申请实施例四提供的一种流数据信息的校验装置的结构示意图。具体的，实施例四的装置40中包括：

获取单元401，用于获取流数据信息。

调取单元402，用于根据流数据信息在配置信息中调取流数据信息对应的校验规则。

校验单元403，用于根据校验规则中的元数据信息表，对流数据信息进行校验，得到校验结果；其中，元数据信息表是按照不同类型的历史流数据信息预先配置的。

传递单元404，用于若校验结果为正常，则将流数据信息传递至预设的数据库中。

在一个示例中，校验单元403，包括：

解析模块4031，用于对流数据信息进行解析，得到解析结果。

比对模块4032，用于将解析结果与元数据信息表进行比对，得到校验结果。

在一个示例中，装置还包括：

记录单元405，用于若校验结果为异常，则记录校验结果。

分析单元406，用于对校验结果进行分析，得到分析结果。

在一个示例中，分析单元406，包括：

替换模块4061，用于若分析结果为满足预设的规则，则将预设数值替换校验结果中的异常数值。

删除模块4062，用于若分析结果为不满足预设的规则，则将校验结果进行删除。

在一个示例中，装置还包括：

发送单元407，用于若校验结果为异常的流数据的数量超过阈值，则发送校验失败的消息至用户端，以提醒用户调整校验规则或调整阈值，得到调整后的校验规则。

在一个示例中，装置还包括：

替换单元408，用于将调整后的校验规则在配置信息中替换原始的校验规则。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5是根据一示例性实施例示出的一种电子设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述电子设备的一种流数据信息的校验方法。

本申请还公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本实施例中所述的方法。

本申请以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据电子设备)、或者包括中间件部件的计算系统(例如，应用电子设备)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备，又称为云计算电子设备或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备，或者是结合了区块链的电子设备。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种流数据信息的校验方法，其特征在于，所述方法包括：

获取流数据信息；

根据所述流数据信息在配置信息中调取所述流数据信息对应的校验规则；

根据所述校验规则中的元数据信息表，对所述流数据信息进行校验，得到校验结果；其中，所述元数据信息表是按照不同类型的历史流数据信息预先配置的；

若所述校验结果为正常，则将所述流数据信息传递至预设的数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述校验规则中的所述元数据信息表，对所述流数据信息进行校验，得到校验结果，包括：

对所述流数据信息进行解析，得到解析结果；

将所述解析结果与所述元数据信息表进行比对，得到校验结果。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述校验结果为异常，则记录所述校验结果；

对所述校验结果进行分析，得到分析结果。

4.根据权利要求3所述的方法，其特征在于，所述对所述校验结果进行分析，得到分析结果，包括：

若所述分析结果为满足预设的规则，则将预设数值替换所述校验结果中的异常数值；

若所述分析结果为不满足预设的规则，则将所述校验结果进行删除。

5.根据权利要求3-4中任一项所述的方法，其特征在于，所述方法还包括：

若所述校验结果为异常的流数据的数量超过阈值，则发送校验失败的消息至用户端，以提醒用户调整所述校验规则或调整所述阈值，得到调整后的校验规则。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述调整后的校验规则在配置信息中替换原始的校验规则。

7.一种流数据信息的校验装置，其特征在于，所述装置包括：

获取单元，用于获取流数据信息；

调取单元，用于根据所述流数据信息在配置信息中调取所述流数据信息对应的校验规则；

校验单元，用于根据所述校验规则中的元数据信息表，对所述流数据信息进行校验，得到校验结果；其中，所述元数据信息表是按照不同类型的历史流数据信息预先配置的；

传递单元，用于若所述校验结果为正常，则将所述流数据信息传递至预设的数据库中。

8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

Images