CN110781232A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：实时获取第一数据；将所述第一数据转换为目标格式的第二数据，并将所述第二数据输入队列中；从所述队列中实时获取第二数据，并对所述第二数据进行实时处理，得到候选数据；对所述候选数据进行实时校验，当对所述候选数据校验通过时，得到目标数据。上述数据处理方法、装置、计算机设备和存储介质能够提高数据处理的时效性和效率。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着公司业务的快速发展，衍生了越来越多的实时数据需求，业务部门需要更多清洗加工后的实时数据来进行业务决策(例如实时营销、商城实时报表等)。

然而，目前的数据处理方法，存在效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够效率的数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

实时获取第一数据；

将所述第一数据转换为目标格式的第二数据，并将所述第二数据输入队列中；

从所述队列中实时获取第二数据，并对所述第二数据进行实时处理，得到候选数据；

对所述候选数据进行实时校验，当对所述候选数据校验通过时，得到目标数据。

在其中一个实施例中，所述方法还包括：

检测实时获取第一数据的第一数量；

基于所述第一数量调整输入队列中所述第二数据的第二数量；

所述将所述第二数据输入队列中，包括：

基于所述第二数量将所述第二数据输入队列中。

在其中一个实施例中，所述基于所述第一数量调整输入队列中所述第二数据的第二数量，包括：

当第一数量大于第一阈值时，降低输入队列中所述第二数据的第二数量；

当第一数量小于第二阈值时，提高输入队列中所述第二数据的第二数量；所述第二阈值小于所述第一阈值。

在其中一个实施例中，所述队列包含至少两个子队列；所述将所述第二数据输入队列中，包括：

将所述第二数据输入队列中的至少两个子队列中；所述至少两个子队列并联传输所述第二数据；

所述通过计算引擎从所述队列中实时获取第二数据，包括：

通过计算引擎从所述至少两个子队列中实时获取第二数据。

在其中一个实施例中，所述将所述第一数据转换为目标格式的第二数据之后，还包括：

将所述第二数据存储至缓存中；

当接收到对所述第二数据的重获取指令时，根据所述重获取指令从所述缓存中获取所述第二数据，执行所述将所述第二数据输入队列中步骤。

在其中一个实施例中，对所述候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

在其中一个实施例中，所述方法还包括：

获取所述目标数据对应的应用场景；

根据所述目标数据对应的应用场景，将所述目标数据存储至所述应用场景对应的存储集合中。

一种数据处理装置，所述装置包括：

第一数据获取模块，用于实时获取第一数据；

格式转换模块，用于将所述第一数据转换为目标格式的第二数据，并将所述第二数据输入队列中；

实时处理模块，用于从所述队列中实时获取第二数据，并对所述第二数据进行实时处理，得到候选数据；

校验模块，用于对所述候选数据进行实时校验，当对所述候选数据校验通过时，得到目标数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述数据处理方法、装置、计算机设备和存储介质，通过实时获取第一数据，将第一数据转换为目标格式的第二数据，并将第二数据输入队列中；从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据；对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据，避免了在某个时刻对批量数据进行处理，可以实时对数据进行处理，可以实时输出数据，提高数据处理的时效性，从而提高数据处理的效率。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中调整第二数量步骤的流程示意图；

图4为另一个实施例中数据处理方法的流程示意图；

图5为一个实施例中数据处理装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，计算机设备100可以是终端，也可以是服务器，还可以是其他的设备，不限于此。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据处理方法，包括以下步骤：

步骤202，实时获取第一数据。

第一数据可以是各种格式的数据，如业务数据格式、客户数据格式、日志格式、爬虫数据格式等，不限于此。第一数据也可以是各种数据来源的数据，如存储在MySQL的业务数据、客户数据、应用程序上报的日志、服务器后台日志、互联网爬虫数据、其它一次性导入的外部数据等，不限于此。

第一数据可以包括数据的内容，以及第一数据的属性，如数据量大小、数据的类型、数据的格式、数据的来源等。例如，第一数据的数据量大小可以是8KB(Kilobyte，千字节)；第一数据的类型可以是字符串、文本、语音等其中的至少一种；数据的格式可以是日志、业务数据等；数据的来源可以是服务器、应用程序、MySQL、外部数据等。

实时指的是响应时间很短。也就是说，当第一数据产生时，第一数据产生的时刻即是获取第一数据的时刻。实时获取第一数据可以提高数据获取的时效性。

步骤204，将第一数据转换为目标格式的第二数据，并将第二数据输入队列中。

第二数据指的是转换格式之后的数据。目标格式可以是如业务数据格式、客户数据格式、日志格式、爬虫数据格式等，不限于此。队列可以是kafka队列，也可以是MQ(Message Queuing)队列，还可以是其他队列，不限于此。

具体地，可以通过格式转换的适配器将第一数据转换为目标格式的第二数据。其中，格式转换的适配器可以是RTL(realtime extract-transform-load)。其中，RTL是一套实时的数据转换、抽取与加载工具。通过监控数据库日志，模拟备机，实时捕捉数据的变化，实现分钟级落库。在此基础上，数据可进行全新实时演示，并为实时应用与实时决策提供数据依据。

在队列中，可以包括一个或者多个子队列。第二数据可以通过各个子队列将数据进行传输。

在一个实施例中，第二数据可以为流式数据。流式数据指的是实时数据流。通过格式转换的适配器将第一数据转换为目标格式的第二数据，且第二数据为流式数据。

步骤206，从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据。

具体地，可以通过计算引擎从队列中实时获取第二数据。计算引擎指的是用于计算的应用程序，可以通过预设的计算规则对数据进行计算处理。计算引擎可以是Flink，也可以是Storm，还可以是Spark Streaming，不限于此。其中，Flink指的是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink可以在较多的集群环境中运行。

通过计算引擎对第二数据进行实时处理，可以是对第二数据进行码值映射，极值计算，短临统计中的至少一种。

码值映射，如第二数据的字段A的性别信息使用的是“男，女”，通过计算引擎将该字段A的性别信息映射为内部标准码”M,W”。

极值计算，可以计算第二数据中指定key值的最大值、最小值、最早值、最晚值等，如计算客户最大借据金额、客户最早注册时间等，此类极值是三元运算方式，可以通过以下基本逻辑为“a>b？target＝a:target＝b”进行运算，即当a>b时，输出a；当a<＝b时，输出b。

短临统计指的是统计较小级别的数据。例如，对小时、分钟级别的数据进行统计或者计算。

在一个实施例中，从队列中实时获取第二数据之后，可以对第二数据进行加工处理，如打包、压缩、加密、解密等。

在一个实施例中，从队列中实时获取第二数据之后，可以对第二数据进行校验，筛选掉不符合预设要求的第二数据。例如可以校验第二数据是否为目标格式，当第二数据不是目标格式时，去除该第二数。又如，校验第二数据是否为乱码或者错误的数据，当第二数据为乱码或者错误的数据时，去除该第二数据。

步骤208，对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据。

对候选数据进行实时校验，当对候选数据校验通过时，即该候选数据满足预设的要求，将该候选数据作为目标数据进行输出。

具体地，对候选数据进行实时监控，获取各个候选数据中需要进行校验的字段，对该字段进行实时校验。

校验可以是离散码值校验，取值范围校验，统计指标校验等其中的至少一种。在其他实施例中，还可以是密钥校验，匹配校验，不限于此。

传统的对基础数据进行处理方法，通过是采用T+1的方式进行抽取，存在数据处理效率较低的问题。T+1时数据抽取的方式之一，通过批量的方式延迟一天/一小时抽取，例如：周三抽取周二的数据。

而在本申请中，通过实时获取第一数据，将第一数据转换为目标格式的第二数据，并将第二数据输入队列中；从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据；对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据，避免了在某个时刻对批量数据进行处理，可以实时对数据进行处理，可以实时输出数据，提高数据处理的时效性，从而提高数据处理的效率。

在一个实施例中，如图3所示，上述方法还包括：

步骤302，检测实时获取第一数据的第一数量。

第一数量指的是某一时刻计算机设备实时获取的第一数据的数量。第一数量越高，则获取的第一数据越多；第一数量越低，则获取的第一数据越少。

步骤304，基于第一数量调整输入队列中第二数据的第二数量。

第二数量指的是某一时刻计算机设备将第二数据输入队列中的数量。第二数量越高，则在某一时刻输入队列中的第二数据越多；第二数量越低，则在某一时刻输入队列中的第二数据越少。

将第二数据输入队列中，包括：

步骤306，基于第二数量将第二数据输入队列中。

可以理解的是，当实时获取第一数据的第一数量增大时，则实时获取的第一数据增多，使得转换为第二数据的第二数量也增多，输入队列中的第二数据的数量也增多。而当输入队列中的第二数据的数量增多时，容易造成数据的堵塞，导致数据延迟增大或者数据丢失等问题。因此，基于第一数量调整第二数据输入队列中的第二数量，可以系统的保证稳定性。

在一个实施例中，基于第一数量调整输入队列中第二数据的第二数量，包括：当第一数量大于第一阈值时，降低输入队列中第二数据的第二数量；当第一数量小于第二阈值时，提高输入队列中第二数据的第二数量；第二阈值小于第一阈值。

当第一数量大于第一阈值时，即第一数量较大，从而导致转换为第二数据的第二数量较大，因此可以降低第二数据输入队列中的第二数量。当第一数量小于第二阈值时，即第一数量较小，从而导致转换为第二数据的第二数量较小，因此可以提高第二数据输入队列中的第二数量。

例如，第一阈值为100个，第二数量为10个，当第一数量为120个时，表示任意时刻计算机设备实时获取的第一数据的数量为120个，大于第一阈值100个，则第一数量较高，对应的转换为第二数据的第二数量也较高，可以降低第二数据输入队列中的第二数量。当第一数量为5个时，表示任意时刻计算机设备实时获取的第一数据的数量为5个，小于第二阈值10个，则第一数量较低，对应的转换为第二数据的第二数量也较低，可以提高第二数据输入队列中的第二数量。

上述数据处理方法，当第一数量大于第一阈值时，降低输入队列中第二数据的第二数量；当第一数量小于第二阈值时，提高输入队列中第二数据的第二数量，可以将第二数量调整至较合适的值，保证上述数据处理系统的稳定性。降低硬件资源的使用峰谷差，提高了硬件资源的使用率，降低数据计算成本。

在保证数据处理系统稳定性的基础上，可以增大第一数量和第二数量，以保证数据处理系统具有高效和多频次的特点，在保证数据流高效地流转的前提下，能满足业务部门对目标数据的时效性要求。

在一个实施例中，队列包含至少两个子队列；将第二数据输入队列中，包括：将第二数据输入队列中的至少两个子队列中。从所述队列中实时获取第二数据，包括：从所述至少两个子队列中实时获取第二数据。

队列中可以包括至少两个子队列。至少两个子队列并联传输第二数据，即每个子队列均可以单独传输数据。可以理解的是，至少两个子队列还可以存储数据。当队列中的其中一个子队列发生故障时，可以将第二数据输入队列中的其他子队列中，避免了单点故障而造成整个数据处理系统无法工作，提高数据处理过程中的准确性。

例如，队列中包括三个子队列，分别为子队列A、子队列B和子队列C，当子队列A发生故障时，可以将第二数据输入子队列B和子队列C中，再通过计算引擎从子队列B和子队列C中实时获取第二数据。

在一个实施例中，将第一数据转换为目标格式的第二数据之后，还包括：将第二数据存储至缓存中；当接收到对第二数据的重获取指令时，根据重获取指令从缓存中获取第二数据，执行将第二数据输入队列中步骤。

缓存是指可以进行高速数据交换的存储器，它先于内存与CPU(centralprocessing unit，中央处理器)交换数据，因此速率很快。

在一个实施例中，当目标数据丢失，或者第二数据在数据处理的过程中发生故障，无法输入目标数据时，可以生成对第二数据的重获取指令。对第二数据的重获取指令可以是执行数据处理的计算机设备中生成的，也可以其他的接收该目标数据的接收端生成的，不限于此。

具体地，当接收端在预设时长内未接收到目标数据，可以首先生成对目标数据的重获取指令，并发送至执行数据处理的计算机设备中。当执行数据处理的计算机设备接收到对目标数据的重获取指令时，可以查找到该重获取指令中的目标数据所对应的第二数据的标识，根据该第二数据的标识生成对该第二数据的重获取指令。

当将第一数据转换为目标格式的第二数据之后，可以将第二数据存储至缓存中。当接收到对第二数据的重获取指令时，根据该对第二数据的重获取指令从缓存中查找到第二数据，并执行将第二数据输入队列中步骤。

在对第二数据的重获取指令中，可以包含第二数据的标识。第二数据的标识可以是第二数据的字符串、名称、符号、图片等，不限于此。计算机设备将第二数据的标识与缓存中所存储的各个数据的标识进行匹配，当匹配成功时，缓存中该数据即为第二数据，获取该第二数据。

上述数据处理方法，将第一数据转换为目标格式的第二数据之后，将第二数据存储至缓存中，当第二数据丢失或者数据处理系统发生故障时，可以接收到对第二数据的重获取指令时，根据重获取指令从缓存中重新获取第二数据，保证可以准确输入目标数据，将第二数据存储在缓存中，可以提高获取第二数据的速度。

在一个实施例中，对候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

离散码值校验指的是对候选数据对应的离散码值进行校验。例如，在计算机设备中，定义离散码值的参考取值范围是“A\B\C”，当候选数据的离散码值为“X”时，则对该候选数据的离散码值校验不通过；当候选数据的离散码值为“A”时，则对该候选数据的离散码值校验通过。

取值范围校验指的是对候选数据对应的取值范围进行校验。例如，贷款金额的参考取值范围是[0,最大可用额度]，当候选数据对应的贷款金额超过最大可用额度时，或者当候选数据对应的贷款金额为负数时，则对该候选数据的取值范围校验不通过；当候选数据对应的贷款金额处于贷款金额的参考取值范围内时，则对该候选数据的取值范围校验通过。

统计指标校验指的是对候选数据统计的指标进行校验。例如，对候选数据统计的指标为业务量，当统计候选数据的业务量大于第一阈值时，对候选数据的统计指标校验不通过；当统计候选数据的业务量小于第二阈值时，对候选数据的统计指标校验不通过；当产生候选数据的时间戳未处于预设时间范围内时，对候选数据的统计指标校验不通过；不限于此。

上述数据处理方法，对候选数据进行实时校验，可以提高得到的目标数据的准确性。

在一个实施例中，还可以对各个候选数据进行监控，能够在短时间内快速反映出候选数据或者对应的业务系统出现的数据问题以及异常的数据波动，使得相关人员能够及时且快速处理这些异常问题。

在一个实施例中，上述方法还包括：获取目标数据对应的应用场景；根据目标数据对应的应用场景，将目标数据存储至应用场景对应的存储集合中。

目标数据对应的应用场景可以是实时K-V查询服务、实时数据集成、实时报表、永久存储、批量分析、财务应用、数据回到数据数据模型体系中并用于第二层模型加工，不限于此。

应用场景对应的存储集合可以是数据库，也可以是数据表，还可以是其他的存储介质，不限于此。例如，当目标数据对应的应用场景为实时K-V查询服务，则目标数据存储至Hbase中；当目标数据对应的应用场景为实时数据集成和实时报表，则目标数据存储至Kudu中；当目标数据对应的应用场景为永久存储和批量分析，则目标数据存储至Hive中；当目标数据对应的应用场景为财务应用，则目标数据存储至Vertica中；当目标数据对应的应用场景为数据回到数据数据模型体系中并用于第二层模型加工，则目标数据存储至Kafka中。

可以理解的是，将目标数据存储至应用场景对应的存储集合中，当对目标数据进行查询时，可以从该目标数据的应用场景对应的存储集合中快速查找到。

在一个实施例中，可以生成各个存储集合对应的查询接口，便于对存储集合中的数据进行查询。

在一个实施例中，还可以生成各个存储集合对应的统计和分析指标的接口，例如，今日新增获客的数量，今日放款总额等。

在一个实施例中，还可以分别统计各个存储集合中的目标数据，生成对应的数据展示图表。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，实时获取第一数据402，通过格式转换的适配器404将第一数据402转换为目标格式的第二数据，并将第二数据输入队列406中。其中，队列406包含至少两个子队列，至少两个子队列并联传输第二数据。通过计算引擎408从队列406中实时获取第二数据，并对第二数据进行实时处理，得到候选数据。执行步骤410，对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据，即校验通过的候选数据为目标数据。获取目标数据对应的应用场景，根据目标数据对应的应用场景，将目标数据存储至应用场景对应的存储集合412中。

在一个实施例中，如图5所示，提供了一种数据处理装置500，包括：第一数据获取模块502、格式转换模块504、实时处理模块506和校验模块508，其中：

第一数据获取模块502，用于实时获取第一数据。

格式转换模块504，用于将第一数据转换为目标格式的第二数据，并将第二数据输入队列中。

实时处理模块506，用于从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据。

校验模块508，用于对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据。

上述数据处理装置，通过实时获取第一数据，将第一数据转换为目标格式的第二数据，并将第二数据输入队列中；从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据；对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据，避免了在某个时刻对批量数据进行处理，可以实时对数据进行处理，可以实时输出数据，提高数据处理的时效性，从而提高数据处理的效率。

在一个实施例中，上述数据处理装置500还包括调整模块，用于检测实时获取第一数据的第一数量；基于第一数量调整输入队列中第二数据的第二数量。将第二数据输入队列中，包括：基于第二数量将第二数据输入队列中。

在一个实施例中，上述调整模块还用于当第一数量大于第一阈值时，降低输入队列中第二数据的第二数量；当第一数量小于第二阈值时，提高输入队列中第二数据的第二数量；第二阈值小于第一阈值。

在一个实施例中，队列包含至少两个子队列；上述格式转换模块504还用于将第二数据输入队列中的至少两个子队列中；至少两个子队列并联传输第二数据。从队列中实时获取第二数据，包括：从至少两个子队列中实时获取第二数据。

在一个实施例中，上述数据处理装置500还包括重获取模块，用于将第二数据存储至缓存中；当接收到对第二数据的重获取指令时，根据重获取指令从缓存中获取第二数据，执行将第二数据输入队列中步骤。

在一个实施例中，对候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

在一个实施例中，上述数据处理装置500还包括存储模块，用于获取目标数据对应的应用场景；根据目标数据对应的应用场景，将目标数据存储至应用场景对应的存储集合中。

关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：实时获取第一数据；将第一数据转换为目标格式的第二数据，并将第二数据输入队列中；从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据；对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测实时获取第一数据的第一数量；基于第一数量调整输入队列中第二数据的第二数量。将第二数据输入队列中，包括：基于第二数量将第二数据输入队列中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当第一数量大于第一阈值时，降低输入队列中第二数据的第二数量；当第一数量小于第二阈值时，提高输入队列中第二数据的第二数量；第二阈值小于第一阈值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第二数据输入队列中的至少两个子队列中；至少两个子队列并联传输第二数据。从队列中实时获取第二数据，包括：从至少两个子队列中实时获取第二数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第二数据存储至缓存中；当接收到对第二数据的重获取指令时，根据重获取指令从缓存中获取第二数据，执行将第二数据输入队列中步骤。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标数据对应的应用场景；根据目标数据对应的应用场景，将目标数据存储至应用场景对应的存储集合中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：实时获取第一数据；将第一数据转换为目标格式的第二数据，并将第二数据输入队列中；从队列中实时获取第二数据，并对第二数据进行实时处理，得到候选数据；对候选数据进行实时校验，当对候选数据校验通过时，得到目标数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测实时获取第一数据的第一数量；基于第一数量调整输入队列中第二数据的第二数量。将第二数据输入队列中，包括：基于第二数量将第二数据输入队列中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当第一数量大于第一阈值时，降低输入队列中第二数据的第二数量；当第一数量小于第二阈值时，提高输入队列中第二数据的第二数量；第二阈值小于第一阈值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将第二数据输入队列中的至少两个子队列中；至少两个子队列并联传输第二数据。从队列中实时获取第二数据，包括：从至少两个子队列中实时获取第二数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将第二数据存储至缓存中；当接收到对第二数据的重获取指令时，根据重获取指令从缓存中获取第二数据，执行将第二数据输入队列中步骤。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标数据对应的应用场景；根据目标数据对应的应用场景，将目标数据存储至应用场景对应的存储集合中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，所述方法包括：

实时获取第一数据；

将所述第一数据转换为目标格式的第二数据，并将所述第二数据输入队列中；

从所述队列中实时获取第二数据，并对所述第二数据进行实时处理，得到候选数据；

对所述候选数据进行实时校验，当对所述候选数据校验通过时，得到目标数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测实时获取第一数据的第一数量；

基于所述第一数量调整输入队列中所述第二数据的第二数量；

所述将所述第二数据输入队列中，包括：

基于所述第二数量将所述第二数据输入队列中。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一数量调整输入队列中所述第二数据的第二数量，包括：

当第一数量大于第一阈值时，降低输入队列中所述第二数据的第二数量；

当第一数量小于第二阈值时，提高输入队列中所述第二数据的第二数量；所述第二阈值小于所述第一阈值。

4.根据权利要求1所述的方法，其特征在于，所述队列包含至少两个子队列；所述将所述第二数据输入队列中，包括：

将所述第二数据输入队列中的至少两个子队列中；所述至少两个子队列并联传输所述第二数据；

所述从所述队列中实时获取第二数据，包括：

从所述至少两个子队列中实时获取第二数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一数据转换为目标格式的第二数据之后，还包括：

将所述第二数据存储至缓存中；

当接收到对所述第二数据的重获取指令时，根据所述重获取指令从所述缓存中获取所述第二数据，执行所述将所述第二数据输入队列中步骤。

6.根据权利要求1所述的方法，其特征在于，对所述候选数据进行实时校验的方式包括以下的至少一种：离散码值校验；取值范围校验；统计指标校验。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标数据对应的应用场景；

根据所述目标数据对应的应用场景，将所述目标数据存储至所述应用场景对应的存储集合中。

8.一种数据处理装置，其特征在于，所述装置包括：

第一数据获取模块，用于实时获取第一数据；

格式转换模块，用于将所述第一数据转换为目标格式的第二数据，并将所述第二数据输入队列中；

实时处理模块，用于从所述队列中实时获取第二数据，并对所述第二数据进行实时处理，得到候选数据；

校验模块，用于对所述候选数据进行实时校验，当对所述候选数据校验通过时，得到目标数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images