CN107291529B - 一种数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法，通过获取到数据行以及需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，并获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度，提升目标数据的可信度的计算精度。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据分析领域，尤其涉及一种数据处理方法及装置。

背景技术

传统的计算机大数据分析方式首先是收集数据，然后储存在数据库程序中并且在收到请求后分析数据。这是一个高效的处理方式，但却是一个紧绷的结构，而且通常会造成时间的浪费。而流式计算在实时性方面具有明显优势，因此流式计算对于实时地处理大数据具有重要意义，但流式计算也因为实时性强的特点导致计算的精确度往往较低。因此需要计算目标数据的可信度。在流式计算中，数据会实时流经多个计算部件，每个部件都有可能对数据进行过滤，变换或者统计。然而，在统计计算之前，数据可能因为过滤或者变换而丢失，导致在统计计算时无法根据数据计算可信度，导致数据的可信度的精度降低。

发明内容

本发明提供的数据处理方法及装置，提供了流式计算中目标数据的可信度精度。

本发明第一方面提供一种数据处理方法，在获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，即目标数据可以为数据行中的其中一个数据，或者通过数据行中的至少一个数据生成，再获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度。

结合第一方面，在第一方面的第一种实现方式中，目标数据为数据行中的第一数据，其中，目标数据指示数据行中的第一数据等同于目标数据指示数据行中的至少一个数据，通过获取第一数据的数量以及第一数据的权重，确定第 一数据的权重总数，以第一数据的权重总数与数据行的权重总数之比作为目标数据的可信度。

结合第一方面，在第一方面的第二种实现方式中，目标数据由至少两个第二数据生成，其中至少两个第二数据属于同一数据行，目标数据由至少两个第二数据生成等同于目标数据指示数据行中的至少一个数据，通过确定每个第二数据的权重总数，以第二数据的权重总数的最小值与数据行的权重总数之比作为目标数据的可信度。

结合第一方面，在第一方面的第三种实现方式中，目标数据由数据行中的第三数据生成，其中目标数据由数据行中的第三数据生成等同于目标数据指示数据行中的至少一个数据，通过确定第三数据的权重总数，以第三数据的权重总数与数据行的权重总数之比作为目标数据的可信度。

结合第一方面，在第一方面的第四种实现方式中，目标数据由数据行中的至少两个第四数据生成，其中目标数据由数据行中的至少两个第四数据生成等同于目标数据指示数据行中的至少一个数据，确定每个第四数据的权重总数，根据每个第四数据的权重总数以及数据行的权重总数得到每个第四数据的权重总数之后，将所有第四数据的权重总数的乘积作为目标数据的可信度。

本申请的第二方面，提供了一种数据处理装置，该数据处理装置用于确定目标数据的可信度，该数据处理装置包括了用于执行第一方面提供的数据处理方法的至少一个模块。

本申请的第三方面，提供了另一种数据处理装置，该数据处理装置的结构中包括处理器，处理器被配置为支持数据处理装置执行第一方面提供的数据处理方法中相应的功能。处理器用于确定目标数据的可信度。数据处理装置还包括存储器，存储器用于与处理器耦合，其保存数据处理装置必要的程序指令和数据。数据处理装置还包括通信总线以及通信接口，通信总线用于实现存储器和处理器之间的连接通信。通信接口用于数据处理装置与其他设备或者通信网络通信。

采用本发明，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，再获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数 以及至少一个数据的权重总数确定目标数据的可信度。即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种数据处理方法的一实施例的系统架构示意图；

图2是本发明实施例的一种数据处理方法的一实施例的流程示意图；

图3是本发明实施例的一种数据处理方法的数据行与数据的关系示意图；

图4是本发明实施例的一种数据处理方法的另一实施例的流程示意图；

图5是本发明实施例的一种数据处理方法的另一实施例的流程示意图；

图6是本发明实施例的一种数据处理方法的另一实施例的流程示意图；

图7是本发明实施例的一种数据处理方法的另一实施例的流程示意图；

图8是本发明实施例的一种数据处理装置的一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

采用本发明实施例，可提供流式计算的可信度指标。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方 法、产品或设备固有的其它步骤或单元。

贯穿本说明书，数据行(记为Data Row)的结构为如图3(I)所示，数据行包括至少一个数据，在本文数据采用字段定义。图3(I)中三个字段组合成一条数据行，每个字段都有其字段名(Field)以及字段值(Field Value)。在计算字段的可信度时，首先在数据行中确定目标数据，目标数据指示数据行中的至少一个数据，如图3(II)，即确定目标数据为数据行中的a字段，并计算a字段的可信度。

本发明实施例适用于流式计算的各个计算部件当中，对于每一种类型的计算部件(包括统计型的计算部件)都能获得目标数据以及数据行的权重，并以此计算目标数据的可信度。

图1是本发明实施例的一种数据处理方法的一实施例的系统架构示意图，应用于流式计算的大数据处理场景中。如图1所示的系统架构包括用户终端1、通信网络2、数据处理装置3。

用户终端1可用于确定数据行中存在的各个数据的权重，或者确定目标数据，并通过通信网络2向数据处理装置3发送确定的目标数据以及各个数据的权重。可选的，若用户终端1与数据处理装置3集成在一个设备中，则用户终端1可通过通信模块4向数据处理装置3发送确定的目标数据以及各个数据的权重。本实施例不限定用户终端1与数据处理装置3之间的通信方式。

通信网络2和通信模块4用于在用户终端1与数据处理装置3之间建立连接通信，负责向数据处理装置3发送用户终端1确定的目标数据以及各个数据的权重。

图2至图7的方法流程基于数据处理装置3而实现。数据处理装置3的结构示意图如图1所示，包括存储器300以及处理器301，还可以包括通信总线302以及通信接口303。

其中，存储器300中存储一组程序代码，且处理器301调用存储器300中存储的程序代码，用于执行图2至图7的数据处理方法。通信总线302用于实现存储器300以及处理器301之间的连接通信，数据处理装置3通过通信接口303与通信网络2或者通信模块4连接。

存储器300可以包括易失性存储器300(英文：volatile memory)，例如随机存取存储器300(英文：random-access memory，缩写：RAM)；存储器300也 可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid state drive，缩写：SSD)；存储器300还可以为上述种类的存储器的组合。在通过软件来实现本申请提供的技术方案时，用于实现本申请图2至图7提供的数据处理方法的程序代码保存在存储器300中，并由处理器301来执行。

处理器301可以为中央处理器(英文：central processing unit，缩写：CPU)。

处理器301获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，即目标数据可以为数据行中的其中一个数据，或者通过数据行中的至少一个数据生成，再获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度。对于处理器301通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度的各类方法可详见图2至图7实施例。

请参阅图2，图2是本发明实施例的一种数据处理方法的一实施例的流程示意图。图1所示的数据处理装置运行时执行图2所示的方法。

如图2所示，本发明实施例的一种数据处理方法的一实施例包括以下步骤。

S100，获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据。

具体实现中，首先确定用于计算可信度的目标数据，其中可通过图1所示的用户终端确定目标数据，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据。如图3(I)所示，数据行中包含至少一个字段，每个字段都是一个数据，因此可在数据行中查找目标数据，以计算目标数据的可信度。目标数据指示数据行中的至少一个数据，例如，目标数据指示数据行中的其中一个数据，或者目标数据由至少一个数据生成。另一方面，数据处理装置可获取用于统计的数据行。

S101，获取所述数据行的权重以及所述至少一个数据的权重。

具体实现中，在确定目标数据之后，可获取目标数据的权重，并且获取数据行的权重，数据行的权重以及目标数据指示的至少一个数据的权重以计算目 标数据的可信度。其中，权重可用appearScore表示，数据行的权重可用appearBase表示。

可选的，数据行的权重以及至少一个数据的权重可通过预先在数据处理装置中设置，以使数据处理装置直接获取数据行的权重以及至少一个数据的权重。

可选的，数据行的权重以及至少一个数据的权重也可由图1所示的用户终端确定，数据处理装置利用通信网络或者通信模块向用户终端发送获取请求，以向用户终端请求获取数据行的权重以及至少一个数据的权重。

可选的，步骤S100与步骤S101的执行顺序本发明实施例不作限定。步骤S101也可在步骤S100之前执行，即本发明实施例可预先获取数据行的权重以及至少一个数据的权重，再获取数据行以及目标数据。

S102，确定所述至少一个数据的数量以及所述数据行的数量。

具体实现中，本发明实施例统计数据行的数量以及至少一个数据的数量(即至少一个数据出现的次数)，以确定目标数据指示的至少一个数据在数据行中出现的概率。

S103，根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数，根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数。

具体实现中，根据数据行的数量以及数据行的权重确定数据行的权重总数，根据目标数据指示的至少一个数据的数量以及目标数据指示的至少一个数据的权重确定目标数据指示的至少一个数据的权重总数。

S104，根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度。

具体实现中，可根据数据行的权重总数以及目标数据指示的至少一个数据的权重总数确定目标数据的可信度。

采用本发明实施例，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，再获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度。提升了目标数据的可信度的计算精度。同时，即使数据在流式计算过程中丢失，也可通过获取数 据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

请参阅图4，图4是本发明实施例的一种数据处理方法的另一实施例的流程示意图。图1所示的数据处理装置运行时执行图4所示的方法。本发明实施例适用于过滤型的计算部件，对于不包括目标数据的数据行定义为不符合要求的数据行，并将不符合要求的数据行过滤丢弃。

如图4所示，本发明实施例的一种数据处理方法的另一实施例包括以下步骤。

S200，获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据。

具体实现中，可通过图1所示的用户终端确定目标数据，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据。其中，所述目标数据指示所述数据行中的第一数据，其中第一数据包含在数据行中的至少一个数据中。目标数据指示数据行中的第一数据等同于目标数据指示数据行中的至少一个数据。在图3(II)中，数据行包括数据a、b、c和d四个字段，若需要分别计算a、b和c三个字段的可信度(即select a，b，c)，则数据处理装置可根据用户终端的设置确定目标数据分别为a、b、c三个字段，因此，第一数据可分别为a字段、b字段和c字段。另一方面，数据处理装置可获取用于统计的数据行。

可选的，可根据第一数据所在的数据行进行筛选，对于不包括第一数据的数据行则过滤丢弃。而包括第一数据的数据行则用于可信度的计算。

S201，获取所述数据行的权重以及所述至少一个数据的权重。

具体实现中，本实施例的步骤S201可详见实施例图2的步骤S101，本实施例则不再赘述。在本实施例中，除了获取数据行的权重之外，由于目标数据指示第一数据，因此可直接获取第一数据的权重。在图3(II)中，第一数据分别为a字段、b字段和c字段，数据处理装置可分别获取a字段、b字段和c字段的权重。

可选的，步骤S200与步骤S201的执行顺序本发明实施例不作限定。步骤 S201也可在步骤S200之前执行，即本发明实施例可预先获取数据行的权重以及第一数据的权重，再获取数据行以及目标数据。

S202，确定所述至少一个数据的数量以及所述数据行的数量。

具体实现中，数据处理装置可确定第一数据的数量以及数据处理装置接收的数据行的数量。在本实施例中数据处理装置则分别确定a字段的数量、b字段的数量和c字段的数量，以及确定数据行的数量。

S203，根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数。

具体实现中，数据处理装置根据数据行的数量以及数据行的权重确定数据行的权重总数。数据行的权重总数可用∑appearBase表示。

S204，根据所述第一数据的数量以及所述第一数据的权重确定所述第一数据的权重总数。

具体实现中，数据处理装置根据第一数据的数量以及第一数据的权重确定第一数据的权重总数。在本实施例中数据处理装置则分别根据a字段的数量、b字段的数量和c字段的数量，以及a字段、b字段和c字段的权重分别确定a字段、b字段和c字段的权重总数。第一数据的权重总数可用∑appearScore表示。

S205，所述第一数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

具体实现中，将得到的第一数据的权重总数与数据行的权重总数之比作为目标数据的可信度。具体的，目标数据的可信度可为目标数据指示的第一数据的权重总数与数据行的权重总数的比值，如下式所示：

其中，Credibility即为目标数据的可信度。

在本实施例中，数据处理装置将a字段、b字段和c字段的权重总数与数据行的权重总数之比作为a字段、b字段和c字段的可信度。以在图3(II)中目标数据的指示的第一数据为a字段为例，若数据行的数量为100，数据行的权重为appearBase，a字段由过滤型的计算部件过滤后得到的a字段的数量为80，a字段的权重为appearScore(a)，则a字段的可信度如下式所示：

采用本发明实施例，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的第一数据，再获取数据行的权重和数据行的数量，以及第一数据的权重和第一数据的数量，分别得到数据行的权重总数以及第一数据的权重总数，通过数据行的权重总数以及第一数据的权重总数确定目标数据的可信度。提升了目标数据的可信度的计算精度。同时，即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

请参阅图5，图5是本发明实施例的一种数据处理方法的另一实施例的流程示意图。图1所示的数据处理装置运行时执行图5所示的方法。图5实施例针对转换型的计算部件进行描述，当至少两个第二数据进入转换型的计算部件时，至少两个第二数据转换生成目标数据，由此转换型的计算部件需计算目标数据的可信度。

如图5所示，本发明实施例的一种数据处理方法的另一实施例包括以下步骤。

S300，获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据。

具体实现中，可通过图1所示的用户终端确定目标数据，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据。其中，所述目标数据通过所述数据行中的至少两个第二数据生成，所述至少两个第二数据属于同一数据行。至少两个第二数据可通过加、减、乘、除、拼接等组合方式生成目标数据，并且至少两个第二数据均包含在同一数据行内。目标数据通过所述数据行中的至少两个第二数据等同于目标数据指示数据行中的至少一个数据。

具体实现中，在转换型的计算部件中，同一数据行内的至少两个第二数据 发生转换生成目标数据。例如，以所述目标数据为所述至少两个第二目标数据之和为例，在数据行进入转换型的计算部件之前，数据行中包括a、b和c三个字段，当数据行进入转换型的计算部件之后，如图3(III)所示，a字段、b字段和c字段经转换生成d字段。因此，进入转换型的计算部件的数据行则包括a字段、b字段、c字段和d字段。其中，d字段可为a字段、b字段和c字段之和，如trans d＝a+b+c。本实施例中可通过图1所示的用户终端确定目标数据为d字段，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据为d字段。

S301，获取所述数据行的权重以及所述至少一个数据的权重。

具体实现中，可获取生成目标数据的至少两个第二数据的权重，并获取数据行的权重。例如，可分别获取a字段、b字段和c字段的权重。

可选的，步骤S300与步骤S301的执行顺序本发明实施例不作限定。步骤S301也可在步骤S300之前执行，即本发明实施例可预先获取数据行的权重以及至少两个第二数据的权重，再获取数据行以及目标数据。

S302，确定所述至少一个数据的数量以及所述数据行的数量。

具体实现中，可通过转换型的计算部件确定接收的数据行中目标数据的数量以及数据行的数量。

S303，根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数。

具体实现中，数据处理装置根据数据行的数量以及数据行的权重确定数据行的权重总数。

S304，根据每个第二数据的数量以及权重，确定所述每个第二数据的权重总数，最低权重总数为所述每个第二数据的权重总数中的最小值。

具体实现中，由于确定出每个第二数据的数量以及权重，因此可根据每个第二数据的数量以及权重确定每个第二数据的权重总数，并确定每个第二数据的权重总数中的最小值为最低权重总数，以最低权重总数作为目标数据的权重总数。在本实施例中，由于d字段由a字段、b字段和c字段生成，因此可分别确定a字段、b字段和c字段的权重总数，若a字段的权重总数为a字段、b字段和c字段的权重总数中的最小值，则确定d字段的权重总数为a字段的权重总数。

S305，所述最低权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

具体实现中，目标数据的可信度的计算方式可如下式所示：

其中，d字段为目标数据，a字段、b字段和c字段为生成目标数据的各个第二数据，a字段的数量为I，b字段的数量为K，c字段的数量为L，数据行的总数为J。

可选的，若多种计算部件混合计算目标数据的可信度，则可获取目标数据在其他计算部件的可信度，再根据目标数据在其他计算部件的可信度与目标数据在转换型的计算部件的可信度得到目标数据的最终可信度。具体地，可将目标数据在其他计算部件的可信度与目标数据在转换型的计算部件的可信度相乘。

可选的，若其他计算部件中没有目标数据，可设定目标数据在其他计算部件中的可信度为100％。最终输出的目标数据的可信度可如下式所示：

其中，x为目标数据，K为计算部件的个数，k为迭代计数器，I为x的数量，i为迭代计数器，J为数据行的数量，j为迭代计数器，appearScore(x)为目标数据x的权重，appearBase()为数据行的权重。

采用本发明实施例，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据通过数据行中的至少两个第二数据生成，再获取数据行的权重和数据行的数量，以及至少两个第二数据的权重和至少两个第二数据的数量，分别得到数据行的权重总数以及至少两个第二数据的权重总数，通过数据行的权重总数以及至少两个第二数据的权重总数的最小值确定目标数据的可信度。提升了目标数据的可信度的计算精度。同时，即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

请参阅图6，图6是本发明实施例的一种数据处理方法的另一实施例的流程示意图。图1所示的数据处理装置运行时执行图6所示的方法。图6实施例针对统计型的计算部件进行描述，当第三数据进入统计型的计算部件时，第三数据经过累计生成目标数据，由此统计型的计算部件需计算目标数据的可信度。

如图6所示，本发明实施例的一种数据处理方法的另一实施例包括以下步骤。

S400，获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据。

具体实现中，可通过图1所示的用户终端确定目标数据，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据。所述目标数据通过所述数据行中的第三数据生成，目标数据通过数据行中的第三数据生成等同于目标数据指示数据行中的至少一个数据。在统计型的计算部件中，第三数据在进入统计型的计算部件会进行累计，生成目标数据，因此数据行中会出现由第三数据累计生成的目标数据。例如，第三数据为d字段，在统计型的计算部件中数据行包含的目标数据为e字段，如图3(IV)所示，其中，接收到的每条数据行中出现的目标数据e字段由第三数据d字段累计生成，例如stats count(d)ase，其中e＝d，或e＝d+1，或e＝d+2，或e＝d+3，如此类推。本实施例中可通过图1所示的用户终端确定目标数据为e字段，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据为e字段。

S401，获取所述数据行的权重以及所述至少一个数据的权重。

具体实现中，由于目标数据是由第三数据累计生成，可获取第三数据的权重。

可选的，步骤S400与步骤S401的执行顺序本发明实施例不作限定。步骤S401也可在步骤S400之前执行，即本发明实施例可预先获取数据行的权重以及第三数据的权重，再获取数据行以及目标数据。

S402，确定所述至少一个数据的数量以及所述数据行的数量。

具体实现中，数据处理装置可通过统计型的计算部件确定接收的数据行的数量以及数据行中出现的第三数据的数量。

S403，根据所述数据行的数量以及所述数据行的权重确定所述数据行的权 重总数。

具体实现中，数据处理装置根据数据行的数量以及数据行的权重确定数据行的权重总数。

S404，根据所述第三数据的数量以及所述第三数据的权重确定所述第三数据的权重总数。

具体实现中，由于确定出第三数据的数量以及权重，因此可根据第三数据的数量和权重确定第三数据的权重总数。

S405，所述第三数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

具体实现中，将第三数据的权重总数与数据行的权重总数之比作为目标数据的可信度，目标数据的可信度可如下所示：

其中，e为目标数据，d为生成目标数据e的第三数据，I为目标数据的数量，J为数据行的数量，i、j为迭代计数器。

可选的，若多种计算部件混合计算目标数据的可信度，则可获取目标数据在其他计算部件的可信度，再根据目标数据在其他计算部件的可信度与目标数据在统计型的计算部件的可信度得到目标数据的最终可信度。具体地，可将目标数据在其他计算部件的可信度与目标数据在统计型的计算部件的可信度相乘。

可选的，若其他计算部件中没有目标数据，可设定目标数据在其他计算部件中的可信度为100％。最终输出的目标数据的可信度可如下式所示：

其中，e为目标数据，K为计算部件的个数，k为迭代计数器，I为e的数量，i为迭代计数器，J为数据行的数量，j为迭代计数器，appearScore(e)为目标数据e的权重，appearBase()为数据行的权重。

具体地，对于多种计算部件的混合计算可信度时，首先确定计算目标数据的可信度，并分别确定各个计算部件中是否出现目标数据。对于没有出现目标数据的计算部件则可设定目标数据在该计算部件的可信度为100％，对于包含目标数据的计算部件，以该计算部件对可信度的计算方式计算目标数据的可信度，最后将各个计算部件分别计算得到的可信度相乘。在本实施例中，例如计算部件的执行顺序为过滤型的计算部件(如图3(II))、转换型的计算部件(如图3(III))以及统计型的计算部件(如图3(IV))，若确定计算目标数据e字段的可信度，则在过滤型的计算部件、转换型的计算部件以及统计型的计算部件查找是否包含e字段。若在过滤型的计算部件、转换型的计算部件中没有查找到e字段，在统计型的计算部件中查找到e字段，则对于e字段的最终可信度的计算方式(select a，b，c→trans d＝a+b+c→stats count(d)as e)如下所示：

其中，等式第一侧第一个出现的100％为e字段在过滤性的计算部件中计算得到的可信度，等式第一侧第二个出现的100％为e字段在转换型的计算部件中计算得到的可信度。

采用本发明实施例，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据通过数据行中的第三数据生成，再获取数据行的权重和数据行的数量，以及第三数据的权重和第三数据的数量，分别得到数据行的权重总数以及第三数据的权重总数，通过数据行的权重总数以及第三数据的权重总数确定目标数据的可信度。提升了目标数据的可信度的计算精度。同时，即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

请参阅图7，图7是本发明实施例的一种数据处理方法的另一实施例的流程示意图。图1所示的数据处理装置运行时执行图7所示的方法。图7实施例针对统计型的计算部件的另一种实施方式进行描述，当至少两个第四数据进入统计型的计算部件时，至少两个第四数据经过转换生成目标数据，由此统计型的 计算部件需计算目标数据的可信度。

如图7所示，本发明实施例的一种数据处理方法的另一实施例包括以下步骤。

S500，获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据。

具体实现中，所述目标数据通过所述数据行中的至少两个第四数据生成，所述至少两个第四数据属于同一数据行。目标数据通过所述数据行中的至少两个第四数据等同于目标数据指示数据行中的至少一个数据。在统计型的计算部件的另一种实施方式中，可通过图1所示的用户终端确定目标数据，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据。目标数据可由至少两个第四数据生成。例如，在本实施例中，如图3(V)所示，目标数据可为h字段，h字段由第四数据f字段以及第四数据g字段生成。本实施例中可通过图1所示的用户终端确定目标数据为h字段，数据处理装置利用通信网络或者通信模块接收用户终端发送的命令确定目标数据为h字段。

S501，获取所述数据行的权重以及所述至少一个数据的权重。

具体实现中，可获取每个第四数据的权重，例如第四数据f字段的权重以及第四数据g字段的权重，并获取数据行的权重。

可选的，步骤S500与步骤S501的执行顺序本发明实施例不作限定。步骤S501也可在步骤S500之前执行，即本发明实施例可预先获取数据行的权重以及每个第四数据的权重，再获取数据行以及目标数据。

S502，确定所述至少一个数据的数量以及所述数据行的数量。

具体实现中，可通过统计型的计算部件确定接收的数据行的数量以及数据行中出现的每个第四数据的数量。

S503，根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数。

具体实现中，数据处理装置根据数据行的数量以及数据行的权重确定数据行的权重总数。

S504，根据每个第四数据的数量以及权重，确定所述每个第四数据的权重总数。

具体实现中，由于确定生成目标数据的每个第四数据，可获取每个第四数 据的数量以及每个第四数据的权重，并确定每个第四数据的权重总数。

S505，所述每个第四数据的权重总数与所述数据行的权重总数之比为所述每个第四数据的可信度。

具体实现中，可根据数据行的权重总数以及每个第四数据的权重总数确定每个第四数据的可信度，例如本实施例的第四数据f字段的可信度以及第四数据g字段的可信度。每个第四数据的可信度可通过实施例图2至实施例图6的计算方式进行计算，本实施例则不再赘述。

S506，所述至少两个第四数据的可信度的乘积为所述目标数据的可信度。

具体实现中，可根据所有第四数据的可信度确定目标数据的可信度。具体地，可将每个第四数据的可信度相乘得到目标数据的可信度。目标数据的可信度可如下所示：

其中，h为目标数据，P为生成目标数据的目标数据的个数，p为迭代计数器，Credibility()为每个第四数据的可信度。

在本实施例中，由于目标数据h字段由第四数据f字段以及第四数据g字段生成，因此可将第四数据f字段的可信度与第四数据g字段的可信度相乘得到目标数据h字段的可信度(例如stats count(f)by(g)as h)，其表达式如下：

Credibility(h)＝Credibility(f)*Credibility(g)

可选的，若多种计算部件混合计算目标数据的可信度，则可获取目标数据在其他计算部件的可信度，再根据目标数据在其他计算部件的可信度与目标数据在统计型的计算部件的可信度得到目标数据的最终可信度。具体地，可将目标数据在其他计算部件的可信度与目标数据在统计型的计算部件的可信度相乘。其具体实施例可详见实施例图6，本实施例则不再赘述。

采用本发明实施例，获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据通过数据行中的至少两个第四数据生成，再获取数据行的权重和数据行的数量，以及至少两个第四数据的权重和至少两个第四数据的数量，分别得到数据行的权重总数以及至少两个第四数据的权重总数，通过数据行的权重总数以及至少两个第四数据的权重总数确定目标数据 的可信度。即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供流式计算的可信度指标，为最终决策提供重要参考依据。

请参阅图8，图8是本发明实施例的一种数据处理装置的结构示意图。图8所示的数据处理装置3可通过图1所示的数据处理装置3实现，还可以通过专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)实现，或可编程逻辑器件(英文：programmable logic device，缩写：PLD)实现。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，FPGA，通用阵列逻辑(英文：genericarray logic,缩写：GAL)或其任意组合。该数据处理装置3用于实现如图2至图7所示的数据处理方法。通过软件实现如图2至图7所示的数据处理方法时，数据处理装置3也可以为软件模块。

数据处理装置3包括获取模块800、第一确定模块801以及第二确定模块802。获取模块800工作时，执行图2所示的步骤S100-S101、图4所示的步骤S200-S201、图5所示的步骤S300-S301、图6所示的步骤S400-S401以及图7所示的步骤S500-S501中获取数据行以及目标数据并获取数据行的权重以及目标数据指示的至少一个数据的权重的部分。第一确定模块801工作时，执行图2所示的步骤S102、图4所示的步骤S202、图5所示的步骤S302、图6所示的步骤S402以及图7所示的步骤S502中确定至少一个数据的数量以及数据行的数量的部分。第二确定模块802工作时，执行图2所示的步骤S103-S104、图4所示的步骤S203-S205、图5所示的步骤S303-S305、图6所示的步骤S403-S405、图7所示的步骤S503-S506中确定目标数据的可信度的可选方案。

采用本发明实施例，数据处理装置获取到数据行以及数据行中的数据时，确定需要计算可信度的目标数据，其中，目标数据指示数据行中的至少一个数据，再获取数据行的权重和数据行的数量，以及至少一个数据的权重和至少一个数据的数量，分别得到数据行的权重总数以及至少一个数据的权重总数，通过数据行的权重总数以及至少一个数据的权重总数确定目标数据的可信度。即使数据在流式计算过程中丢失，也可通过获取数据行的权重以及目标数据的权重计算目标数据的可信度，确保在最终呈现给用户的流式计算结果中能够提供 流式计算的可信度指标，为最终决策提供重要参考依据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。图2至图7所示的数据处理方法的实现细节，可以用于数据处理装置，运用于流式计算的确定目标数据的可信度当中。

结合本申请公开内容所描述的方法可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM、快闪存储器、ROM、可擦除可编程只读存储器(英文：erasable programmable read only memory，缩写：EPROM)、电可擦可编程只读存储器(英文：electrically erasable programmable read only memory，缩写：EEPROM)、硬盘、光盘或者本领域熟知的任何其它形式的存储介质中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件或软件来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、改进等，均应包括在本申请的保护范围之内。

Claims (12)

1.一种数据处理方法，其特征在于，所述数据处理方法应用于流式计算的计算部件，所述方法包括：

获取数据行以及目标数据，其中，所述目标数据指示所述数据行中的至少一个数据，所述目标数据基于用户终端发送的命令确定；所述数据行中包含至少一个字段，每个字段都是一个数据，所述目标数据指示数据行中的至少一个数据；

获取所述数据行的权重以及所述至少一个数据的权重；

确定所述至少一个数据的数量以及所述数据行的数量；

根据所述数据行的数量以及所述数据行的权重确定所述数据行的权重总数，根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数；

根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度。

2.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据指示所述数据行中的第一数据；

所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：

根据所述第一数据的数量以及所述第一数据的权重确定所述第一数据的权重总数；

所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：

所述第一数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

3.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的至少两个第二数据生成，所述至少两个第二数据属于同一数据行；

所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：

根据每个第二数据的数量以及权重，确定所述每个第二数据的权重总数，最低权重总数为所述每个第二数据的权重总数中的最小值；

所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：

所述最低权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

4.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的第三数据生成；

所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：

根据所述第三数据的数量以及所述第三数据的权重确定所述第三数据的权重总数；

所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：

所述第三数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

5.根据权利要求1所述的数据处理方法，其特征在于，所述目标数据通过所述数据行中的至少两个第四数据生成，所述至少两个第四数据属于同一数据行；

所述根据所述至少一个数据的数量以及所述至少一个数据的权重确定所述至少一个数据的权重总数包括：

根据每个第四数据的数量以及权重，确定所述每个第四数据的权重总数；

所述根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度包括：

所述每个第四数据的权重总数与所述数据行的权重总数之比为所述每个第四数据的可信度；

所述至少两个第四数据的可信度的乘积为所述目标数据的可信度。

6.一种数据处理装置，其特征在于，所述数据处理装置应用于流式计算的计算部件，所述数据处理装置包括：

获取模块，用于获取数据行以及目标数据，所述目标数据指示所述数据行中的至少一个数据，所述目标数据基于用户终端发送的命令确定；所述数据行中包含至少一个字段，每个字段都是一个数据，所述目标数据指示数据行中的至少一个数据；

所述获取模块，还用于获取所述数据行的权重以及所述至少一个数据的权重；

第一确定模块，用于确定所述至少一个数据的数量以及所述数据行的数量；

第二确定模块，还用于根据所述第一确定模块确定的数据行的数量以及所述获取模块获取的数据行的权重确定所述数据行的权重总数，根据所述第一确定模块确定的至少一个数据的数量以及所述获取模块获取的至少一个数据的权重确定所述至少一个数据的权重总数；

所述第二确定模块，还用于根据所述数据行的权重总数以及所述至少一个数据的权重总数确定所述目标数据的可信度。

7.根据权利要求6所述的数据处理装置，其特征在于，所述目标数据指示所述数据行中的第一数据；

所述第二确定模块，具体用于根据所述第一数据的数量以及所述第一数据的权重确定所述第一数据的权重总数；

所述第二确定模块，具体用于所述第一数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

8.根据权利要求6所述的数据处理装置，其特征在于，所述目标数据通过所述数据行中的至少两个第二数据生成，所述至少两个第二数据属于同一数据行；

所述第二确定模块，具体用于根据每个第二数据的数量以及权重，确定所述每个第二数据的权重总数，最低权重总数为所述每个第二数据的权重总数中的最小值；

所述第二确定模块，具体用于所述最低权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

9.根据权利要求6所述的数据处理装置，其特征在于，所述目标数据通过所述数据行中的第三数据生成；

所述第二确定模块，具体用于根据所述第三数据的数量以及所述第三数据的权重确定所述第三数据的权重总数；

所述第二确定模块，具体用于所述第三数据的权重总数与所述数据行的权重总数之比为所述目标数据的可信度。

10.根据权利要求6所述的数据处理装置，其特征在于，所述目标数据通过所述数据行中的至少两个第四数据生成，所述至少两个第四数据属于同一数据行；

所述第二确定模块，具体用于根据每个第四数据的数量以及权重，确定所述每个第四数据的权重总数；

所述第二确定模块，具体用于所述每个第四数据的权重总数与所述数据行的权重总数之比为所述每个第四数据的可信度；

所述至少两个第四数据的可信度的乘积为所述目标数据的可信度。

11.一种数据处理装置，其特征在于，所述数据处理装置应用于流式计算的计算部件，所述数据处理装置包括存储器以及处理器，其中：

所述存储器中存储一组程序代码，且所述处理器调用所述存储器中存储的程序代码，用于执行权利要求1至5任一项所述的数据处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被硬件执行时能够实现权利要求1至5任意一项所述的方法。

Images