CN108959485A - 一种用于生成流量指标数据的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种用于生成流量指标数据的数据处理方法及装置，其中方法包括：接收流量指标数据的申请请求；从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，指标维度关系用于表示维度和指标的组合；按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表；将所申请的流量指标数据的维度属性与流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合；依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到流量指标表。本发明使指标以流量表出数的方式生成，有利于流量指标的统计和分析。

Description

一种用于生成流量指标数据的数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种用于生成流量指标数据的数据处理方法及装置。

背景技术

目前，大数据分析越来越受到青睐，尤其是人工智能兴起的当下，大数据是其重要支撑。对于一些互联网公司，尤其是提供平台的互联网公司，对其数据指标的统计分析，可以为公司的战略决策提供情报基础。

指标数据流具有获取速度快、信息量大、数据不稳定等特点，传统的指标生成方法在进行数据分析时，数据库从用户数据的分析过程中得到的不同指标量，对成千上万条用户数据进行去重和累加计算。然而，这种方式并不能够很好的解决流量统计问题。

发明内容

本发明要解决现有技术无法解决流量统计的技术问题，从而提供一种用于生成流量指标数据的数据处理方法及装置。

本发明的一方面，提供了一种用于生成流量指标数据的数据处理方法，包括：接收流量指标数据的申请请求，其中，所述申请请求携带有所申请的流量指标数据的维度、维度属性和指标；从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表；将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合；依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到所述流量指标表。

可选地，依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据包括：确定所申请的维度和指标的组合对应的SQL语句；执行确定出的所述SQL语句，从所述数据仓库中获取所申请的维度和指标的组合对应的流量指标数据。

可选地，每一个维度和指标的组合对应一个预先编写好的SQL语句。

可选地，确定所申请的维度和指标的组合对应的SQL语句包括：从指标SQL配置表中查找所申请的指标对应的SQL模板，其中，所述指标SQL配置表中配置有指标及其对应的不同维度的SQL模板；按照所申请的维度从查找到的SQL模板中确定出所申请的维度和指标的组合对应的SQL语句。

可选地，依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据包括：按照优先级顺序从数据仓库中逐个获取所申请的维度和指标的组合对应的流量指标数据。

可选地，从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系包括：从维度属性表中获取所申请的流量指标数据的维度名称和维度ID；从指标信息表中获取所申请的流量指标数据的指标名称和指标ID；在所述指标维度关系表中查找获取到的维度名称和维度ID以及指标名称和指标ID以确定出所申请的流量指标数据的维度和指标的组合。

可选地，所述维度属性表配置有维度ID、维度代码、维度名称、维度属性ID、属性值以及属性名称的对应关系。

可选地，所述指标信息表配置有指标分类ID、指标分类代码、指标分类名称、指标ID、指标代码以及指标名称的对应关系。

可选地，将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合包括：从所述维度属性表中确定所申请的流量指标数据的维度属性名称以及维度属性与维度之间的对应关系；依据所述维度属性与维度之间的对应关系将维度属性与所述流量指标表进行关联。

本发明的另一方面，提供了一种用于生成流量指标数据的数据处理装置，包括：接收单元，用于接收流量指标数据的申请请求，其中，所述申请请求携带有所申请的流量指标数据的维度、维度属性和指标；确定单元，用于从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；生成单元，用于按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表；关联单元，用于将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合；写入单元，用于依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到所述流量指标表。

根据本发明实施例，通过按照申请量进行优先级排序，形成流量指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入流量指标表，生成流量指标数据，从而使指标以流量表出数的方式生成，有利于流量指标的统计和分析。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中用于生成流量指标数据的数据处理方法的一个具体示例的流程图；

图2为本发明实施例中用于生成流量指标数据的数据处理装置的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种用于生成流量指标数据的数据处理方法，应用于计算机设备上，如图1所示，该方法包括：

步骤S101，接收流量指标数据的申请请求，其中，申请请求携带有所申请的流量指标数据的维度、维度属性和指标。

该申请请求可以由用户(公司领导、产品经理等)发起，该申请请求可以是多人发起的，也可以是一个人发起的。例如，某互联网公司的领导需要查看该公司维护的互联网平台的流量指标，以了解当前平台运行情况，此时，可以选择需要查看的指标和对应的维度，通过终端发起该申请请求。

可选地，本发明实施例中，可以在申请请求之后设置审批流程，预先配置审批人和审批的指标等规则。具体审批流程包括：对所述申请请求进行审批。具体审批请求方是否拥有查看相应的指标流量的权限，如果有，则通过审批；反之，则予以驳回。

步骤S102，从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，指标维度关系用于表示维度和指标的组合。

具体地，维度指标关系的确定过程包括：从维度属性表中获取所申请的流量指标数据的维度名称和维度ID；从指标信息表中获取所申请的流量指标数据的指标名称和指标ID；在指标维度关系表中查找获取到的维度名称和维度ID以及指标名称和指标ID以确定出所申请的流量指标数据的维度和指标的组合。

其中，维度属性表配置有维度ID、维度代码、维度名称、维度属性ID、属性值以及属性名称的对应关系；指标信息表配置有指标分类ID、指标分类代码、指标分类名称、指标ID、指标代码以及指标名称的对应关系。

以土巴兔装修网的指标数据举例说明，指标信息表如表1所示：

表1

维度属性表如表2所示：

表2

上述表1和表2中所述的指标分类代码、指标代码和维度代码主要用于SQL语句中代表相应的分类、指标和维度。

从上述两张表中确定出的指标和维度的组合，示例如表3所示：

表3

步骤S103，按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表。

申请量是指所申请的流量指标数据的维度和指标的组合对应的流量指标被申请的次数，或者而是申请人数。优选地，以申请人数的多少来对维度和指标的组合进行优先级排序，其中，数量越多，优先级越高。排序之后生成流量指标表，该流量指标表为不包含流量指标数据的表单，其上包含有要统计的指标和对应的维度，以及申请量和优先级。

步骤S104，将所申请的流量指标数据的维度属性与流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合。

维度属性是对维度进行的细分，例如，“城市”包含北京、上海、深圳、广州等属性；“平台”包含小程序、APP、PC端等属性。具体地，上述步骤S104可以包括：从维度属性表中确定所申请的流量指标数据的维度属性名称以及维度属性与维度之间的对应关系；依据维度属性与维度之间的对应关系将维度属性与流量指标表进行关联。

本发明实施例中，通过建立维度属性与流量指标表之间的关联关系，使得在进行流量指标数据统计时，能够统计出相应维度下各维度属性的指标数据，从而得到该维度的较为准确的指标数据。

步骤S105，依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到流量指标表。

根据已申请的维度指标，从数据仓库的指标维度关系表中计算得出流量指标数据，写入到上述流量指标表中，从而完成流量指标的统计。将该流量指标表输出给申请人进行查看。在进行统计计算时，可以按照优先级顺序从数据仓库中逐个获取所申请的维度和指标的组合对应的流量指标数据。

根据本发明实施例，通过按照申请量进行优先级排序，形成流量指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入流量指标表，生成流量指标数据，从而使指标以流量表出数的方式生成，有利于流量指标的统计和分析。

可选地，本发明实施例中，可以预先配置指标SQL配置表，在其中配置指标及其对应的不同维度的SQL模板，多个指标可以用一个SQL写出，而一个SQL只能归属于一个指标分类，这使得在进行流量指标统计时，直接获取对应的SQL语句，执行该语句即可获取到对应的流量指标数据。具体地，上述步骤S105可以包括：确定所申请的维度和指标的组合对应的SQL语句；执行确定出的SQL语句，从数据仓库中获取所申请的维度和指标的组合对应的流量指标数据。优选地，每一个维度和指标的组合对应一个预先编写好的SQL语句。

以“城市”维度的流量指标组合对应的SQL语句为：

Select city,count(distinct cookie)as uv

from dws.dws_flow_web_page_visit_d

Where dt between${start}and${end}group by city；

进一步优选地，上述确定所申请的维度和指标的组合对应的SQL语句包括：从指标SQL配置表中查找所申请的指标对应的SQL模板；按照所申请的维度从查找到的SQL模板中确定出所申请的维度和指标的组合对应的SQL语句。

本发明实施例的还提供了一种用于生成流量指标数据的数据处理装置，该装置可以用于执行本发明实施例的所提供的数据处理方法，如图2所示，该装置包括：接收单元10、确定单元20、生成单元30、关联单元40和写入单元50。

接收单元10用于接收流量指标数据的申请请求，其中，申请请求携带有所申请的流量指标数据的维度、维度属性和指标。

确定单元20用于从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，指标维度关系用于表示维度和指标的组合。

生成单元30用于按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表。

关联单元40用于将所申请的流量指标数据的维度属性与流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合。

写入单元50用于依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到流量指标表。

本发明实施例的接收单元10、确定单元20、生成单元30、关联单元40和写入单元50的具体功能可以参见本发明上述实施例的数据处理方式的步骤S101-S105，这里不再赘述。

根据本发明实施例，通过按照申请量进行优先级排序，形成流量指标表，从数据仓库指标维度关系表中，根据已申请的维度指标计算后，写入流量指标表，生成流量指标数据，从而使指标以流量表出数的方式生成，有利于流量指标的统计和分析。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请的保护范围之中。

Claims (10)

1.一种用于生成流量指标数据的数据处理方法，其特征在于，包括：

接收流量指标数据的申请请求，其中，所述申请请求携带有所申请的流量指标数据的维度、维度属性和指标；

从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；

按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表；

将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合；

依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到所述流量指标表。

2.根据权利要求1所述的数据处理方法，其特征在于，依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据包括：

确定所申请的维度和指标的组合对应的SQL语句；

执行确定出的所述SQL语句，从所述数据仓库中获取所申请的维度和指标的组合对应的流量指标数据。

3.根据权利要求2所述的数据处理方法，其特征在于，每一个维度和指标的组合对应一个预先编写好的SQL语句。

4.根据权利要求2所述的数据处理方法，其特征在于，确定所申请的维度和指标的组合对应的SQL语句包括：

从指标SQL配置表中查找所申请的指标对应的SQL模板，其中，所述指标SQL配置表中配置有指标及其对应的不同维度的SQL模板；

按照所申请的维度从查找到的SQL模板中确定出所申请的维度和指标的组合对应的SQL语句。

5.根据权利要求1所述的数据处理方法，其特征在于，依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据包括：

按照优先级顺序从数据仓库中逐个获取所申请的维度和指标的组合对应的流量指标数据。

6.根据权利要求1所述的数据处理方法，其特征在于，从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系包括：

从维度属性表中获取所申请的流量指标数据的维度名称和维度ID；

从指标信息表中获取所申请的流量指标数据的指标名称和指标ID；

在所述指标维度关系表中查找获取到的维度名称和维度ID以及指标名称和指标ID以确定出所申请的流量指标数据的维度和指标的组合。

7.根据权利要求6所述的数据处理方法，其特征在于，所述维度属性表配置有维度ID、维度代码、维度名称、维度属性ID、属性值以及属性名称的对应关系。

8.根据权利要求6所述的数据处理方法，其特征在于，所述指标信息表配置有指标分类ID、指标分类代码、指标分类名称、指标ID、指标代码以及指标名称的对应关系。

9.根据权利要求1所述的数据处理方法，其特征在于，将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合包括：

从维度属性表中确定所申请的流量指标数据的维度属性名称以及维度属性与维度之间的对应关系；

依据所述维度属性与维度之间的对应关系将维度属性与所述流量指标表进行关联。

10.一种用于生成流量指标数据的数据处理装置，其特征在于，包括：

接收单元，用于接收流量指标数据的申请请求，其中，所述申请请求携带有所申请的流量指标数据的维度、维度属性和指标；

确定单元，用于从预先设置的指标维度关系表中确定出所申请的流量指标数据的维度和指标的指标维度关系，所述指标维度关系用于表示维度和指标的组合；

生成单元，用于按照申请量对所申请的流量指标数据的维度和指标的组合进行优先级排序，生成流量指标表；

关联单元，用于将所申请的流量指标数据的维度属性与所述流量指标表进行关联，得到所申请的流量指标数据的维度、维度属性和指标的组合；

写入单元，用于依据所申请的维度和指标的组合从数据仓库中获取对应的流量指标数据，写入到所述流量指标表。