CN112036931A

CN112036931A - 一种实时标签计算方法、装置、计算机设备及存储介质

Info

Publication number: CN112036931A
Application number: CN202010765682.0A
Authority: CN
Inventors: 程虎
Original assignee: Suning Financial Technology Nanjing Co Ltd
Current assignee: Suning Financial Technology Nanjing Co Ltd
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2020-12-04

Abstract

本发明公开了一种实时标签计算方法、装置、计算机设备及存储介质，该方法包括：根据用户需求，从预先配置的标签模板库中匹配出目标标签模板；在所述目标标签模板中至少配置数据源、标签维度以及预计算规则；根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果；根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据。本发明针对用户需求中的需求时间对应的数据，标签定义后选择相应的与计算结果进行关联计算即可，大大减少了计算量，减少对计算资源的占用，提高计算性能。

Description

一种实时标签计算方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种实时标签计算方法、装置、计算机设备及存储介质。

背景技术

随着企业的发展，用户的不断增长，企业都会面临着一个问题，如何在海量用户里筛选特征用户做好营销？这也成为每个企业都必须要解决的问题。用户营销需要有大量的标签数据作为基础，在大数据技术越来越成熟的今天，通过实时采集用户数据，生成用户实时标签已经成为一种常用技术。

一方面，现有技术中，每次提出需求进行计算标签数据时，通常会对全量数据的重新计算，计算量很大，占用过多计算资源，影响计算性能。另一方面，业务上，针对不同营销场景需要使用的用户标签也有所不通，如果按照传统的开发模式，即业务提需求->产品经理->需求评审->开发人员，开发周期和成本都很高。

因此，亟需提出一种新的标签计算方法，以解决上述问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种实时标签计算方法、装置、计算机设备以及存储介质，以克服现有技术中存在的每次提出需求进行计算标签数据时，需要对全量数据的重新计算，导致计算量很大、占用过多计算资源、影响计算性能等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

第一方面，提供了一种实时标签计算方法，该方法包括如下步骤：

根据用户需求，从预先配置的标签模板库中匹配出目标标签模板；

在所述目标标签模板中至少配置数据源、标签维度以及预计算规则；

根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果；

根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据。

进一步的，所述在所述目标标签模板中配置标签维度包括：

显示与所述目标标签模板关联的多个标签维度，以供用户选择；

接收所述用户的选择操作，根据所述选择操作确定所需的标签维度。

进一步的，所述在所述目标标签模板中配置标签维度还包括：

接收所述用户的自定义操作，根据所述自定义操作确定所需的标签维度。

进一步的，所述根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果包括：

获取与所述标签维度对应的标签配置数据，所述标签配置数据用于定义标签；

根据所述标签配置数据以及所述预计算规则，分别对所述数据源在各单位时间内的实时数据进行预计算，获取预计算结果。

进一步的，所述根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据包括：

根据用户需求中的需求时间，确定与所述需求时间对应的标签表，对所述标签表进行关联计算，获取与所述用户需求对应的标签数据。

进一步的，所述数据源至少包括外部数据、企业经营数据、APP日志以及Web日志中的一种。

进一步的，所述数据源的数据包括离线数据以及实时数据。

第二方面，提供了一种实时标签计算装置，所述装置包括：

模板匹配模块，用于根据用户需求，从预先配置的标签模板库中匹配出目标标签模板；

模板配置模块，用于在所述目标标签模板中为待计算标签的数据至少配置数据源、标签维度以及预计算规则；

预计算模块，用于根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行标签计算，获取计算结果；

标签获取模块，用于根据所述用户需求中的需求时间，选择相应的所述计算结果进行合并处理，获取标签数据。

第三方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供的方法、装置、计算机设备及存储介质，通过根据用户需求，从预先配置的标签模板库中匹配出目标标签模板，在所述目标标签模板中至少配置数据源、标签维度以及预计算规则，根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果，根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据，仅需要对每块数据只计算一次，针对用户需求中的需求时间对应的数据，标签定义后选择相应的与计算结果进行关联计算即可，大大减少了计算量，减少对计算资源的占用，提高计算性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的实时标签计算装置的系统架构图；

图2是根据一示例性实施例示出的实时标签计算方法的流程图；

图3是根据一示例性实施例示出的传统标签计算的流程；

图4是根据一示例性实施例示出的采用预计算的标签计算的流程；

图5是根据一示例性实施例示出的实时标签计算装置的结构示意图；

图6是根据一示例性实施例示出的计算机设备的内部结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术所述，现有技术中的标签计算方法，在每次针对提出的需求进行标签数据计算时，通常需要对全量数据进行重新计算，导致计算量很大，占用过多计算资源以及影响计算性能等问题。

为解决上述问题，本发明实施例中创造性的提出了一种实时标签计算方法，该方法依托于flink的实时计算框架体系，基于标准化用户数据，用户可以自定义标签模板以及标签，底层计算基于标签模板和标签配置数据，对标签模板配置数据进行预计算，在预计算的结果基础上，根据标签配置数据再进行聚合等操作生成标签数据，大大减少了计算量，减少对计算资源的占用，提高计算性能。

图1是根据一示例性实施例示出的实时标签计算装置的系统架构图，参照图1所示，本发明实施例中的，系统主要包括存储层、流式计算层以及应用服务层。存储层用于存储从数据源获取的业务数据，流式计算层用于基于存储层的数据进行实时标签计算，应用服务层用于用户选择目标标签模板以及在目标标签模板中进行相应的配置等。

其中，作为标签数据的元数据库，实时数仓(离线+实时)的庞大的数据存储空间以及查询性能是一个大的难题，本发明实施例中，使用HBase作为实时数仓存储的数据库，主要考虑到HBase的一些优势能够解决大部分的问题，主要有

1、海量数据存储，HBase表中的数据能够容纳上百亿行*上百万列；

2、面向列的存储，数据在表中是按照列进行存储的，能够动态的增加列并对列进行各种操作，对于标签数据来说非常的适合，目前我们很多标签都不是单一标签，一个会员的很多标签都可以在多列存储；

3、准实时查询，HBase在海量的数据量下能够接近准实时的查询，相对于关系型数据库HBase的实时性能非常的高，而Nosql数据库像redis等内存数据库虽然性能比HBase要高，但是不适合海量数据的存储。

本发明实施例中，为了使储数据库HBase发挥出其的特性，定义了其创建以及使用，具体如下：

1、HBase表预分区创建，为了解决热点数据的插入以及默认分区的不断拆分的问题，可以根据rowkey的分布情况，对HBase表的region进行预分区。

2、rowkey的设计，rowkey的设计本质上也是为了预分区服务，通过打散rowkey使数据均匀分布，减少热点rowkey，使与分区的创建更加合理。

图2是根据一示例性实施例示出的实时标签计算方法的流程图，参照图2所示，该方法包括如下步骤：

S1：根据用户需求，从预先配置的标签模板库中匹配出目标标签模板。

具体的，本发明实施例中，预先在标签模板库中配置一些标准化的标签模板，用于用户在定义标签时选择需要的标签模板。例如，这里的标签模板可以是根据金融各个业务线定义的模板，标签模板会和标签配置进行关联，供用户定义标签使用。

S2：在所述目标标签模板中至少配置数据源、标签维度以及预计算规则。

具体的，标签模板主要包含一些标准化的标签维度和数据源。标签维度包括但不限于“理财”、“第一个订单下单时间”等，数据源包括但不限于“零钱包”、“高端理财”等。例如，当标签维度选择“理财”、“第一个订单下单时间”，数据源选择“零钱包”、“高端理财”时，就会生成了理财第一个订单下单时间这样一个模板。本发明实施例中，目前支持的标准化标签主要是指两类，一类就是用户是否具有某一属性的，就是用户当前某一属性值。另一类是用户在定义标签时需要选择的标签类型，例如上述举例。

除此之外，考虑到计算资源和性能的问题，为了最大程度的减少底层flink的计算量，本发明实施例中，在标签模板中定义预计算规则，使每块数据只计算一次。

S3：根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果。

具体的，本发明实施例中，在标签模板中配置了预计算规则后，会根据标签维度对各数据源在各单位时间内的数据进行预计算，获取预计算结果，这样可以实现对每块数据只计算一次，减少计算量。

S4：根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据。

具体的，最后，获取用户需求中的需求时间，然后选择需求时间内的预计算结果进行合并处理，得到与用户需求对应的标签数据。

作为一种较优的实施方式，本发明实施例中，所述在所述目标标签模板中配置标签维度包括：

具体的，本发明实施例中，可以设置标签模板与标签维度进行关联，当用户选定目标标签模板后，可以用过一可视化界面显示与之相关联的多个标签维度，供用户定义标签使用。用户在可视化界面上显示的多个标签维度中选择所需要的标签维度进行点击等选择操作，确定最终所需要的标签维度。

作为一种较优的实施方式，本发明实施例中，所述在所述目标标签模板中配置标签维度还包括：

具体的，本发明实施例中，还可以设置支持用户自定义标签，动态调整标签等。用户可以在目标标签模板中输入自定义的标签维度，然后将该自定义的标签维度确定为所需的标签维度。

作为一种较优的实施方式，本发明实施例中，所述根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果包括：

具体的，本发明实施例中，针对每一标签维度预先设置了对应的标签配置数据，标签配置数据中的特定的要求明确地定义了对应的标签。具体实施时，根据标签配置数据以及预计算规则，分别对数据源在各单位时间内的实时数据进行预计算，获取预计算结果。例如，假设选择了一个理财的第一次下单时间的模板，需要筛选出具体的理财业务数据，并且指定每种数据的第一次下单时间字段，后台实时计算根据指定的字段清洗相应的数据并最终生成标签数据

作为一种较优的实施方式，本发明实施例中，所述根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据包括：

具体的，图3是根据一示例性实施例示出的传统标签计算的流程，图4是根据一示例性实施例示出的采用预计算的标签计算的流程，参照图3以及图4所所示，假设标签定义Aand B、标签定义A and C以及标签定义A and D，采用传统的标签计算方法，需要对全量数据进行重新计算，而采用预计算的标签计算方法，只需要对每块数据计算一次。具体实施时，在标签模板的基础上对标签表、标签类型以及标签维度做一个计算，供标签定义调用，标签定义后flink计算模块仅需要对选择的标签表进行关联计算即可，关联计算只是各算子对键值对进行一个合并操作，计算量远低于对全量数据的重新计算。

作为一种较优的实施方式，本发明实施例中，所述数据源至少包括外部数据、企业经营数据、APP日志以及Web日志中的一种。

作为一种较优的实施方式，本发明实施例中，所述数据源的数据包括离线数据以及实时数据。

具体的，标准化的实时标签其实就是离线+实时的标签组合模式，缺一不可，通过离线hive数据仓库的数据推送+实时的数据生成最终实现标准化实时标签库。

图5是根据一示例性实施例示出的实时标签计算装置的结构示意图，该装置包括：

作为一种较优的实施方式，本发明实施例中，所述模板配置模块包括：

维度显示单元，用于显示与所述目标标签模板关联的多个标签维度，以供用户选择；

维度确定单元，用于接收所述用户的选择操作，根据所述选择操作确定所需的标签维度。

作为一种较优的实施方式，本发明实施例中，所述模板配置模块还包括：

维度自定义单元，用于接收所述用户的自定义操作，根据所述自定义操作确定所需的标签维度。

作为一种较优的实施方式，本发明实施例中，所述预计算模块包括：

数据获取单元，用于获取与所述标签维度对应的标签配置数据，所述标签配置数据用于定义标签；

预计算单元，用于根据所述标签配置数据以及所述预计算规则，分别对所述数据源在各单位时间内的实时数据进行预计算，获取预计算结果。

作为一种较优的实施方式，本发明实施例中，所述标签获取模块具体用于：

图6是根据一示例性实施例示出的计算机设备的内部结构示意图，参照图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种执行计划的优化方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

作为一种较优的实施方式，本发明实施例中，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

作为一种较优的实施方式，本发明实施例中，处理器执行计算机程序时还实现以下步骤：

本发明实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

作为一种较优的实施方式，本发明实施例中，所述计算机程序被处理器执行时，还实现如下步骤：

综上所述，本发明实施例提供的技术方案带来的有益效果是：

需要说明的是：上述实施例提供的实时标签计算装置在触发标签计算业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的实时标签计算装置与实时标签计算方法实施例属于同一构思，即该装置是基于该实时标签计算方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种实时标签计算方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的实时标签计算方法，其特征在于，所述在所述目标标签模板中配置标签维度包括：

3.根据权利要求1或2所述的实时标签计算方法，其特征在于，所述在所述目标标签模板中配置标签维度还包括：

4.根据权利要求1或2所述的实时标签计算方法，其特征在于，所述根据所述预计算规则以及标签维度，分别对所述数据源在各单位时间内的数据进行预计算，获取预计算结果包括：

5.根据权利要求1或2所述的实时标签计算方法，其特征在于，所述根据所述用户需求中的需求时间，选择相应的所述预计算结果进行合并处理，获取标签数据包括：

6.根据权利要求1或2所述的实时标签计算方法，其特征在于，所述数据源至少包括外部数据、企业经营数据、APP日志以及Web日志中的一种。

7.根据权利要求1或2所述的实时标签计算方法，其特征在于，所述数据源的数据包括离线数据以及实时数据。

8.一种实时标签计算装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。