CN112860899B

CN112860899B - 标签生成方法、装置、计算机设备和计算机可读存储介质

Info

Publication number: CN112860899B
Application number: CN202110281254.5A
Authority: CN
Inventors: 鲍嘉宝; 王彭波
Original assignee: Sinochem Agriculture Holdings
Current assignee: Sinochem Agriculture Holdings
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2021-11-16
Anticipated expiration: 2041-03-16
Also published as: CN112860899A

Abstract

本申请涉及一种标签生成方法、装置、计算机设备和计算机可读存储介质。标签生成方法包括在大数据平台中制作主题数据，主题数据汇聚并存储各业务系统的相关数据。设置与主题数据关联的字段信息和行为信息，根据字段信息和行为信息，设置统计项并生成标签规则，即可以灵活地新增或修改标签规则，对数据的基本属性以及行为属性进行规则设置及修改，提高了标签生成的灵活性。获取大数据平台抽取的主题数据的全部统计项以生成统计项数据。发送统计项数据至大数据平台，以使大数据平台关联统计项数据与主题数据，提高了标签生成效率。根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成。

Description

标签生成方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请涉及标签生成技术领域，特别是涉及一种标签生成方法、装置、计算机设备和计算机可读存储介质。

背景技术

随着业务应用系统用户量的逐渐增大，为了提高日活及留存，通过诸如用户画像等数据分析实现产品设计及运营指导变得日益迫切，数据分类的重要性日渐凸显。因此，可以根据预设规则对数据进行分类，从而对数据特征进行分析，发掘得到有价值的信息。

在现有方案中，可通过硬编码方式或者购买用户画像产品来实现数据贴标签或者数据分类。例如，若需求为“当用户的年龄小于30岁，且最近3天内使用APP次数大于等于3次，则将用户分类为‘活跃青年用户’”。在硬编码的方式下，研发人员会设计用户分类表并编写逻辑通过if语句进行筛选，以在符合条件的用户与“活跃青年用户”类别之间建立关系。在购买用户画像产品的方式下，运营人员可以在操作界面上根据用户基本属性自定义规则，随后由系统根据规则自动进行分类。

然而，分类规则会随着业务的推进而不断进行调整。硬编码的方式在分类规则调整时，需要重新编码新规则或改动原规则编码并重新部署服务端，研发及测试过程复杂，导致了研发成本和时间成本的增加。购买用户画像产品的方式虽然可以通过自定义规则的方式来设置分类规则，避免了硬编码方式的笨重繁琐，但不支持诸如“3天内登录次数大于5次”这种含有相关行为的统计项的规则设置。因此，购买用户画像产品的方式在需要额外增加或修改含有相关行为的统计项时，仍然需要额外开发相关逻辑并将数据与行为主体进行关联，同样导致了研发成本和时间成本的增加。

发明内容

基于此，有必要针对含有相关行为的数据分类时存在的研发成本和时间成本增加的问题，提供一种标签生成方法、装置、计算机设备和计算机可读存储介质。

本申请提供一种标签生成方法，包括：

在大数据平台中制作主题数据，所述主题数据汇聚并存储各业务系统的相关数据；

设置与所述主题数据关联的字段信息和行为信息；

根据所述字段信息和所述行为信息，设置统计项并生成标签规则；

获取所述大数据平台抽取的所述主题数据的全部所述统计项以生成统计项数据；

发送所述统计项数据至所述大数据平台，以使所述大数据平台关联所述统计项数据与所述主题数据；

根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成。

在其中一个实施例中，所述根据所述字段信息和所述行为信息，设置统计项并生成标签规则，包括：

根据所述行为信息，设置与所述主题数据关联的所述统计项；

根据所述字段信息以及所述统计项，生成所述标签规则。

在其中一个实施例中，所述获取所述大数据平台抽取的所述主题数据的全部所述统计项以生成统计项数据，包括：

获取并遍历所述大数据平台抽取的所述主题数据的全部统计项列表；

根据所述统计项解析所述统计项列表；

根据解析后的所述统计项列表，生成所述统计项数据。

在其中一个实施例中，所述根据解析后的所述统计项列表，生成所述统计项数据之后，包括：

将所述统计项数据以Map数据结构存储至缓存，所述Map数据结构中包括与所述数据主题关联的所述主键中的全部所述统计项数据，其中所述统计项数据包括统计项编码及其对应的值。

在其中一个实施例中，所述根据所述字段信息和所述行为信息，设置统计项并生成标签规则之后，还包括：

将所述标签规则转换为标签规则字符串。

在其中一个实施例中，所述根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成，包括：

对所述标签规则字符串进行解析并发送至所述大数据平台，通过解析后的所述标签规则字符串获取所述大数据平台中符合所述标签规则的所述主题数据的主键，完成所述标签生成。

在其中一个实施例中，所述根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成之后，包括：

存储所述主题数据的主键，得到所述主题数据与所述标签之间的关系数据；

发送所述关系数据至所述大数据平台，以使所述大数据平台将所述关系数据与所述大数据平台的DW层中的所述主题数据进行结合，并更新至所述大数据平台的DM层，形成带有所述标签的所述主题数据。

基于同一发明构思，本申请还提供一种标签生成装置，包括：

主题数据制作模块，用于在大数据平台中制作主题数据，所述主题数据汇聚并存储各业务系统的相关数据；

字段行为设置模块，用于设置与所述主题数据关联的字段信息和行为信息；

标签规则生成模块，用于根据所述字段信息和所述行为信息，设置统计项并生成标签规则；

统计项数据获取模块，用于获取所述大数据平台抽取的所述主题数据的全部所述统计项以生成统计项数据；

主题数据发送模块，用于发送所述统计项数据至所述大数据平台，以使所述大数据平台关联所述统计项数据与所述主题数据；以及

标签生成模块，用于根据所述标签规则筛选所述大数据平台中的与所述主题数据关联后的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成。

基于同一发明构思，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述实施例中任一项所述方法的步骤。

基于同一发明构思，本申请还提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例中任一项所述方法的步骤。

上述实施例提供的标签生成方法，包括：制作主题数据并发送至大数据平台进行存储。设置与主题数据关联的字段信息和行为信息，根据字段信息和行为信息，设置统计项并生成标签规则，故可以灵活地新增或修改标签规则，为数据打上标签，无需通过硬编码来实现规则逻辑。同时可以对数据的基本属性(用户年龄)以及行为属性(用户3天内登录次数)进行规则设置及修改，提高了标签生成的灵活性。随后，获取大数据平台抽取的主题数据的全部统计项以生成统计项数据。发送统计项数据至大数据平台，以使大数据平台关联统计项数据与主题数据。通过应用程序与大数据平台的结合，可以提高数据交换速度，从而提高标签生成效率。根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成。因此，本申请提供的标签生成方法不仅可以为用户打上标签，达到用户分群的目的，同时也可以对任何主题的数据进行分类，从而可以为商业智能分析以及精准营销提供支撑。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种标签生成方法流程图；

图2为本申请实施例提供的另一种标签生成方法流程图；

图3为本申请实施例提供的主题数据分别与字段信息以及行为信息的数据库关系设计图；

图4为本申请实施例提供的统计项的前端页面示意图；

图5为本申请实施例提供的统计项与行为信息的数据库关系设计图；

图6为本申请实施例提供的标签规则的前端页面示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请一并参见图1，本申请提供一种标签生成方法。标签生成方法包括：

步骤S10，在大数据平台中制作主题数据，大数据平台汇聚并存储各业务系统的相关数据；

步骤S20，设置与主题数据关联的字段信息和行为信息；

步骤S30，根据字段信息和行为信息，设置统计项并生成标签规则；

步骤S40，获取大数据平台抽取的主题数据的全部统计项以生成统计项数据；

步骤S50，发送统计项数据至大数据平台，以使大数据平台关联统计项数据与主题数据；

步骤S60，根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成。

本申请提供的标签生成方法，在大数据平台中制作主题数据，大数据平台汇聚并存储各业务系统的相关数据。设置与主题数据关联的字段信息和行为信息，根据字段信息和行为信息，设置统计项并生成标签规则，故可以灵活地新增或修改标签规则，为数据打上标签，无需通过硬编码来实现规则逻辑。同时可以对数据的基本属性(用户年龄)以及行为属性(用户3天内登录次数)进行规则设置及修改，提高了标签生成的灵活性。随后，获取大数据平台抽取的主题数据的全部统计项以生成统计项数据。发送统计项数据至大数据平台，以使大数据平台关联统计项数据与主题数据。通过应用程序与大数据平台的结合，可以提高数据交换速度，从而提高标签生成效率。根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成。可以理解，在业务实际中，运营人员并非仅关注用户的情况，还会去关注其它如客户分群以及订单分布等数据。因此，本申请提供的标签生成方法不仅可以为用户打上标签，达到用户分群的目的，同时也可以对任何主题的数据进行分类，解决了现有用户画像系统仅能为用户打标签，而不能为其它数据打上标签的缺陷，可以为商业智能分析以及精准营销提供支撑。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

请一并参见图2，在其中一个实施例中，步骤S10中，在大数据平台中制作主题数据，主题数据汇聚并存储各业务系统的相关数据，其中主题数据可以以主题数据表的形式进行汇聚及存储，即在大数据平台中汇聚主题数据。可以理解，也可以事先单独在大数据平台单独汇聚并存储主题数据。若要为某类业务领域数据打标签，则该类数据需要在大数据平台中汇聚成“主题”。在其中一个实施例中，若需要为用户相关数据打标签，则需要在大数据平台中建立“用户”数据主题，并将各个业务系统中的用户数据汇聚到此主题中。可以理解，数据主题的制作需要数据分析工程师对数据进行分析，并人工制作数据主题结构信息，即设置数据主题中包括哪些基本属性和行为属性。在其中一个实施例中，为了标签规则设置的灵活性，每个主题数据可以在标签系统数据库中被分配唯一的主题编码(code)，通过主题编码可以将主题数据的相关信息存储在标签系统数据库中。

请一并参见图3，在其中一个实施例中，步骤S20中，标签系统应用程序可以设置与主题数据关联的字段信息和行为信息。其中主题数据分别与字段信息以及行为信息的数据库关系可以参见图3，即每个主题数据可以对应多个字段信息以及多个行为信息。在其中一个实施例中，可以在标签系统数据库中定义并存储与主题数据相关的字段信息及行为信息，且字段信息及行为信息可以通过主题编码与主题数据进行关联。

在其中一个实施例中，步骤S30，根据字段信息和行为信息，设置统计项并生成标签规则，包括：

步骤S310，根据行为信息，设置与主题数据关联的统计项；

步骤S320，根据字段信息以及统计项，生成标签规则。

请一并参见4-图5，在其中一个实施例中，步骤S310中，统计项包括行为、时间段以及聚合操作，例如付款(行为)，某段时间(时间段)，付款次数或总额(聚合操作)，登录(行为)，某段时间(时间段)，登录次数(聚合操作)。另外，设置统计项的前端页面可以参见图4。本实施例中，在主题数据及其关联的行为信息和字段信息准备完毕后，运营等业务人员可以根据行为信息设置与主题数据相关的统计项，统计项与行为信息之间的数据库关系可以参见图5。

请一并参见图6，在其中一个实施例中，步骤S320中，在完成统计项设置，即新增统计项之后，运营等业务人员可以根据主题数据的字段信息及统计项信息设置标签规则，设置标签规则的前端页面可以参见图6。

在其中一个实施例中，步骤S30，根据字段信息和行为信息，设置统计项并生成标签规则之后，还包括：步骤S330，将标签规则转换为标签规则字符串。

在其中一个实施例中，运营等业务人员可以在图5所示的界面上通过“且”或者“或”自由组合规则关系，并可以结合字段编码或者统计项编码生成标签规则字符串。在其中一个实施例中，步骤S30中，年龄的编码为age，性别的编码为gender，活跃天数的编码为active_days，则标签规则可以表示为：(age>30&&gender＝‘男’)&&active_days>3。将根据字段信息和统计项设置的标签规则转换成规则字符串的工作可以由标签系统的规则引擎来完成，且规则字符串可以保存在标签的规则字段中。

在其中一个实施例中，步骤S40，获取大数据平台抽取的主题数据的全部统计项以生成统计项数据，包括：

步骤S410，获取并遍历大数据平台抽取的主题数据的全部统计项列表；

步骤S420，根据统计项解析统计项列表；

步骤S430，根据解析后的统计项列表，生成统计项数据。

在其中一个实施例中，步骤S410中，标签处理过程可以由标签系统应用程序每天的定时任务进行触发，以对已有的数据进行处理，因此会存在一天的延迟。定时任务启动后，大数据平台定时抽取主题数据，完成主题数据抽取后生成完成信号。标签应用程序在获取完成信号后，标签系统应用程序获取并遍历标签数据库中已有的全部统计项列表，根据统计项将统计项列表解析为HiveQL语句。标签系统应用程序可以通过执行HiveQL语句获取结果数据，并将结果数据存入缓存(redis)。

在其中一个实施例中，名称为“3天内登录数”的统计项规则可以设置为“距今3天内用户登录总次数”，关联的行为信息为登录(行为编码为login)，关联数据主题为用户(主题编码为user)。本实施例中，统计项列表可以被解析成如下语句：

SELECT data_key，COUNT(*)FROM t_tag_statistics_data

WHERE event_code＝‘login’

AND entity_code＝‘user’

AND event_time>＝‘2020-12-16’#假设今日是2020年12月18日

GROUP BY data_key

其中，t_tag_statistics_data是固定的行为数据表，data_key为数据主键。所有数据主题的行为信息全部会汇总到这个表中。标签系统应用程序可以通过解析得到的上述HiveQL语句以获取统计项数据。

在其中一个实施例中，步骤S430中，所述根据解析后的统计项列表，生成统计项数据之后，包括：

步骤S440，将统计项数据以Map数据结构存储至缓存，Map数据结构中包括与数据主题关联的数据主键中的全部统计项数据，其中统计项数据包括统计项编码及其对应的值。

在其中一个实施例中，步骤S440中，每个entity_code对应一个Map，Map中存放与数据主题关联的每个主键下所有统计项编码及其对应的值。所有的统计项数据获取完毕后，标签系统应用程序会根据所有的统计项编码，按照如下的表设计在标签数据库中创建表1。

表1统计项数据表

在其中一个实施例中，步骤S50中，标签系统应用程序可以发送统计项数据至大数据平台，并触发大数据平台的统计项处理工作流，以使大数据平台关联统计项数据与主题数据。本实施例中，可以将缓存中统计项数据存储至大数据平台数据库，标签系统应用程序可以删除大数据平台的DW层和DM层该数据主题对应的表，并在DW层创建表2，在DM层创建表3。

表2 DW层主题数据表

表3 DM层主题数据表

在其中一个实施例中，在将统计项数据存入到大数据平台后，标签系统应用程序可以触发大数据平台的用于处理标签数据的工作流。大数据平台可以将ODS层中原有的统计项数据，重新同步上一步存入标签数据库中的统计项数据，即ODS层可以存储原始主题数据以及具有Map数据结构的统计项数据。随后，可以将统计项数据与ODS层中的主题数据通过数据主键进行JOIN关联，并将包含统计项数据的主题数据存入至DW层和DM层主题对应的表中。

在其中一个实施例中，步骤S60，根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成，包括：

步骤S610，对标签规则字符串进行解析并发送至大数据平台，通过解析后的标签规则字符串获取大数据平台中符合标签规则的主题数据的主键，完成标签生成。

在其中一个实施例中，标签系统应用程序监听到大数据平台处理标签数据的工作流完成后，可以从标签数据库中获取所有标签列表，其可以包括多个标签以及多个标签规则。遍历标签列表并根据不同标签对应的数据主题以及标签规则对应的字符串生成HiveQL语句。在其中一个实施例中，标签规则字符串(age>30&&gender＝‘男’)&&active_days>3可以被解析成如下的语句：

SELECT data_key

FROM op_dm_map_user

WHERE 1＝1

AND age>30

AND gender＝‘男’

AND active_days>3

标签系统应用程序可以通过上述拼接的HiveQL查询大数据平台DM层中的数据，以获取符合标签规则的数据主键，整理后存储至标签数据库的表4中。

表4数据与标签关系表

在其中一个实施例中，步骤S60，根据标签规则筛选大数据平台中的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成之后，包括：

步骤S710，存储主题数据的主键，得到主题数据与标签之间的关系数据；

步骤S720，发送关系数据至大数据平台，以使大数据平台将关系数据与大数据平台的DW层中的主题数据进行结合，并更新至大数据平台的DM层，形成带有标签的主题数据。

在其中一个实施例中，在将全部标签与主题数据之间的关系数据处理完毕并存入标签数据库后，可以触发大数据平台的标签生成工作流。大数据平台会同步上述关系数据，并通过主题编码和数据主键与大数据平台DW层中的数据关联，即将每条主题数据所对应的标签ID整合至一个逗号拼接的字符串，如“2,3,6”，其表示该条主题数据被贴上了ID为2，ID为3以及ID为6的标签，随后可以将其更新至大数据平台的DM层中，完成标签生成工作，即DW和DM层存储带有标签的数据。

基于同一发明构思，本申请还提供一种标签生成装置。标签生成装置包括主题数据制作模块、字段行为设置模块、标签规则生成模块、统计项数据获取模块、主题数据发送模块和标签生成模块。主题数据制作模块用于在大数据平台中制作主题数据，主题数据汇聚并存储各业务系统的相关数据。字段行为设置模块用于设置与主题数据关联的字段信息和行为信息。标签规则生成模块用于根据字段信息和行为信息，设置统计项并生成标签规则。统计项数据获取模块用于获取大数据平台抽取的主题数据的全部统计项以生成统计项数据。主题数据发送模块用于发送统计项数据至大数据平台，以使大数据平台关联统计项数据与主题数据。标签生成模块用于根据标签规则筛选大数据平台中的与主题数据关联后的统计项数据，以获取符合标签规则的主题数据的主键，完成标签生成。

基于同一发明构思，本申请还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现上述实施例中任一项方法的步骤。

基于同一发明构思，本申请还提供一种计算机可读存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述实施例中任一项方法的步骤。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种标签生成方法，其特征在于，包括：

设置与所述主题数据关联的字段信息和行为信息；

根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成；

其中，所述获取所述大数据平台抽取的所述主题数据的全部所述统计项以生成统计项数据，包括：

根据所述统计项解析所述统计项列表；

根据解析后的所述统计项列表，生成所述统计项数据；

2.根据权利要求1所述的标签生成方法，其特征在于，所述根据所述字段信息和所述行为信息，设置统计项并生成标签规则，包括：

根据所述字段信息以及所述统计项，生成所述标签规则。

3.根据权利要求2所述的标签生成方法，其特征在于，所述根据所述字段信息和所述行为信息，设置统计项并生成标签规则之后，还包括：

将所述标签规则转换为标签规则字符串。

4.根据权利要求3所述的标签生成方法，其特征在于，所述根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成，包括：

5.根据权利要求4所述的标签生成方法，其特征在于，所述根据所述标签规则筛选所述大数据平台中的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成之后，包括：

6.一种标签生成装置，其特征在于，包括：

标签生成模块，用于根据所述标签规则筛选所述大数据平台中的与所述主题数据关联后的所述统计项数据，以获取符合所述标签规则的所述主题数据的主键，完成标签生成;

根据所述统计项解析所述统计项列表；

根据解析后的所述统计项列表，生成所述统计项数据；

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。