CN114911769A - 支持自定义动态标签构建的数据管理方法和系统 - Google Patents

Abstract

本发明提供了一种支持自定义动态标签构建的数据管理方法和系统，其中数据管理方法包括：对来自不同数据源的数据进行归集；对归集的数据进行预处理，预处理至少包括将数据整合成宽表；展示宽表中包括的数据字段中的至少一部分供自定义标签；接收自定义标签设置，自定义标签设置包括对于所展示的数据字段中的一个或多个的选择以及相应的条件设定；以及为满足自定义标签的设定条件的数据自动添加自定义标签。

Description

支持自定义动态标签构建的数据管理方法和系统

技术领域

本发明涉及大数据技术，更具体地，涉及一种支持自定义动态标签构建的数据管理方法和系统。

背景技术

大数据时代下，数据的基础建设和应用层面，除了重视数据分析外，也重视数据资产在业务场景下的应用。为了更好地管理数据和为数据分析提供基础，构建数据标签体系是一项常用的手段。标签体系建设可把数据转换成一批对业务有价值的产物，从而可针对性地进行营销活动或者数据分析等。

在构建标签体系时，常用的方法有基于产品定位和业务梳理出初始目标用户标签、自定义用户标签等。一方面，对于确定初始目标用户标签而言，前期需要根据大量的用户调研和行业调研，前期人工的工作量较为繁琐。另一方面，对于自定义用户标签而言，虽然可根据需求定义所需要的标签，但缺乏从数据层面提供对目标群体的筛选。因此，上述方法均不能较好的体现标签在实际业务场景中的作用。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明旨在提供一种能够支持自定义动态标签的数据管理方法和系统。

根据本发明的一个方面，提供了一种数据管理方法，方法包括：对来自不同数据源的数据进行归集；对归集的数据进行预处理，预处理至少包括将数据整合成宽表；展示宽表中包括的数据字段中的至少一部分供自定义标签；接收自定义标签设置，自定义标签设置包括对于所展示的数据字段中的一个或多个的选择以及相应的条件设定；以及为满足自定义标签的设定条件的数据自动添加自定义标签。

根据本发明的进一步实施例，方法进一步包括：对所述自定义标签以及现有标签进行时效性管理，冻结失效标签；以及将有效标签存储在数据库中。

根据本发明的进一步实施例，方法进一步包括：展示存储在所述数据库中的标签；接收对于所展示标签中的一个或多个标签的选择；检索同时具有所选择的所有标签的数据；以及输出检索到的数据。

根据本发明的进一步实施例，方法进一步包括：展示现有标签以及相应的标签设置；以及接收对于现有标签的标签设置的修改。

根据本发明的进一步实施例，所述预处理进一步包括数据清洗以及数据规范化处理。

根据本发明的另一方面，提供了一种数据管理系统，数据管理系统包括：

数据归集模块，数据归集模块被配置成对来自不同数据源的数据进行归集；

数据预处理模块，数据预处理模块被配置成对归集的数据进行预处理，预处理至少包括将数据整合成宽表；

展示模块，展示模块被配置成展示宽表中包括的数据字段中的至少一部分供自定义标签；

标签配置模块，标签配置模块被配置成接收自定义标签设置，自定义标签设置包括对于所展示的数据字段中的一个或多个的选择以及相应的条件设定；以及

数据标签模块，数据标签模块被配置成为满足自定义标签的设定条件的数据动态地添加自定义标签。

根据本发明的进一步实施例，数据管理系统进一步包括：标签管理模块，标签管理模块被配置成：对自定义标签以及现有标签进行时效性管理，冻结失效标签；以及将有效标签存储在数据库中。

根据本发明的进一步实施例，展示模块被进一步配置成展示存储在数据库中的标签，所述数据管理系统进一步包括数据检索模块，数据检索模块被配置成：接收对于所展示标签中的一个或多个标签的选择；检索同时具有所选择的所有标签的数据；以及输出检索到的数据。

根据本发明的进一步实施例，展示模块被进一步配置成展示现有标签以及相应的标签设置，并且标签配置模块被进一步配置成接收对于现有标签的标签设置的修改。

根据本发明的进一步实施例，预处理进一步包括数据清洗以及数据规范化处理。

与现有技术中的方案相比，本发明所提供的数据管理方法和系统至少具有以下优点：

(1)利用分布式的SQL引擎与大数据分析工具实现大数据下的用户行为数据进行清洗、规范等；

(2)利用统计分析、机器学习等算法模型对用户行为的数据资源进行了指标抽取，形成了规范的用户指标体系构建；

(3)对各项数据标签进行存储，以便查询更便捷，为后续动态标签鉴定基础；

(4)搭建系统页面可供用户进行自定义标签定义及对动态标签选取；以及

(5)基于用户标签选择后续调整标签体系构建。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1是根据本发明的一个实施例的支持自定义动态标签构建的数据管理方法的整体流程图。

图2是根据本发明的一个实施例的数据管理方法的示例流程图。

图3是根据本发明的一个实施例的示例标签体系的示意图。

图4是根据本发明的一个实施例的自定义标签的示例界面。

图5是根据本发明的一个实施例的数据管理系统的示例结构图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

缩略语和关键术语定义

“用户画像”(User Profile)是指对用户的属性进行一系列的结构化或非结构化的数据描述。用户属性通常会包含基本属性、社会属性、行为属性、心理属性等。用户画像的构建通常会遵循数据的真实性、独特性、动态性、应用性等原理，这些是大数据分析业务的核心流程。本发明对该技术进行了拓展应用，对用户的行为特征进行了多维画像，保证了数据结果的合理性。

“分布式数据库系统”(Distributed Database System，DDBS)是指针对面向地理上分散，而管理上有需要不同程度集中管理的需求而提出的一种数据库管理信息系统。Hbase是一种示例性的开源非关系型列式分布数据库。本发明为了尽可能的提高用户画像及用户评分模型的结果输出，灵活地运用了Hbase、Hive等数据库及数据库工具。

“标签体系指标分类”是指为了满足从接入的大量业务数据中识别出用户的各类特征，通过业务把数据整合并梳理出一个结构清晰并能展示数据关联的标签体系表。本发明结合各业务数据及订单数据围绕整个用户生命进行标签体系构建，并通过回归、分类算法模型对数据进行预测标签构建。

图1是根据本发明的一个实施例的支持自定义动态标签构建的数据管理方法的整体流程图。如图1中所示，本发明的数据管理方法首先对来自各不同数据源(例如不同业务部门或不同产品)的数据进行归集，随后对数据进行数据清洗等预处理，使得数据可被规范化。然后，对规范好的数据进行标签特征提取，并搭建基于业务流程下的指标体系。通过后台系统界面，数据管理人员(或称数据库用户，或使用数据的用户)可进行自定义标签的定义，也可以与已构建的标签体系动态进行关联，以此不断调整标签体系。基于这一动态标签体系，系统可基于标签提供数据的动态输出。以下结合附图2－4进一步详细说明本发明的数据管理方法和系统的各项细节。

图2是根据本发明的一个实施例的数据管理方法200的示例流程图。如图2所示，方法200开始于步骤202，对来自不同数据源的数据进行归集。通常，一个公司具有多项业务和产品，在这些业务和产品的各个环节都会产生各类数据，仅针对用户(也称“顾客”、“客户”或“消费者”)就会产生大量数据(即数据源)。为了更有效地管理和利用这些数据，需要对各个数据源的数据进行归集，例如收集到数据中心。对应于不同的产品和业务，各数据源的数据在接入时采用的接入方式也可能存在差异。在一个示例中，由各产品或业务侧提供的数据可通过安全文件传输协议(例如sftp)进行采集或者通过数据采集工具(诸如filebeat)来进行实时采集。数据中心可随后使用常规的数据归集方法对采集的各项数据进行梳理和规整。

接着，在步骤204，对归集的数据进行预处理。在实践中，由于不同数据源(例如不同产品方)提供的数据会含有重复、错误、非法等异常数据，因此在数据入库之前需要对数据进行预处理。在一个示例中，可使用诸如Spark引擎等数据处理工具对日志数据进行预处理，该引擎可以高效地支持的自定义函数且数据中间结果可以直接被Spark ml框架直接利用。预处理还包括对各类产品的业务数据进行宽表构建，以便把业务涉及到的指标进行关联，例如可以顾客为聚焦点，将其各项数据整合起来。

作为一个示例，某一产品可具有运营数据以及订购数据两大类数据，如表1所示。为便于后续自定义标签的设置，对这两类数据进行宽表构建。

运营数据字段	订购数据字段
		手机号	手机号
行为	套餐
		时间	金额
端	渠道
		行为参数1	销售品
行为参数2	折扣
		…	…

表1

由于不同行为有不同参数可供选择，例如上传照片的参数有：上传是否成功、上传文件ID等。因此，需要对这些细致的参数进行抽取，整合成一张利于计算的宽表。在这一示例中，可以顾客手机号为聚焦点，筛选出有用的字段，如表2所示。

宽表字段
	手机号
时间
	订购时间
套餐
	行为
销售品
	…

表2

最终写入数据库中的宽表中的数据是清洗后的数据，这些数据可被用于标签数据抽取。

此外，可选地，一些配置资源数据可被写入MySQL中，主要包含标签映射、行为编码与其名称等映射数据。指标数据则可被写入Hbase与ElasticSearch，以便系统页面能够快速展示相应的数据。

可选地，针对库中归集并经过预处理的数据，可根据需要设定各类标签并构建标签体系，每个标签可包括一个或多个数据字段及其筛选条件。在一个示例中，标签体系可以根据标签的属性分为基础标签、行为标签、算法标签以及自定义标签，如图3所示。

基础标签是涉及用户不变的基础信息的标签，这类标签大多由涉及用户固定数据的字段构成，例如姓名、性别、年龄、地区、运营商、订购套餐、设备信息、来源渠道等。

行为标签是根据用户在各产品或业务上的各种行为抽取而成的标签，比如名为“偏爱夜间登陆用户”的标签，该标签的选取条件为字段“登录时间”为晚上20点到凌晨4点。类似的行为标签还包括例如：核心用户、月度活跃用户、常订购用户、消费能力、活跃时间段、登陆天数等等。

算法标签是根据机器学习等算法对数据进行预测分析得出的标签，通过不同场景下运用不同算法模型对数据进行预测并标签化，比如潜在用户(或潜在购买用户)、即将流失用户、用户偏好、续订意愿度、转5G意愿度、即将沉默用户、复购意愿用户等等。

除了以上的几类标签，本发明的一个优点在于，支持数据库管理员或数据使用用户根据其需要自定义标签。更具体地，可提供标签自定义界面供数据库管理员或数据使用用户根据业务信息自选指标和指标值来进行标签定义。

在步骤206，展示宽表中包括的数据字段中的至少一部分供自定义标签。在标签自定义界面中，可展示入库的数据中被整合在宽表中的数据字段的一部分或全部，使得数据用户可直观地了解当前有哪些数据字段可供选择作为指标。可选地，还可展示现有的标签并可允许进一步查看每一个标签包含哪些字段(即指标)以及相应的选择条件(即指标值)。图4示出了根据本发明的一个实施例的示例性标签自定义界面。如图4中所示，通过该界面，允许数据用户生成自定义标签。例如，可点击界面上的“增加指标”按钮来添加要被包含作为该自定义标签的指标的字段，并且可配置每一个指标的指标值。例如，在这一示例中，已添加了三个指标，分别是指标1：“时间”，相应的指标值为“最近7日”，指标2：“活跃天数”，相应的指标值为“每月活跃7日以上”，指标3：“登陆时段”，相应的指标值为“早上8点-9点”。如果需要，数据用户还可以添加更多指标并配置指标值。在添加并配置完所有需要的指标后，数据用户可点击“生成自定义标签”按钮来完成该自定义标签的生成。生成的自定义标签可与现有的标签一起被存储到标签数据库中(例如系统的MySQL数据库)，后续通过接口提供给计算集群进行计算推送数据等。由此，新定义的自定义标签被加入到标签体系中，并且被展示在后续的标签展示页面中。这一方案可支持数据用户根据需要不断新增或修改标签，从而达到动态优化标签体系的效果。

可选地，结合不同标签的属性，可进一步对每个标签进行时效性管理，对失效标签进行冻结，将有效的标签数据结果写入数据库。例如，数据用户可根据自身业务需求自定义标签后，可根据业务对指标进行管理，把一年内未被使用的标签进行冻结。

此外，可选地，系统可被配置成自动发现常被定义的标签，并将这类标签加入到标签体系中实现标签体系的动态优化。例如，可将这类标签与类似的指标体系中的指标相关联，随后生成新的配置文件供计算程序直接读取，使得后续其他数据用户可直接使用该指标无需再次自定义。

回到图2，在步骤208，为满足自定义标签的设定条件的数据自动添加自定义标签。当一个自定义标签被新增加之后，还没有任何数据被添加这一标签。为此，可在后台对数据进行预处理，以为符合这一标签的条件的数据添加上这一标签，从而在后续通过标签的选取筛选数据时加速数据的返回。替代地，这一自定义标签的添加也可以直到该标签被实际选取用于检索数据时才为相关的数据添加上这一标签，这可以最大程度地体现数据的实时性和动态性。

在一个实施例中，写入数据库(例如HBase)的数据可被用于数据的微服务功能输出，同时按一定格式写入ElasticSearch(ES)工具中，用于例如展示在页面上。随后可接收用户对于说展示标签中的一个或多个标签的选择，并将选择的标签组合成查询条件，生成ES查询语句，调用ES接口查询获取符合条件(即同时具有所选择的所有标签的数据)的数据量等等。

存入Hbase的数据用作用户自定义标签时的数据导出。例如，以用户唯一标识“手机号码”变形，作为Rowkey。这里的变形可采用对手机号码做加密处理(国密或国际算法)。批量数据导出需由特定分析程序离线单独处理，如Spark或MR程序分析Hbase表数据，按规则筛选生成结果数据。

在一个实施例中，数据用户还可设置动态时间，系统可根据设置的时间，自动定时推送数据，例如可通过接口提供给计算集群来进行计算并推送数据。实现一次设定后，无需再次操作，简单便捷。

图5是根据本发明的一个实施例的数据管理系统500的示例结构图。如图5中所示，数据管理系统500可包括数据归集模块501、数据预处理模块502、展示模块503、标签配置模块504以及数据标签模块505。

数据归集模块501可被配置成对来自不同数据源的数据进行归集，数据预处理模块502可被配置成对归集的数据进行预处理，例如将数据整合成宽表、数据清洗以及数据规范化处理等。

展示模块503可被配置成展示宽表中包括的数据字段中的至少一部分供自定义标签。在一个实施例中，展示模块503可被进一步配置成展示现有标签以及相应的标签设置。

标签配置模块504可被配置成接收自定义标签设置，例如对于所展示的数据字段中的一个或多个的选择以及相应的条件设定。此外，标签配置模块504可被进一步配置成接收对于现有标签的标签设置的修改。

数据标签模块505可被配置成为满足自定义标签的设定条件的数据动态地添加自定义标签。

可选地，数据管理系统500可进一步包括标签管理模块506，该标签管理模块506可被配置成对所述自定义标签以及现有标签进行时效性管理，冻结失效标签以及将有效标签存储在数据库中。

可选地，数据管理系统500可进一步包括数据检索模块507，数据检索模块507可被配置成接收对于所展示标签中的一个或多个标签的选择，检索同时具有所选择的所有标签的数据，以及输出检索到的数据。

以上描述了根据本发明的各实施例的数据管理方法和系统，与现有技术相比，至少具有以下的有益效果：

(1)克服了传统的指标体系需要前期大量人工操作，虽然部分指标可自定义，但是需要每次生成时填写所需维度指标，后续维持情况较差的问题，本发明技术方案可以持续维护指标体系并不断应用到实际当中，减少人工反复确认标签体系的指标内容；

(2)本发明可便于业务人员快速使用标签数据，同时把标签数据和现有的业务数据结合，通过先快速查询各标签的具体数据情况，再通过标签数据与业务数据相关联，实现快速获取需要使用的数据。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

Claims (10)

1.一种数据管理方法，其特征在于，所述方法包括：

对来自不同数据源的数据进行归集；

对归集的数据进行预处理，所述预处理至少包括将数据整合成宽表；

展示所述宽表中包括的数据字段中的至少一部分供自定义标签；

接收自定义标签设置，所述自定义标签设置包括对于所展示的数据字段中的一个或多个的选择以及相应的条件设定；以及

为满足所述自定义标签的设定条件的数据自动添加所述自定义标签。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

对所述自定义标签以及现有标签进行时效性管理，冻结失效标签；以及

将有效标签存储在数据库中。

3.如权利要求2所述的方法，其特征在于，所述方法进一步包括：

展示存储在所述数据库中的标签；

接收对于所展示标签中的一个或多个标签的选择；

检索同时具有所选择的所有标签的数据；以及

输出检索到的数据。

4.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

展示现有标签以及相应的标签设置；以及

接收对于现有标签的标签设置的修改。

5.如权利要求1所述的方法，其特征在于，所述预处理进一步包括数据清洗以及数据规范化处理。

6.一种数据管理系统，其特征在于，所述数据管理系统包括：

数据归集模块，所述数据归集模块被配置成对来自不同数据源的数据进行归集；

数据预处理模块，所述数据预处理模块被配置成对归集的数据进行预处理，所述预处理至少包括将数据整合成宽表；

展示模块，所述展示模块被配置成展示所述宽表中包括的数据字段中的至少一部分供自定义标签；

标签配置模块，所述标签配置模块被配置成接收自定义标签设置，所述自定义标签设置包括对于所展示的数据字段中的一个或多个的选择以及相应的条件设定；以及

数据标签模块，所述数据标签模块被配置成为满足所述自定义标签的设定条件的数据动态地添加所述自定义标签。

7.如权利要求6所述的数据管理系统，其特征在于，所述数据管理系统进一步包括：

标签管理模块，所述标签管理模块被配置成：

对所述自定义标签以及现有标签进行时效性管理，冻结失效标签；以及

将有效标签存储在数据库中。

8.如权利要求7所述的数据管理系统，其特征在于，所述展示模块被进一步配置成展示存储在所述数据库中的标签，所述数据管理系统进一步包括数据检索模块，所述数据检索模块被配置成：

接收对于所展示标签中的一个或多个标签的选择；

检索同时具有所选择的所有标签的数据；以及

输出检索到的数据。

9.如权利要求6所述的数据管理系统，其特征在于，所述展示模块被进一步配置成展示现有标签以及相应的标签设置，并且所述标签配置模块被进一步配置成接收对于现有标签的标签设置的修改。

10.如权利要求6所述的数据管理系统，其特征在于，所述预处理进一步包括数据清洗以及数据规范化处理。

Images