CN112528100A - 一种标签策略推荐和打标方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种标签策略推荐和打标方法、终端设备及存储介质，其中推荐过程包括：将接收到的目标数据集与预存标签设计进行数据结构匹配，将匹配成功的预存标签设计作为候选标签设计；根据目标数据集中的与候选标签设计匹配成功的数据结构的填充率，确定目标数据集与候选标签设计的第一目标数据结构；根据第一目标数据结构和候选标签设计，制定候选标签策略；将候选标签策略进行推荐。本发明可以解决现有的生产标签策略存在的滞后性和效率低的问题，从而实现了标签策略的自动、及时制定。

Description

一种标签策略推荐和打标方法、终端设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种标签策略推荐和打标方法、终端设备及存储介质。

背景技术

目前在计算机大数据领域，对于采集到的原始大数据，依据接入平台的接入策略、处理平台的处理策略、治理平台元数据标准进行标准化和一系列的预处理，提取到价值密度更高的、支撑应用的各类信息，以数据集的形式存储。

目前对于新接入的数据集，需要人工从已建的标签策略池中筛选出与接入数据集匹配的标签策略，或者人工依据已建的标签设计文档，制定新的标签策略，以实现根据标签策略对大数据进行打标处理。通过人工匹配或制定的方式，更新标签策略不及时，且更新效率低。

发明内容

为了解决上述问题，本发明提出了一种标签策略推荐和打标方法、终端设备及存储介质。

具体方案如下：

一种标签策略推荐方法，包括以下步骤：

S101：将接收到的目标数据集与预存标签设计进行数据结构匹配，将匹配成功的预存标签设计作为候选标签设计，进入S102；如果匹配不成功时，结束；

S102：根据目标数据集中的与候选标签设计匹配成功的数据结构的填充率，确定目标数据集与候选标签设计的第一目标数据结构，进入S103；当没有第一目标数据结构时，结束；

S103：根据第一目标数据结构和候选标签设计，制定候选标签策略；

S104：将候选标签策略进行推荐。

进一步的，将目标数据集与预存标签设计进行数据结构匹配包括：将目标数据集与输入数据部分为数据结构的预存标签设计进行匹配；将目标数据集与输入数据部分为数据内容描述的预存标签设计进行数据结构匹配。

进一步的，第一目标数据结构的设定方法为：将匹配成功时的候选数据结构作为预设第一目标数据结构；如果预设第一目标数据结构的填充率满足要求，则将其设为第一目标数据结构；否则，查找目标数据集中与预设第一目标数据结构匹配的第二目标数据结构，当第二目标数据结构填充率满足要求时，将第二目标数据结构设定为第一目标数据结构。

进一步的，候选标签策略的制定方法为：将第一目标数据结构作为候选标签设计的输入数据结构；根据候选标签设计的标签内容和规则，按照标签策略模板，制定候选标签策略。

进一步的，步骤S101进行数据结构匹配前还包括对接收到的目标数据集进行标准化处理。

进一步的，步骤S101进行数据结构匹配前还包括确定目标数据集的数据量信息是否满足要求，只有满足要求时才进行数据结构匹配。

进一步的，还包括S105：对推荐的候选标签策略进行人工审核，如果审核通过或人工修订后审核通过时，则将审核通过的标签策略设定为目标数据集的目标标签策略，并将该标签策略添加至标签策略池中。

一种打标方法，包括以下步骤：

S201：当接收到待打标的数据集时，判断数据集的数据量是否合格，如果合格，进入S202；否则，结束；

S202：判断数据集和字段与标签策略池中的标签策略的输入数据集和字段是否匹配，如果匹配，进入S203；否则，通过本发明实施例方法推荐的标签策略进行打标；

S203：判断数据集中匹配字段的填充率是否符合要求，如果满足要求，进入S204；否则，通过本发明实施例方法推荐的标签策略进行打标；

S204：通过匹配成功的标签策略对待打标的数据集进行打标。

一种终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，可以解决现有的生产标签策略存在的滞后性和效率低的问题，从而实现了标签策略的自动、及时地制定与更新。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为本发明实施例二的流程图。

具体实施方式

为进一步说明各实施例，本发明提供了附图。这些附图为本发明披露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种标签策略推荐方法，如图1所示，所述方法包括以下步骤：

S101：将接收到的目标数据集与预存标签设计进行数据结构匹配，将匹配成功的预存标签设计作为候选标签设计，进入S102；如果匹配不成功，则结束任务。

预存标签设计可以为依据业务需求生产的、预先存储于数据库或标签设计池中的标签关键要素的概述。

标签设计包含的要素有标签名称，标签涉及的输入数据内容或数据结构，以及对输入的数据进行运算的标签规则等。

目标数据集可以为各系统或平台中接入的经标准化处理的数据集，目标数据集中目标字段数/列数可以为至少一个。

为了能够从预存标签设计中选取适用于对目标数据集打标的目标标签设计，因此，需要先将目标数据集与预存标签设计进行数据结构匹配，以实现准确打标。

用于匹配的数据结构可以为数据集和/或字段，可以用中文描述或标识符表示。然而标签设计中，标签涉及的输入数据部分，有以明式数据结构呈现的，也有以隐式数据内容表述的，因此将目标数据集与预存标签设计进行数据结构匹配，包括：将目标数据集与输入数据部分为数据结构的预存标签设计进行匹配，以及将目标数据集与输入数据部分为数据内容描述的预存标签设计进行数据结构匹配。

(1)输入数据部分为数据结构的预存标签设计与目标数据集进行数据结构匹配的情形：

假设，目标数据集描述为火车票信息，编号为WA_society_0301，字段包括姓名、身份证号、始发地、目的地、乘车日期、车次、出发时间、到站时间、始发站行政区划等等。若预存标签设计之一：其标签名称为“乘火车从西藏到北京”，输入数据为数据集-火车票信息，字段包括姓名、身份证号、乘车日期、车次、始发地和目的地，则确定目标数据集与该预存标签设计的数据结构能够匹配。而与另外一个预存标签设计不匹配，其标签名称为“乘飞机从西藏到北京”，输入数据为数据集-航班出入港信息，字段包括身份证号、航班号、出发机场、到达机场、离港时间等。

(2)输入数据为数据内容表述的预存标签设计与目标数据集进行数据结构匹配的情形：

例如某一个标签设计，其标签名称为“黔牌车曾去鄂”，输入数据内容为“从鄂提供的到鄂车辆信息中筛选出黔牌车”。当数据集【到鄂车辆信息】接入标准库，大数据治理平台中数据结构匹配模块将该目标数据集与标签名称为“黔牌车曾去鄂”的标签设计进行数据结构匹配时，则先语义分析或解析该此标签设计的输入数据部分的内容表述，并计算与目标数据集以及其字段的相似度。当相似度非常高时，认为匹配成功；然后形成与输入数据内容相应的候选数据结构，如数据集-到鄂车辆信息，包括字段车牌号、出现时间、出现地点等。

进一步的，由于不同地市预接入的原始目标数据集，其数据结构大多数不相同，因此，在进行数据结构匹配前，还包括对接收到的目标数据集进行标准化处理。

示例性的，标准化处理支持数据探测、数据定义、数据标准导入、数据标准查询、数据标准管理等操作。其中，数据探测包括数据含义探查、数据字段内容及数据集标准映射的探查等。数据定义包括元数据定义，接入策略等的定义，形成数据标准。数据标准查询可以为基于用户输入的检索标准名称、标准目录、标准里的数据集名称、数据集包含的字段以及编码等，对标准进行查询。数据标准管理可以实现对标准版本的管理，对不同地市数据标准进行统一化和差异化管理。

对目标原始数据集进行标准化处理有两种处理结果，一种是完全兼容当前的数据标准，即可正常映射到目前的元数据标准中；一种是不能完全兼容当前的数据标准，对于后者需要扩充数据标准，比如扩充操作码、元数据集、字段等，扩充完成后发布新的元数据标准。根据新的元数据标准，就可以将目标原始数据集规范成目标数据集。

进一步的，还需要确定目标数据集的数据量信息是否满足要求。

数据量过大会导致数据处理压力过大，影响处理效率，甚至影响其他任务的执行。数据量过小，可能会导致数据打标不准确，因此，在目标数据集与预存标签策略或预存标签设计进行数据结构匹配之前，需要对目标数据集的数据量做评估，进而可估计基于该目标数据集的标签策略的泛化能力。

示例性的，离线统计最近几天每天接入的目标数据集数据的总量，以及数据量随时间的波动值。另外需要考虑其他特殊因素：比如节假日或者某一天的特殊时段等。系统会计算出每个小时的平均数据量，以及按5分钟计的峰值。系统也会计算出每天的平均数据总量，例如一周的数据量按照七天去平均。

示例性的，若数据量信息满足以下5个条件，则说明该目标数据集的数据量为合格；否则，为不合格：

(1)日平均数据量大于或等于日最小数据量阈值；

(2)小时平均数据量大于或等于小时最小数据量阈值；

(3)日平均数据量小于或等于日最大数据量阈值；

(4)小时平均数据量小于或等于小时最大数据量阈值；

(5)5分钟峰值小于或等于最大峰值阈值。

若数据量不合格，则结束任务。

当数据量信息满足要求时，才进行数据结构匹配。将匹配成功的、包含候选数据结构的标签设计作为候选标签设计。

S102：根据目标数据集中的与候选标签设计匹配成功的数据结构的填充率，确定目标数据集与候选标签设计的第一目标数据结构，进入S103；当没有第一目标数据结构时，结束。

首先将标签设计中候选数据结构作为预设第一目标数据结构。如果目标数据集中与预设第一目标数据结构匹配的字段的填充率满足要求，则预设第一目标数据结构可成为第一目标数据结构；否则，则需找出目标数据集中与预设第一目标数据结构匹配的第二目标数据结构，当第二目标数据结构的填充率满足要求时，则将其设定为第一目标数据结构。

各地市接入的同一数据集数据不尽相同，故需要对目标数据结构做填充率方面的质量评估。示例性的，如果目标数据集中包括500行数据，对于字段“始发地”，有有效值的是400行，则该目标数据集中字段“始发地”的填充率为80％。

在本申请实施例中，判断填充率是否满足要求的方法可以为：判断填充率是否大于或等于预设填充率阈值，若填充率大于或等于预设填充率阈值，则判定填充率满足要求；若填充率小于填充率阈值，则确判定填充率不满足要求。示例性的，可以离线统计最近一天接入的目标数据集中目标数据结构的字段填充率。

确定了候选标签设计后，需要确定填充率满足要求的第一目标数据结构，以保证目标标签策略能够有效地进行打标。如果目标数据集中无满足填充率要求的第一目标数据结构，则即使确定了目标标签策略，也会因为目标数据集的内容缺失，导致打不上标。

在本申请实施例中，若没找到符合要求的第一目标数据结构，则结束任务。

S103：根据第一目标数据结构和候选标签设计，制定候选标签策略。

示例性的，将第一目标数据结构作为候选标签设计的输入数据结构，再解读标签设计的标签内容和规则，按照标签策略模板，制定候选标签策略。具体的，标签策略模板对应的标签内容和规则包含标签名称，标签描述，打标要素，输入数据集、字段，依赖的知识库、标签规则(运算规则)等。输入数据结构包含数据集、字段编码以及数据集、字段对应的中文描述。

S104：将候选标签策略进行推荐，以供人工审核。

示例性的，确定目标数据集的候选标签策略之后，可以将候选标签策略、候选标签设计、以及目标数据集中第一目标数据结构的填充率推送到标签管理系统界面，供标签专业人员审核。

进一步的，还包括S105：标签业务人员审核推荐的标签、标签涉及的输入数据集和字段是否合理以及有一定的应用场景。如果审核通过或人工修订后审核通过时，则将审核通过的标签策略设定为目标数据集的目标标签策略，并将此标签策略添加至标签策略池中。

实施例二：

本发明实施例还提供了一种打标方法，基于实施例一的标签策略推荐方法，如图2所示，打标方法包括以上步骤：

S201：当接收到待打标的目标数据集时，判断目标数据集的数据量是否合格，如果合格，进入S202；否则，结束。

数据量信息是否合格采用如实施例一相同的方式进行判断。

S202：判断目标数据集和字段与标签策略池中的标签策略的输入数据集和字段是否匹配，如果匹配，进入S203；否则，通过实施例一的标签策略推荐方法推荐的标签策略进行打标。

标签策略池中包含的标签策略可通过实施例一的标签策略推荐方法生成，具体包括实施例一中人工审核通过或人工修订后审核通过的标签策略。

S203：判断匹配成功的目标数据集中的字段的填充率是否符合要求，如果满足要求，进入S204；否则，通过实施例一的标签策略推荐方法推荐的标签策略进行打标。

S204：通过匹配成功的标签策略对待打标的数据集进行打标。

实施例三：

本发明还提供一种标签策略推荐终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述签策略推荐终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述签策略推荐终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述签策略推荐终端设备的组成结构仅仅是签策略推荐终端设备的示例，并不构成对签策略推荐终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述签策略推荐终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述签策略推荐终端设备的控制中心，利用各种接口和线路连接整个签策略推荐终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述签策略推荐终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例四：

本发明还提供一种打标终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例二的上述方法实施例中的步骤。所述打标终端设备、存储器和处理器的结构采用与实施例三相同的结构。

实施例五：

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例一或二上述方法的步骤。

所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种标签策略推荐方法，其特征在于，包括以下步骤：

S101：将接收到的目标数据集与预存标签设计进行数据结构匹配，将匹配成功的预存标签设计作为候选标签设计，进入S102；如果匹配不成功时，结束；

S102：根据目标数据集中的与候选标签设计匹配成功的数据结构的填充率，确定目标数据集与候选标签设计的第一目标数据结构，进入S103；当没有第一目标数据结构时，结束；

S103：根据第一目标数据结构和候选标签设计，制定候选标签策略；

S104：将候选标签策略进行推荐。

2.根据权利要求1所述的标签策略推荐方法，其特征在于：将目标数据集与预存标签设计进行数据结构匹配包括：将目标数据集与输入数据部分为数据结构的预存标签设计进行匹配；将目标数据集与输入数据部分为数据内容描述的预存标签设计进行数据结构匹配。

3.根据权利要求1所述的标签策略推荐方法，其特征在于：第一目标数据结构的设定方法为：将匹配成功时的候选数据结构作为预设第一目标数据结构；如果预设第一目标数据结构的填充率满足要求，则将其设为第一目标数据结构；否则，查找目标数据集中与预设第一目标数据结构匹配的第二目标数据结构，当第二目标数据结构填充率满足要求时，将第二目标数据结构设定为第一目标数据结构。

4.根据权利要求1所述的标签策略推荐方法，其特征在于：候选标签策略的制定方法为：将第一目标数据结构作为候选标签设计的输入数据结构；根据候选标签设计的标签内容和规则，按照标签策略模板，制定候选标签策略。

5.根据权利要求1所述的标签策略推荐方法，其特征在于：步骤S101进行数据结构匹配前还包括对接收到的目标数据集进行标准化处理。

6.根据权利要求1所述的标签策略推荐方法，其特征在于：步骤S101进行数据结构匹配前还包括确定目标数据集的数据量信息是否满足要求，只有满足要求时才进行数据结构匹配。

7.根据权利要求1所述的标签策略推荐方法，其特征在于：还包括S105：对推荐的候选标签策略进行人工审核，如果审核通过或人工修订后审核通过时，则将审核通过的标签策略设定为目标数据集的目标标签策略，并将该标签策略添加至标签策略池中。

8.一种打标方法，其特征在于，包括以下步骤：

S201：当接收到待打标的数据集时，判断数据集的数据量是否合格，如果合格，进入S202；否则，结束；

S202：判断数据集和字段与标签策略池中的标签策略的输入数据集和字段是否匹配，如果匹配，进入S203；否则，通过权利要求1-7中任一所述的方法推荐的标签策略进行打标；

S203：判断数据集中匹配字段的填充率是否符合要求，如果满足要求，进入S204；否则，通过权利要求1-7中任一所述的方法推荐的标签策略进行打标；

S204：通过匹配成功的标签策略对待打标的数据集进行打标。

9.一种终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。

Images