CN112785368A - 一种标签生产方法、管理方法、装置及系统 - Google Patents
一种标签生产方法、管理方法、装置及系统 Download PDFInfo
- Publication number
- CN112785368A CN112785368A CN202011543957.2A CN202011543957A CN112785368A CN 112785368 A CN112785368 A CN 112785368A CN 202011543957 A CN202011543957 A CN 202011543957A CN 112785368 A CN112785368 A CN 112785368A
- Authority
- CN
- China
- Prior art keywords
- label
- data
- target
- processing
- sql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 137
- 238000007726 management method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0605—Supply or demand aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种标签生产方法、管理方法、装置及系统,该标签生产方法包括如下步骤:获取标签生产请求端输入的标签逻辑,标签逻辑包括标签生产指令、数据源及标签配置内容;对数据源包括的若干数据源表进行表关系处理得到初始数据集;基于标签配置内容配置数据处理规则及打标规则;基于数据处理规则对初始数据集进行数据处理;基于打标规则对处理后的初始数据集进行打标获得目标标签SQL,该标签生产方法通过搭建生产工具以收集标签生产请求端的标签逻辑以自动生成标签SQL,从而代替目前获得标签逻辑之后人工写SQL的方式,以缩短标签生产时间、提高标签生产效率,以快速响应业务需求。
Description
技术领域
本发明涉及计算机信息处理技术领域,特别涉及一种标签生产方法、管理方法、装置及系统。
背景技术
通常的电子商务平台具有较多的用户及商品,为了更好地实现平台管理,通常会对用户或商品打标签。用户标签是构成用户画像的核心因素,是将用户在平台内所产生的行为数据分析处理后生成具有差异性特征的形容词,主要用于平台管理、设计千人千面及运营策略。商品标签用于描述商品内容、功能、商品成交率等信息。通过用户标签及商品标签的生产,不仅能更好地管理平台,还能针对不同的业务场景对用户或商品情况进行分析,以支持运营。标签的生产过程包括收集需求、建立规则、生产标签、标签维护。
目前标签生产通常采用的手段是:在策划前期,运营与技术需要沟通明确标签的目的及作用,明确标签逻辑,再基于底层海量的数据,通过统计计算、规则分层或算法挖掘等逻辑人工写SQL进行生产。
这个做法的弊端是:依赖人工生产,开发周期较长,不能快速响应业务需求。其次,人工生产难以落实标签生产规范,造成标签生产与标签服务系统脱节,标签生产完成后需单独开发才能对外提供服务。
因此,需要提供一种能有效克服上述问题的标签生产及管理方法。
发明内容
为解决上述技术问题,本发明提供了一种标签生产方法,其能有效提高标签生产效率及准确率。
本发明提供的技术方案如下:
第一方面,提供一种标签生产方法,所述标签生产方法包括如下步骤:
获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
基于所述标签配置内容配置数据处理规则及打标规则;
基于所述数据处理规则对所述初始数据集进行数据处理;
基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
在一种较佳的实施方式中,所述对所述数据源包括的若干数据源表进行表关系处理得到初始数据集,包括:
对所述数据源包括的若干数据源表进行关联和/或合并处理以得到初始数据集。
在一种较佳的实施方式中,所述数据处理规则包括维度规则、过滤规则、聚合规则、计算规则;
所述基于所述数据处理规则对所述初始数据集进行数据处理包括如下子步骤:
基于所述维度规则及过滤规则处理所述初始数据集获得第一处理数据集;
基于所述聚合规则对所述第一处理数据集进行聚合计算或基于所述计算规则对所述第一处理数据集进行算数计算获得第二处理数据集;
所述基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签 SQL,包括:
基于所述打标规则对所述第二处理数据集进行打标获得目标标签SQL。
在一种较佳的实施方式中,所述获得目标标签SQL之后,所述标签生产方法还包括:基于所述目标标签SQL获取与所述标签逻辑对应的目标标签数据,包括如下子步骤:
根据所述目标标签SQL同步标签字典信息;
当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据。
在一种较佳的实施方式中,所述获得所述目标标签数据后,所述标签生产方法还包括:
基于所述目标标签数据生成目标标签数据表。
在一种较佳的实施方式中,所述数据源表至少包括数仓指标模型,还包括 Hive表或导入的商品/用户数据中的至少一种。
第二方面,提供一种基于所述标签生产方法的标签管理方法,所述标签管理方法包括:
基于标签生产请求端输入的标签逻辑获得目标标签SQL;
根据所述目标标签SQL同步标签字典信息;
当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
将所述目标标签数据同步至标签服务数据库以对其进行更新。
第三方面,提供一种标签生产装置,所述标签生产装置包括:
第一获取模块,用于获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
第一处理模块,用于对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
规则配置模块,用于基于所述标签配置内容生成数据处理规则及打标规则;
第二处理模块,用于基于所述数据处理规则对所述初始数据集进行数据处理;
打标模块,用于基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
第四方面,提供一种标签管理装置,所述标签管理装置包括:
第三处理模块,用于基于标签生产请求端输入的标签逻辑获得目标标签 SQL;
第一同步模块,用于根据所述目标标签SQL同步标签字典信息;
采集模块,用于采集目标标签字典信息;
第四处理模块,用于当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
第二同步模块,用于将所述目标标签数据同步至标签服务数据库以对其进行更新。
第五方面,提供一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
基于所述标签配置内容配置数据处理规则及打标规则;
基于所述数据处理规则对所述初始数据集进行数据处理;
基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
本发明相比现有技术而言的有益效果在于:
本发明提供一种标签生产方法,该方法包括如下步骤:获取标签生产请求端输入的标签逻辑,标签逻辑包括标签生产指令、数据源及标签配置内容;对数据源包括的若干数据源表进行表关系处理得到初始数据集;基于标签配置内容配置数据处理规则及打标规则;基于数据处理规则对初始数据集进行数据处理;基于打标规则对处理后的初始数据集进行打标获得目标标签SQL,该标签生产方法通过搭建生产工具以收集标签生产请求端的标签逻辑以自动生成标签SQL,从而代替目前获得标签逻辑之后人工写SQL的方式,以缩短标签生产时间、提高标签生产效率,以快速响应业务需求,且提高标签生产规范;
进一步,标签生产时所用的数据源表至少包括数仓指标模型,还包括Hive 表或导入的商品/用户数据中的至少一种或多种的组合,由此,将数仓指标模型作为标签生产时的数据源之一,从而打通标签生产工具与数仓指标模型,促进指标信息与标签底层数据的口径一致以提高统计类/规则类标签的准确率;
本发明还提供一种基于标签生产方法的标签管理方法,其在生产获得目标标签SQL并获得目标标签数据之后,将目标标签数据同步至标签服务数据库以对其进行更新,该标签管理方法将标签生产工具与标签服务系统打通实现标签数据同步,相较于现有的在生产获得标签数据后通过人工入标签服务数据库的技术方案,能有效提高标签服务效率;
进一步,该标签管理方法通过自动生成标签SQL、同步标签字典信息、自动进行标签生产以及同步标签服务系统的手段,通过互通、统一、自动的管理过程避免人工管理造成的标签血缘链路不准确以及标签生产状态、服务状态不一致的问题。
需要说明的是,本申请的方案只要实现其中任一技术效果即可。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种标签生产方法的流程图;
图2是本发明实施例二提供的一种标签管理方法的流程图;
图3是本发明实施例三提供的一种标签生产装置的结构示意图;
图4是本发明实施例四提供的一种标签管理装置的结构示意图;
图5是本发明实施例五提供的计算机系统架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
电商平台常通过对平台用户或平台商品进行打标以为运营提供用户或商品的在各指标中的分布及分类情况。当前行业中常采用人工写标签SQL的方法生成标签,故标签生产效率较低。并且,当前的标签生产及标签服务脱节,标签生产不能快速响应业务需求。为此,本实施例提供一种标签生产方法及管理方法,不仅能提高标签生产效率,还能进一步打通标签生产及标签服务,使整个标签生产及应用过程中标签的状态保持一致,提高标签服务准确率及服务效率。
下面将结合具体实施例对标签生产方法、管理方法、装置及系统作进一步说明。
实施例一
结合图1所示,本实施例提供一种标签生产方法,该方法至少包括如下步骤:
S1、获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容。
在一种实施方式中,预先配置标签生产请求端的标签生产请求页面供客户端在页面中输入标签生产指令、选择数据源及标签配置内容。标签生产指令明确业务场景,为文字或选择预设内容的形式输入,如“用户购买能力”“商品交易达成率”等。
数据源为用户数据库或商品数据库,包括打标对象及与每一打标对象相应的平台上数据。数据源可以为多种,本实施例中的数据源表至少包括数仓指标模型,还包括Hive表或导入的商品/用户数据中的至少一种。数仓指标模型用于针对具体业务场景获取具体的指标数据结果。当采用数仓指标模型作为数据源之一时,可实现当指标模型和标签生产的业务场景相同时,通过数仓指标模型获取的指标信息以及标签底层数据口径一致,以提高统计类/规则类标签的准确率至100%。
标签配置内容是指标签生产请求页面供客户端在页面中选择的配置内容,包括时间维度、公共维度、计算规则、源表生成规则等。
具体地,对应于标签配置内容,分别设置不同SQL组件及算法能力供请求端组合选择,如主键字段、时间维度、公共维度、计算规则、源表生成、过滤条件、字段处理(高级设置)、表关系处理等。
对上述SQL组件的相应解释如下:
主键字段:设置打标签的对象,用户ID,商品ID等。
时间维度:设置标签源数据的时间范围并打上时间维度标识,例如用户近 15天的付款金额、访问天次中的“近15天”。
公共维度:设置标签的维度字段,例如商品相关的品类、品牌、四级商品组以及渠道、店铺等维度(此处可设置的维度为事先定义好的统一维度)。
计算规则:设置字段和字段或者字段和数值之间的加减乘除运算关系,并用计算结果直接给用户打标。
源表生成:设置直接使用哪些标签源数据中的字段。
过滤条件:配置标签源数据的剔除逻辑,例如剔除负向订单等。
字段处理(高级设置功能):提供字段级别的函数处理功能,可叠加在其他的组件中,用户可选择设置或者不设置。用户若选择高级设置,则在基于其他组件处理标签规则时,先对字段进行函数处理,然后再处理配置的标签规则。
表关系处理:设置标签源数据之间的关系,处理多表关联或合并逻辑。
因此,上述标签生产指令、数据源及标签配置内容共同构成标签逻辑。
S2、对所述数据源包括的若干数据源表进行表关系处理得到初始数据集。
其中,表关系处理指设置标签源数据之间的关系,处理多表关联或合并逻辑。
故步骤S2具体为:对所述数据源包括的数仓指标模型基础信息与Hive表元数据信息或导入的商品/用户数据信息中的至少一种进行关联和/或合并处理以得到初始数据集。
S3、基于所述标签配置内容配置数据处理规则及打标规则。
所述数据处理规则包括维度规则、过滤规则、计算规则,这些维度规则、过滤规则、计算规则中所包含的内容共同构成数据处理规则。如,维度规则包括的内容为上述时间维度中设置的时间阈值信息等其他维度内容。
打标规则包括聚合分层或直接分层,聚合分层或直接分层为两种不同的打标方法。
具体地,聚合分层是通过聚合计算功能直接将聚合计算的结果落为标签或者基于聚合计算的结果对用户或商品进行分层打标。例如直接计算用户的付款金额、访问天次等直接打标;基于用户的付款金额将用户划分为高、中、低消费能力用户并打标。直接分层是针对某一字段的不同取值给用户打标。
S4、基于所述数据处理规则对所述初始数据集进行数据处理,其包括如下子步骤:
S41、基于所述维度规则及过滤规则处理所述初始数据集获得第一处理数据集;
S42、基于所述聚合规则对所述第一处理数据集进行聚合计算或基于所述计算规则对所述第一处理数据集进行算数计算获得第二处理数据集;
S5、基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签 SQL。
继步骤S42后,所述步骤S5具体为:
基于所述打标规则对所述第二处理数据集进行打标获得目标标签SQL。
优选地,步骤S5之后,该标签生产方法还包括:
Sa、根据预设的标签审核条件对所述目标标签SQL进行审核,若审核通过则执行下述步骤S6,若审核不通过则重新执行步骤S1。
S6、基于所述目标标签SQL获取与所述标签逻辑对应的目标标签数据,具体为:当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据。
在步骤S6之后,该方法还包括:
S7、基于所述目标标签数据及标签字段生成目标标签数据表。
具体为,将目标标签数据落到预定义的字段中并落标签的结果Hive表,预定义的字段可在初始用户集中提取。
该标签生产方法通过搭建生产工具以收集标签生产请求端的标签逻辑以自动生成标签SQL,从而代替目前获得标签逻辑之后人工写SQL的方式,以缩短标签生产时间、提高标签生产效率,以快速响应业务需求,且提高标签生产规范。
在一种实施方式中,该标签生产方法基于标签生产装置执行,该标签生产装置包括标签生产系统、标签管理系统、任务管理系统及标签服务系统,其中的标签服务系统创建标签服务任务并通过接口对外提供标签服务。在执行该标签生产方法时,具体为:
S101、标签生产系统对所述从外部系统的数据源包括的若干数据源表进行表关系处理得到初始数据集;
S102、标签生产系统基于所述标签配置内容配置数据处理规则及打标规则;
S103、标签生产系统基于所述数据处理规则对所述初始数据集进行数据处理;
S104、标签生产系统基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
S105、任务管理系统根据目标标签SQL同步标签管理系统中的标签字典信息。
S106、当标签管理系统采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据。
S107、标签管理系统基于所述目标标签数据生成目标标签数据表。
步骤S101-107的具体实现过程与步骤S1-7一致,未尽之描述请参照步骤 S1-7中的具体描述,此处不再赘述。
优选地,标签生产装置包括标签生产系统、标签管理系统、任务管理系统及标签服务系统之间的交互通过设置相应接口实现。例如,任务管理系统接收到创建任务请求时,根据标签管理系统下发的标签编码查询到任务执行内容并定期执行;任务执行系统根据标签服务系统下发的标签服务配置信息定期执行任务同步标签数据进服务系统。
进一步地,任务管理系统对已创建的标签生产任务、标签服务任务进行监控管理,在完成目标标签生产后,任务管理系统将按照预设的标签生产和标签服务任务的调度规则按时更新标签数据。另,设置标签相关监控指标,当设置的监控指标阈值被触发时,自动对标签做相关处理。如,标签使用率低、标签数据异常等异常或标签达到生命周期自动告警、自动处理、下线等功能。标签上线、优化、下线等操作后,标签管理系统自动更新标签字典信息并对标签生产任务、相应的配置信息、标签服务任务进行同步修改。
因此,本实施例中提供的标签生产方法,打通标签生产系统、标签管理系统、任务管理系统及标签服务系统,从而实现:标签自助生产;标签管理系统自动采集、维护标签字典信息;自动上服务系统,统一对外服务,加快业务需求响应速度;统一管理标签生产、标签服务和任务管理的系统化管理等功能,即从标签业务需求到标签生产、标签管理、标签服务全链路的快速响应。
实施例二
结合图2所示,本实施例提供一种基于所述标签生产方法的标签管理方法,所述标签管理方法包括:
S10、基于标签生产请求端输入的标签逻辑获得目标标签SQL;
S20、根据所述目标标签SQL同步标签字典信息;
S30、当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
S40、将所述目标标签数据同步至标签服务数据库(ClickHouse)以对其进行更新,优选地,根据预设时间阈值进行定期更新。
因此,本实施例S10-S30的实现过程与实施例1中步骤S1-S7的实现过程相同,未尽之描述请参照实施例1中的描述,此处不再赘述。
实施例三
为执行上述实施例一中的标签生产方法,本实施例提供一种与之对应的标签生产装置,如图3所示,该装置至少包括:
第一获取模块,用于获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
第一处理模块,用于对所述数据源包括的若干数据源表进行表关系处理得到初始数据集。
所述数据源表至少包括数仓指标模型基础信息,还包括Hive表元数据信息或导入的商品/用户数据信息中的至少一种
所述第一处理模块具体用于对所述数据源包括的若干数据源表进行关联和/ 或合并处理以得到初始数据集。
规则配置模块,用于基于所述标签配置内容生成数据处理规则及打标规则。所述数据处理规则包括维度规则、过滤规则、聚合规则、计算规则。
第二处理模块,用于基于所述数据处理规则对所述初始数据集进行数据处理。
所述第二处理模块具体包括:
第一处理单元,用于基于所述维度规则及过滤规则处理所述初始数据集获得第一处理数据集;
计算单元,用于基于所述聚合规则对所述第一处理数据集进行聚合计算或基于所述计算规则对所述第一处理数据集进行算数计算获得第二处理数据集。
打标模块,用于基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。所述打标模块还用于:基于所述打标规则对所述第二处理数据集进行打标获得目标标签SQL。
所述装置还包括:
目标标签数据模块,用于基于所述目标标签SQL获取与所述标签逻辑对应的目标标签数据,具体包括:
同步单元,用于根据所述目标标签SQL同步标签字典信息;
创建单元,用于当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据。
所述装置还包括:生成模块,用于基于所述目标标签数据生成目标标签数据表。
需要说明的是:上述实施例提供的标签生产装置在触发标签生产业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的一种标签生产装置与实施例一提供的标签生产方法的实施例属于同一构思,即该装置是基于该方法的,其具体实现过程详见方法实施例,这里不再赘述。
实施例四
为执行上述实施例二中的标签生产模型构建方法,本实施例提供一种与之对应的标签生产模型构建装置,如图4所示,该装置至少包括:
第三处理模块,用于基于标签生产请求端输入的标签逻辑获得目标标签 SQL;
第一同步模块,用于根据所述目标标签SQL同步标签字典信息;
采集模块,用于采集目标标签字典信息;
第四处理模块,用于当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
第二同步模块,用于将所述目标标签数据同步至标签服务数据库以对其进行更新,优选地,根据预设时间阈值进行定期更新。
需要说明的是:上述实施例提供的标签管理装置在触发标签管理业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的标签管理装置与实施例二提供的标签管理方法的实施例属于同一构思,即该装置是基于该方法的,其具体实现过程详见方法实施例,这里不再赘述。
实施例五
对应上述方法和装置,本实施例提供一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
基于所述标签配置内容配置数据处理规则及打标规则;
基于所述数据处理规则对所述初始数据集进行数据处理;
基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
其中,图5示例性的展示出了计算机系统的架构,具体可以包括处理器1510,视频显示适配器1511,磁盘驱动器1512,输入/输出接口1513,网络接口1514,以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520之间可以通过通信总线1530 进行通信连接。
其中,处理器1510可以采用通用的CXU(Central Xrocessing Unit,中央处理器)、微处理器、应用专用集成电路(AXXlication SXecific Integrated Circuit, ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory,只读存储器)、RAM (Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统 1521,用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器1523,数据存储管理系统1524,以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1520中,并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路,在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器 1520)之间传输信息。
另外,该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541 中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,存储器1520,总线1530 等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的数据下,即可以理解并实施。
尽管已描述了本发明实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种标签生产方法,其特征在于,所述标签生产方法包括如下步骤:
获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
基于所述标签配置内容配置数据处理规则及打标规则;
基于所述数据处理规则对所述初始数据集进行数据处理;
基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
2.根据权利要求1所述的标签生产方法,其特征在于,所述对所述数据源包括的若干数据源表进行表关系处理得到初始数据集,包括:
对所述数据源包括的若干数据源表进行关联和/或合并处理以得到初始数据集。
3.根据权利要求1所述的标签生产方法,其特征在于,所述数据处理规则包括维度规则、过滤规则、聚合规则、计算规则;
所述基于所述数据处理规则对所述初始数据集进行数据处理包括如下子步骤:
基于所述维度规则及过滤规则处理所述初始数据集获得第一处理数据集;
基于所述聚合规则对所述第一处理数据集进行聚合计算或基于所述计算规则对所述第一处理数据集进行算数计算获得第二处理数据集;
所述基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL,包括:
基于所述打标规则对所述第二处理数据集进行打标获得目标标签SQL。
4.根据权利要求2或3所述的标签生产方法,其特征在于,所述获得目标标签SQL之后,所述标签生产方法还包括:基于所述目标标签SQL获取与所述标签逻辑对应的目标标签数据,包括如下子步骤:
根据所述目标标签SQL同步标签字典信息;
当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据。
5.根据权利要求4所述的标签生产方法,其特征在于,所述获得所述目标标签数据后,所述标签生产方法还包括:
基于所述目标标签数据生成目标标签数据表。
6.根据权利要求1所述的标签生产方法,其特征在于,所述数据源表至少包括数仓指标模型,还包括Hive表或导入的商品/用户数据中的至少一种。
7.一种基于权利要求1-6任意一项所述标签生产方法的标签管理方法,其特征在于,所述标签管理方法包括:
基于标签生产请求端输入的标签逻辑获得目标标签SQL;
根据所述目标标签SQL同步标签字典信息;
当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
将所述目标标签数据同步至标签服务数据库以对其进行更新。
8.一种标签生产装置,其特征在于,所述标签生产装置包括:
第一获取模块,用于获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
第一处理模块,用于对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
规则配置模块,用于基于所述标签配置内容生成数据处理规则及打标规则;
第二处理模块,用于基于所述数据处理规则对所述初始数据集进行数据处理;
打标模块,用于基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
9.一种标签管理装置,其特征在于,所述标签管理装置包括:
第三处理模块,用于基于标签生产请求端输入的标签逻辑获得目标标签SQL;
第一同步模块,用于根据所述目标标签SQL同步标签字典信息;
采集模块,用于采集目标标签字典信息;
第四处理模块,用于当采集到与所述目标标签SQL对应的目标标签字典信息时,创建目标标签生产任务并执行,获得所述目标标签数据;
第二同步模块,用于将所述目标标签数据同步至标签服务数据库以对其进行更新。
10.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取标签生产请求端输入的标签逻辑,所述标签逻辑包括标签生产指令、数据源及标签配置内容;
对所述数据源包括的若干数据源表进行表关系处理得到初始数据集;
基于所述标签配置内容配置数据处理规则及打标规则;
基于所述数据处理规则对所述初始数据集进行数据处理;
基于所述打标规则对处理后的所述初始数据集进行打标获得目标标签SQL。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543957.2A CN112785368A (zh) | 2020-12-24 | 2020-12-24 | 一种标签生产方法、管理方法、装置及系统 |
CA3143825A CA3143825A1 (en) | 2020-12-24 | 2021-12-23 | Label producing method, managing method, devices and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011543957.2A CN112785368A (zh) | 2020-12-24 | 2020-12-24 | 一种标签生产方法、管理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112785368A true CN112785368A (zh) | 2021-05-11 |
Family
ID=75751980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011543957.2A Pending CN112785368A (zh) | 2020-12-24 | 2020-12-24 | 一种标签生产方法、管理方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112785368A (zh) |
CA (1) | CA3143825A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836146A (zh) * | 2021-09-29 | 2021-12-24 | 五八同城信息技术有限公司 | 一种特征标签生成方法、装置、电子设备及存储介质 |
CN114969392A (zh) * | 2022-06-07 | 2022-08-30 | 国家电网有限公司大数据中心 | 一种多源异构数据标签生成方法及生成系统 |
CN115563385A (zh) * | 2022-10-12 | 2023-01-03 | 中电金信软件有限公司 | 一种组合标签的生成方法及生成装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090089322A1 (en) * | 2007-09-28 | 2009-04-02 | Mor Naaman | Loading predicted tags onto electronic devices |
CN105630475A (zh) * | 2014-11-06 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据标签组织系统及组织方法 |
CN107515866A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种数据操作方法、装置和系统 |
US20190155801A1 (en) * | 2017-08-16 | 2019-05-23 | Walmart Apollo, Llc | Systems and methods for distributed data validation |
CN110659283A (zh) * | 2019-08-15 | 2020-01-07 | 中国平安财产保险股份有限公司 | 数据标签处理方法、装置、计算机设备及存储介质 |
CN111327679A (zh) * | 2020-01-19 | 2020-06-23 | 苏宁云计算有限公司 | 一种规则解析方法及装置 |
CN112000849A (zh) * | 2020-08-21 | 2020-11-27 | 河南中原消费金融股份有限公司 | 统一标签库管理方法、装置、设备及存储介质 |
CN112036931A (zh) * | 2020-07-31 | 2020-12-04 | 苏宁金融科技(南京)有限公司 | 一种实时标签计算方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-24 CN CN202011543957.2A patent/CN112785368A/zh active Pending
-
2021
- 2021-12-23 CA CA3143825A patent/CA3143825A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090089322A1 (en) * | 2007-09-28 | 2009-04-02 | Mor Naaman | Loading predicted tags onto electronic devices |
CN105630475A (zh) * | 2014-11-06 | 2016-06-01 | 阿里巴巴集团控股有限公司 | 一种数据标签组织系统及组织方法 |
CN107515866A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种数据操作方法、装置和系统 |
US20190155801A1 (en) * | 2017-08-16 | 2019-05-23 | Walmart Apollo, Llc | Systems and methods for distributed data validation |
CN110659283A (zh) * | 2019-08-15 | 2020-01-07 | 中国平安财产保险股份有限公司 | 数据标签处理方法、装置、计算机设备及存储介质 |
CN111327679A (zh) * | 2020-01-19 | 2020-06-23 | 苏宁云计算有限公司 | 一种规则解析方法及装置 |
CN112036931A (zh) * | 2020-07-31 | 2020-12-04 | 苏宁金融科技(南京)有限公司 | 一种实时标签计算方法、装置、计算机设备及存储介质 |
CN112000849A (zh) * | 2020-08-21 | 2020-11-27 | 河南中原消费金融股份有限公司 | 统一标签库管理方法、装置、设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836146A (zh) * | 2021-09-29 | 2021-12-24 | 五八同城信息技术有限公司 | 一种特征标签生成方法、装置、电子设备及存储介质 |
CN113836146B (zh) * | 2021-09-29 | 2024-04-26 | 五八同城信息技术有限公司 | 一种特征标签生成方法、装置、电子设备及存储介质 |
CN114969392A (zh) * | 2022-06-07 | 2022-08-30 | 国家电网有限公司大数据中心 | 一种多源异构数据标签生成方法及生成系统 |
CN115563385A (zh) * | 2022-10-12 | 2023-01-03 | 中电金信软件有限公司 | 一种组合标签的生成方法及生成装置 |
CN115563385B (zh) * | 2022-10-12 | 2023-07-28 | 中电金信软件有限公司 | 一种组合标签的生成方法及生成装置 |
Also Published As
Publication number | Publication date |
---|---|
CA3143825A1 (en) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11921715B2 (en) | Search integration | |
CN112785368A (zh) | 一种标签生产方法、管理方法、装置及系统 | |
US20200133929A1 (en) | Intelligent data quality | |
EP3365810B1 (en) | System and method for automatic inference of a cube schema from a tabular data for use in a multidimensional database environment | |
CN111614775A (zh) | 工业互联网云平台 | |
CN109145121B (zh) | 一种时变图数据的快速存储查询方法 | |
US11182364B2 (en) | Data analysis support apparatus and data analysis support method | |
US10332010B2 (en) | System and method for automatically suggesting rules for data stored in a table | |
EP2526479A1 (en) | Accessing large collection object tables in a database | |
CN111290813B (zh) | 一种软件界面字段数据标准化的方法、装置、设备和介质 | |
CN113326314A (zh) | 数据可视化方法、装置、电子设备及可读存储介质 | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN113282795A (zh) | 数据结构图生成及更新方法、装置、电子设备及存储介质 | |
US20240095256A1 (en) | Method and system for persisting data | |
US9058215B2 (en) | Integration of a calculation engine with a software component | |
EP2887240A1 (en) | Electronic product information display system | |
US9208224B2 (en) | Business content hierarchy | |
US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
CN112286879B (zh) | 基于元数据的数据资产构建方法及装置 | |
CN101271550A (zh) | 一种应用系统中的数据分配方法及装置 | |
Al Essa et al. | Data Mining and Warehousing | |
CN112559603A (zh) | 特征提取方法、装置、设备及计算机可读存储介质 | |
CN112632195A (zh) | 基于大数据的概念图展示方法、装置、设备及介质 | |
CN115455035B (zh) | 数据查询模型构建方法和计算机可读存储介质 | |
Siddesh et al. | Driving big data with hadoop technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |