CN108776686A - 一种数据标签构建系统和方法 - Google Patents
一种数据标签构建系统和方法 Download PDFInfo
- Publication number
- CN108776686A CN108776686A CN201810563260.8A CN201810563260A CN108776686A CN 108776686 A CN108776686 A CN 108776686A CN 201810563260 A CN201810563260 A CN 201810563260A CN 108776686 A CN108776686 A CN 108776686A
- Authority
- CN
- China
- Prior art keywords
- label
- data
- real
- time
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title abstract description 35
- 238000012800 visualization Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000002452 interceptive effect Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Abstract
本发明提供了一种数据标签构建系统，包括：至少一个计算装置和可视化装置；所述可视化装置，用于对至少两种标签规则进行可视化展示；针对每一个所述计算装置，均执行：根据用户的触发操作，在所述至少两种标签规则中确定至少两种目标标签规则，根据所述至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；任意一个所述计算装置，用于利用与当前计算装置对应的标签规则模型为业务数据构建标签。本方案能够简化数据标签的构建过程。
Description
技术领域
本发明涉及计算技术领域，特别涉及一种数据标签构建系统和方法。
背景技术
随着互联网大数据的发展，标签分类已经成为一种广泛的网络信息分类方式，标签分类使得用户能够给信息定义具有关键字特性的标签，并通过标签来进行网页导航和信息检索。由于标签在信息资源与用户基于关键字搜索上建立了便捷的桥梁，因此研究如何为信息资源定义标签成为必要。
现有技术中，对于标签构建过程中使用的标签规则模型，一般需要专业的技术人员进行开发，当标签规则发生变化时，需要重新开发标签规则模型。因此，该方法比较繁琐。
发明内容
本发明实施例提供了一种数据标签构建系统和方法，能够简化数据标签的构建过程。
第一方面，本发明实施例提供了一种数据标签构建系统，其特征在于，包括：至少一个计算装置和可视化装置；
所述可视化装置，用于对至少两种标签规则进行可视化展示；针对每一个所述计算装置，均执行：根据用户的触发操作，在所述至少两种标签规则中确定至少两种目标标签规则，根据所述至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
任意一个所述计算装置，用于利用与当前计算装置对应的标签规则模型为业务数据构建标签。
优选地，
所述至少一个计算装置，包括：第一实时计算引擎；
所述第一实时计算引擎，用于接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签。
优选地，
所述第一实时计算引擎，包括：总线适配器、至少两个分发节点、至少两个计算节点和处理节点；
所述至少两个计算节点分为n个层级，其中，每一个所述层级包括至少一个所述计算节点，n为整数；
所述总线适配器，用于接收所述第一实时数据，将所述第一实时数据拆分成至少两个分发数据，分别发送给所述至少两个分发节点，其中，所述分发数据与所述分发节点一一对应；
任意一个所述分发节点，用于将得到的所述分发数据拆分成目标数量的计算数据，并分别发送给所述目标数量的第一层级的所述计算节点；
第一层级的所述计算节点，用于利用与所述第一实时计算引擎对应的标签规则模型对所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
下一层级的所述计算节点，用于利用与所述第一实时计算引擎对应的标签规则模型，对上一层级的所述计算节点处理后的所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
所述处理节点，用于将第n层级的所述计算节点处理后的所述计算数据进行整合，生成所述第一实时标签。
优选地，
进一步包括：第一任务调度平台；
所述至少一个计算装置，包括：第一离线计算引擎；
所述第一任务调度平台，用于创建至少一个第一标签任务，其中，每一个所述第一标签任务中包括：第一离线数据标识；
所述第一离线计算引擎，用于针对每一个所述第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与所述第一离线计算引擎对应的标签规则模型为所述第一离线数据构建第一离线标签。
优选地，
进一步包括：第二任务调度平台；
所述第二任务调度平台，用于创建至少一个第二标签任务，其中，每一个所述第二标签任务中包括：第二离线数据标识；
所述至少一个计算装置，包括：第二实时计算引擎、第二离线计算引擎和交互计算引擎；
所述第二实时计算引擎，用于接收外部实时发送的第二实时数据，利用与所述第二实时计算引擎对应的标签规则模型对所述第二实时数据进行处理，生成第二实时标签；
所述第二离线计算引擎，用于针对每一个所述第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与所述第二离线计算引擎对应的标签规则模型对所述第二离线数据进行处理，生成第二离线标签；
所述交互计算引擎，用于利用与所述交互计算引擎对应的标签规则模型对所述第二实时标签和所述第二离线标签进行处理，为所述第二实时数据和所述第二离线数据构建交互标签。
第二方面，本发明实施例提供了一种数据标签构建方法，包括：
可视化装置对至少两种标签规则进行可视化展示；
针对每一个所述计算装置，均执行：根据用户的触发操作，在所述至少两种标签规则中确定至少两种目标标签规则，根据所述至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签。
优选地，
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一实时计算引擎接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签。
优选地，
所述第一实时计算引擎接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签，包括：
总线适配器接收所述第一实时数据，将所述第一实时数据拆分成至少两个分发数据，分别发送给至少两个分发节点，其中，所述分发数据与所述分发节点一一对应；
任意一个所述分发节点将得到的所述分发数据拆分成目标数量的计算数据，并分别发送给所述目标数量的第一层级的所述计算节点；
第一层级的所述计算节点利用与所述第一实时计算引擎对应的标签规则模型对所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
下一层级的所述计算节点利用与所述第一实时计算引擎对应的标签规则模型，对上一层级的所述计算节点处理后的所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
处理节点将第n层级的所述计算节点处理后的所述计算数据进行整合，生成所述第一实时标签。
优选地，
第一任务调度平台创建至少一个第一标签任务，其中，每一个所述第一标签任务中包括：第一离线数据标识；
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一离线计算引擎针对每一个所述第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与所述第一离线计算引擎对应的标签规则模型为所述第一离线数据构建第一离线标签。
优选地，
进一步包括：
第二任务调度平台创建至少一个第二标签任务，其中，每一个所述第二标签任务中包括：第二离线数据标识；
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第二实时计算引擎接收外部实时发送的第二实时数据，利用与所述第二实时计算引擎对应的标签规则模型对所述第二实时数据进行处理，生成第二实时标签；
第二离线计算引擎针对每一个所述第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与所述第二离线计算引擎对应的标签规则模型对所述第二离线数据进行处理，生成第二离线标签；
交互计算引擎利用与所述交互计算引擎对应的标签规则模型对所述第二实时标签和所述第二离线标签进行处理，为所述第二实时数据和所述第二离线数据构建交互标签。
本发明实施例提供了一种数据标签构建系统和方法，其中，该方法向用户展示多种标签规则，用户可以根据点击、拖动等操作，在多种标签规则中选择目标标签规则并构建标签规则模型。该方法将复杂的业务逻辑通过简单的配置实现，即使不懂技术的人通过简单培训也能够上手，提高了其易用性。当标签规则发生变化时，该方法只需要重新选择目标标签规则，无需进行二次开发，能够简化标签构建过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种数据标签构建系统的结构示意图；
图2是本发明一个实施例提供的一种数据标签构建方法的流程图；
图3是本发明另一个实施例提供的一种数据标签构建方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据标签构建系统，该系统包括：
至少一个计算装置101和可视化装置102；
可视化装置102，用于对至少两种标签规则进行可视化展示；针对每一个计算装置101，均执行：根据用户的触发操作，在至少两种标签规则中确定至少两种目标标签规则，根据至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
任意一个计算装置101，用于利用与当前计算装置对应的标签规则模型为业务数据构建标签。
该方法向用户展示多种标签规则，用户可以根据点击、拖动等操作，在多种标签规则中选择目标标签规则并构建标签规则模型。该方法将复杂的业务逻辑通过简单的配置实现，即使不懂技术的人通过简单培训也能够上手，提高了其易用性。当标签规则发生变化时，该方法只需要重新选择目标标签规则，无需进行二次开发，能够简化标签构建过程。
在本发明的一个实施例中，标签构建过程涉及以下三种计算方式：
方式1：实时计算，该方法适用于仅处理实时数据的情况。
至少一个计算装置101，包括：第一实时计算引擎；
第一实时计算引擎，用于接收外部实时发送的第一实时数据，利用与第一实时计算引擎对应的标签规则模型为第一实时数据构建第一实时标签。
在本发明实施例中，实时计算通过第一实时计算引擎实现。为了适应大数据处理，保证数据标签构建的速度，第一实时计算引擎，包括：总线适配器、至少两个分发节点、至少两个计算节点和处理节点；
至少两个计算节点分为n个层级，其中，每一个层级包括至少一个计算节点，n为整数；
总线适配器，用于接收第一实时数据，将第一实时数据拆分成至少两个分发数据，分别发送给至少两个分发节点，其中，分发数据与分发节点一一对应；
任意一个分发节点，用于将得到的分发数据拆分成目标数量的计算数据，并分别发送给目标数量的第一层级的计算节点；
第一层级的计算节点，用于利用与第一实时计算引擎对应的标签规则模型对计算数据进行处理，并将处理后的计算数据发送给下一层级的计算节点；
下一层级的计算节点，用于利用与第一实时计算引擎对应的标签规则模型，对上一层级的计算节点处理后的计算数据进行处理，并将处理后的计算数据发送给下一层级的计算节点；
处理节点，用于将第n层级的计算节点处理后的计算数据进行整合，生成第一实时标签。
实时计算是指数据通过数据总线方式推送到总线适配器中，数据源是实时、不间断的，并且无较复杂逻辑运算的，要求对用户响应时间也是实时响应，其处理速度要求秒级。第一实时计算引擎主要采用分布式处理方式，处理延迟极低。当业务数据通过总线推送到第一实时计算引擎后，由第一实时计算引擎进行消费及处理，最终将处理后的第一实时标签存储到HBase与ES库中。
进一步地，本发明实施例采用的分布式处理方式还可以应用于离线计算和交互式计算，以适应海量数据的处理需求。
方式2：离线计算，该方法适用于仅处理离线数据(历史数据)的情况。
该系统还包括：第一任务调度平台；
至少一个计算装置101，包括：第一离线计算引擎；
第一任务调度平台，用于创建至少一个第一标签任务，其中，每一个第一标签任务中包括：第一离线数据标识；
第一离线计算引擎，用于针对每一个第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与第一离线计算引擎对应的标签规则模型为第一离线数据构建第一离线标签。
离线计算是指基于在进行离线计算前已知输入数据，也就是说，对于一个离线算法，在开始时就需要知道问题的所有输入数据。第一离线计算引擎主要依托分布式计算框架：Spark、MR，数据缓存：Redis等技术，实现海量数据的分析计算，快速输出结果，并将结果存入不同介质，如ES、HBASE等。
在执行离线计算之前，可以先通过第一任务调度平台注册第一标签任务，第一标签任务中还可以包括任务执行的时间、执行周期等参数。通过第一离线数据标识，第一离线计算引擎可以确定需要进行离线计算的第一离线数据，第一离线数据可以为整个数据库，也可以是数据库中的部分数据。
方式3：交互计算，该方法适用于同时存在实时数据和离线数据(历史数据)的情况。
该系统还包括：第二任务调度平台；
第二任务调度平台，用于创建至少一个第二标签任务，其中，每一个第二标签任务中包括：第二离线数据标识；
至少一个计算装置101，包括：第二实时计算引擎、第二离线计算引擎和交互计算引擎；
第二实时计算引擎，用于接收外部实时发送的第二实时数据，利用与第二实时计算引擎对应的标签规则模型对第二实时数据进行处理，生成第二实时标签；
第二离线计算引擎，用于针对每一个第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与第二离线计算引擎对应的标签规则模型对第二离线数据进行处理，生成第二离线标签；
交互计算引擎，用于利用与交互计算引擎对应的标签规则模型对第二实时标签和第二离线标签进行处理，为第二实时数据和第二离线数据构建交互标签。
交互计算是在实时计算和离线计算的基础上实现。当需要构建标签的数据同时存在实时数据和离线数据时，可以通过交互计算进行处理。交互计算是指标签构建时需依托于多类资源或多个计算引擎，并且计算规则复杂，无法及时响应。
需要说明的是，上述的实时计算、离线计算和交互计算所处理的数据源可以为多种类型，即实时数据和离线数据可以为结构化数据也可以为非结构化数据，可以来源于实时数据库，也可以来自于外部服务接口。并且，该系统可以同时进行多种计算引擎，实现多种方式的计算。例如，该系统包括实时计算引擎、离线计算引擎和交互计算引擎，能够实现实时计算、离线计算和交互计算。需要指出的是，此时，上述提到的第一任务调度平台和第二任务调度平台为同一个任务调度平台，第一实时计算引擎和第二实时计算引擎为同一个实时计算引擎，第一离线计算引擎和第二离线计算引擎为同一个离线计算引擎，即在此系统中，实时计算中使用的实时计算引擎也可以用于交互计算中。
如图2所示，本发明实施例提供了一种数据标签构建方法，包括：
步骤201：可视化装置对至少两种标签规则进行可视化展示；
步骤202：针对每一个计算装置，均执行：根据用户的触发操作，在至少两种标签规则中确定至少两种目标标签规则，根据至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
步骤203：任意一个计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签。
在本发明的一个实施例中，任意一个计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一实时计算引擎接收外部实时发送的第一实时数据，利用与第一实时计算引擎对应的标签规则模型为第一实时数据构建第一实时标签。
在本发明的一个实施例中，第一实时计算引擎接收外部实时发送的第一实时数据，利用与第一实时计算引擎对应的标签规则模型为第一实时数据构建第一实时标签，包括：
总线适配器接收第一实时数据，将第一实时数据拆分成至少两个分发数据，分别发送给至少两个分发节点，其中，分发数据与分发节点一一对应；
任意一个分发节点将得到的分发数据拆分成目标数量的计算数据，并分别发送给目标数量的第一层级的计算节点；
第一层级的计算节点利用与第一实时计算引擎对应的标签规则模型对计算数据进行处理，并将处理后的计算数据发送给下一层级的计算节点；
下一层级的计算节点利用与第一实时计算引擎对应的标签规则模型，对上一层级的计算节点处理后的计算数据进行处理，并将处理后的计算数据发送给下一层级的计算节点；
处理节点将第n层级的计算节点处理后的计算数据进行整合，生成第一实时标签。
在本发明的一个实施例中，第一任务调度平台创建至少一个第一标签任务，其中，每一个第一标签任务中包括：第一离线数据标识；
任意一个计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一离线计算引擎针对每一个第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与第一离线计算引擎对应的标签规则模型为第一离线数据构建第一离线标签。
在本发明的一个实施例中，该方法还包括：
第二任务调度平台创建至少一个第二标签任务，其中，每一个第二标签任务中包括：第二离线数据标识；
任意一个计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第二实时计算引擎接收外部实时发送的第二实时数据，利用与第二实时计算引擎对应的标签规则模型对第二实时数据进行处理，生成第二实时标签；
第二离线计算引擎针对每一个第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与第二离线计算引擎对应的标签规则模型对第二离线数据进行处理，生成第二离线标签；
交互计算引擎利用与交互计算引擎对应的标签规则模型对第二实时标签和第二离线标签进行处理，为第二实时数据和第二离线数据构建交互标签。
如图3所示，本发明实施例以交互计算为例，对数据标签构建方法进行详细地说明，该方法包括：
步骤301：可视化装置对至少两种标签规则进行可视化展示。
数据标签构建系统包括：第二任务调度平台、可视化装置、第二实时计算引擎、第二离线计算引擎和交互计算引擎。
其中，可视化装置可以包括屏幕，屏幕上显示各个标签规则对应的标识，用户可以通过点击和拖动的方式对各个标识进行操作。
步骤302：第二任务调度平台创建至少一个第二标签任务，其中，每一个第二标签任务中包括：第二离线数据标识。
步骤303：针对每一个计算装置，均执行：根据用户的触发操作，在至少两种标签规则中确定至少两种目标标签规则，根据至少两种目标标签规则，生成与当前计算装置对应的标签规则模型，其中，计算装置包括第二实时计算引擎、第二离线计算引擎和交互计算引擎。
步骤304：第二实时计算引擎接收外部实时发送的第二实时数据，利用与第二实时计算引擎对应的标签规则模型对第二实时数据进行处理，生成第二实时标签。
第二实时计算引擎加载其对应的标签规则模型，并根据标签规则模型对第二实时数据进行处理。
步骤305：第二离线计算引擎针对每一个第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与第二离线计算引擎对应的标签规则模型对第二离线数据进行处理，生成第二离线标签。
步骤306：交互计算引擎利用与交互计算引擎对应的标签规则模型对第二实时标签和第二离线标签进行处理，为第二实时数据和第二离线数据构建交互标签。
在实际应用场景中，可以根据实时计算、离线计算和交互计算产生的标签，构建标签数据库，并向用户提供查询接口，以使用户根据标签查询数据。
上述方法中的各步骤之间的信息交互、执行过程等内容，由于与本发明系统实施例基于同一构思，具体内容可参见本发明系统实施例中的叙述，此处不再赘述。
综上，本发明各个实施例至少具有如下效果：
1、在本发明实施例中，该方法向用户展示多种标签规则，用户可以根据点击、拖动等操作，在多种标签规则中选择目标标签规则并构建标签规则模型。该方法将复杂的业务逻辑通过简单的配置实现，即使不懂技术的人通过简单培训也能够上手，提高了其易用性。当标签规则发生变化时，该方法只需要重新选择目标标签规则，无需进行二次开发，能够简化标签构建过程。
2、在本发明实施例中，可以接入不同类型数据源，实现异构数据的实时接收。
3、在本发明实施例中，提供了实时计算、离线计算和交互计算三种计算方式，能够满足用户的不同需求。其中，交互计算，可以对多个异构资源进行比对碰撞分析，完成复杂的业务逻辑；离线计算，可以对海量的历史数据进行分析挖掘，结合机器学习技术实现更为智能的标签推荐和构建体系；实时计算，可以通过流式计算对海量实时数据流进行秒级的处理，以满足对实时数据标签构建的需求。
4、在本发明实施例中，采用分布式计算的方式对实时数据和离线数据进行处理，满足海量数据的处理要求。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种数据标签构建系统，其特征在于，包括：至少一个计算装置和可视化装置；
所述可视化装置，用于对至少两种标签规则进行可视化展示；针对每一个所述计算装置，均执行：根据用户的触发操作，在所述至少两种标签规则中确定至少两种目标标签规则，根据所述至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
任意一个所述计算装置，用于利用与当前计算装置对应的标签规则模型为业务数据构建标签。
2.根据权利要求1所述的数据标签构建系统，其特征在于，
所述至少一个计算装置，包括：第一实时计算引擎；
所述第一实时计算引擎，用于接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签。
3.根据权利要求2所述的数据标签构建系统，其特征在于，
所述第一实时计算引擎，包括：总线适配器、至少两个分发节点、至少两个计算节点和处理节点；
所述至少两个计算节点分为n个层级，其中，每一个所述层级包括至少一个所述计算节点，n为整数；
所述总线适配器，用于接收所述第一实时数据，将所述第一实时数据拆分成至少两个分发数据，分别发送给所述至少两个分发节点，其中，所述分发数据与所述分发节点一一对应；
任意一个所述分发节点，用于将得到的所述分发数据拆分成目标数量的计算数据，并分别发送给所述目标数量的第一层级的所述计算节点；
第一层级的所述计算节点，用于利用与所述第一实时计算引擎对应的标签规则模型对所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
下一层级的所述计算节点，用于利用与所述第一实时计算引擎对应的标签规则模型，对上一层级的所述计算节点处理后的所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
所述处理节点，用于将第n层级的所述计算节点处理后的所述计算数据进行整合，生成所述第一实时标签。
4.根据权利要求1所述的数据标签构建系统，其特征在于，进一步包括：第一任务调度平台；
所述至少一个计算装置，包括：第一离线计算引擎；
所述第一任务调度平台，用于创建至少一个第一标签任务，其中，每一个所述第一标签任务中包括：第一离线数据标识；
所述第一离线计算引擎，用于针对每一个所述第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与所述第一离线计算引擎对应的标签规则模型为所述第一离线数据构建第一离线标签。
5.根据权利要求1-4中任一所述的数据标签构建系统，其特征在于，进一步包括：第二任务调度平台；
所述第二任务调度平台，用于创建至少一个第二标签任务，其中，每一个所述第二标签任务中包括：第二离线数据标识；
所述至少一个计算装置，包括：第二实时计算引擎、第二离线计算引擎和交互计算引擎；
所述第二实时计算引擎，用于接收外部实时发送的第二实时数据，利用与所述第二实时计算引擎对应的标签规则模型对所述第二实时数据进行处理，生成第二实时标签；
所述第二离线计算引擎，用于针对每一个所述第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与所述第二离线计算引擎对应的标签规则模型对所述第二离线数据进行处理，生成第二离线标签；
所述交互计算引擎，用于利用与所述交互计算引擎对应的标签规则模型对所述第二实时标签和所述第二离线标签进行处理，为所述第二实时数据和所述第二离线数据构建交互标签。
6.一种数据标签构建方法，其特征在于，包括：
可视化装置对至少两种标签规则进行可视化展示；
针对每一个所述计算装置，均执行：根据用户的触发操作，在所述至少两种标签规则中确定至少两种目标标签规则，根据所述至少两种目标标签规则，生成与当前计算装置对应的标签规则模型；
任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签。
7.根据权利要求6所述的数据标签构建方法，其特征在于，
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一实时计算引擎接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签。
8.根据权利要求7所述的数据标签构建方法，其特征在于，
所述第一实时计算引擎接收外部实时发送的第一实时数据，利用与所述第一实时计算引擎对应的标签规则模型为所述第一实时数据构建第一实时标签，包括：
总线适配器接收所述第一实时数据，将所述第一实时数据拆分成至少两个分发数据，分别发送给至少两个分发节点，其中，所述分发数据与所述分发节点一一对应；
任意一个所述分发节点将得到的所述分发数据拆分成目标数量的计算数据，并分别发送给所述目标数量的第一层级的所述计算节点；
第一层级的所述计算节点利用与所述第一实时计算引擎对应的标签规则模型对所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
下一层级的所述计算节点利用与所述第一实时计算引擎对应的标签规则模型，对上一层级的所述计算节点处理后的所述计算数据进行处理，并将处理后的所述计算数据发送给下一层级的所述计算节点；
处理节点将第n层级的所述计算节点处理后的所述计算数据进行整合，生成所述第一实时标签。
9.根据权利要求6所述的数据标签构建方法，其特征在于，进一步包括：
第一任务调度平台创建至少一个第一标签任务，其中，每一个所述第一标签任务中包括：第一离线数据标识；
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第一离线计算引擎针对每一个所述第一标签任务，均执行：根据当前第一标签任务中的第一离线数据标识，确定第一离线数据，利用与所述第一离线计算引擎对应的标签规则模型为所述第一离线数据构建第一离线标签。
10.根据权利要求6-9中任一所述的数据标签构建方法，其特征在于，进一步包括：
第二任务调度平台创建至少一个第二标签任务，其中，每一个所述第二标签任务中包括：第二离线数据标识；
所述任意一个所述计算装置利用与当前计算装置对应的标签规则模型为业务数据构建标签，包括：
第二实时计算引擎接收外部实时发送的第二实时数据，利用与所述第二实时计算引擎对应的标签规则模型对所述第二实时数据进行处理，生成第二实时标签；
第二离线计算引擎针对每一个所述第二标签任务，均执行：根据当前第二标签任务中的第二离线数据标识，确定第二离线数据，利用与所述第二离线计算引擎对应的标签规则模型对所述第二离线数据进行处理，生成第二离线标签；
交互计算引擎利用与所述交互计算引擎对应的标签规则模型对所述第二实时标签和所述第二离线标签进行处理，为所述第二实时数据和所述第二离线数据构建交互标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810563260.8A CN108776686A (zh) | 2018-06-04 | 2018-06-04 | 一种数据标签构建系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810563260.8A CN108776686A (zh) | 2018-06-04 | 2018-06-04 | 一种数据标签构建系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108776686A true CN108776686A (zh) | 2018-11-09 |
Family
ID=64025766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810563260.8A Pending CN108776686A (zh) | 2018-06-04 | 2018-06-04 | 一种数据标签构建系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776686A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555076A (zh) * | 2019-08-22 | 2019-12-10 | 上海数禾信息科技有限公司 | 数据打标方法、处理方法以及装置 |
| CN110955690A (zh) * | 2019-08-21 | 2020-04-03 | 广州云徙科技有限公司 | 一种基于大数据技术的自助数据标签平台及自助数据标签方法 |
| CN113010536A (zh) * | 2021-04-21 | 2021-06-22 | 中国平安人寿保险股份有限公司 | 基于流式数据处理的用户标签获取方法及装置 |
| CN114491265A (zh) * | 2022-01-28 | 2022-05-13 | 北京乐开科技有限责任公司 | 一种经营性空间平台运营服务系统的构建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750385A (zh) * | 2012-06-29 | 2012-10-24 | 南京邮电大学 | 基于标签检索的相关性—质量排序图像检索方法 |
| CN103455611A (zh) * | 2013-09-06 | 2013-12-18 | 北京邮电大学 | Rfid中间件的数据处理方法 |
| CN103997502A (zh) * | 2014-06-05 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于云计算数据中心安全增强模型的设计方法 |
-
2018
- 2018-06-04 CN CN201810563260.8A patent/CN108776686A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750385A (zh) * | 2012-06-29 | 2012-10-24 | 南京邮电大学 | 基于标签检索的相关性—质量排序图像检索方法 |
| CN103455611A (zh) * | 2013-09-06 | 2013-12-18 | 北京邮电大学 | Rfid中间件的数据处理方法 |
| CN103997502A (zh) * | 2014-06-05 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于云计算数据中心安全增强模型的设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郝晓培: "基于大数据的铁路客运用户画像系统研究及应用", 《中国铁道科学研究院》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110955690A (zh) * | 2019-08-21 | 2020-04-03 | 广州云徙科技有限公司 | 一种基于大数据技术的自助数据标签平台及自助数据标签方法 |
| CN110555076A (zh) * | 2019-08-22 | 2019-12-10 | 上海数禾信息科技有限公司 | 数据打标方法、处理方法以及装置 |
| CN113010536A (zh) * | 2021-04-21 | 2021-06-22 | 中国平安人寿保险股份有限公司 | 基于流式数据处理的用户标签获取方法及装置 |
| CN113010536B (zh) * | 2021-04-21 | 2024-02-06 | 中国平安人寿保险股份有限公司 | 基于流式数据处理的用户标签获取方法及装置 |
| CN114491265A (zh) * | 2022-01-28 | 2022-05-13 | 北京乐开科技有限责任公司 | 一种经营性空间平台运营服务系统的构建方法 |
| CN114491265B (zh) * | 2022-01-28 | 2022-08-23 | 北京乐开科技有限责任公司 | 一种经营性空间平台运营服务系统的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776686A (zh) | 一种数据标签构建系统和方法 | |
| Sekerinski et al. | Program development by refinement: case studies using the B method | |
| Aridhi et al. | A MapReduce-based approach for shortest path problem in large-scale networks | |
| Alaasam et al. | Stateful stream processing for digital twins: Microservice-based kafka stream dsl | |
| CN106020950A (zh) | 基于复杂网络分析的函数调用图关键节点识别和标识方法 | |
| CN109710703A (zh) | 一种血缘关系网络的生成方法及装置 | |
| CN111126621B (zh) | 在线模型训练方法及装置 | |
| CN106875320A (zh) | 云环境下船舶航行数据的高效可视分析方法 | |
| CN109344245A (zh) | 文本相似度计算方法及装置 | |
| CN109241268A (zh) | 一种相似信息推荐方法、装置、设备及存储介质 | |
| CN110362663A (zh) | 自适应多感知相似度检测和解析 | |
| JP7262505B2 (ja) | 人材需要予測方法、人材需要予測装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN110516714A (zh) | 一种特征预测方法、系统及引擎 | |
| US20210110248A1 (en) | Identifying and optimizing skill scarcity machine learning algorithms | |
| CN106127365A (zh) | 定量遥感产品在线交互式自主生产方法 | |
| CN111930956A (zh) | 一种采用知识图谱的多创新方法推荐与流驱动的集成系统 | |
| CN116910567B (zh) | 推荐业务的在线训练样本构建方法及相关装置 | |
| CN110390110A (zh) | 用于语义匹配的预训练生成句子向量的方法和装置 | |
| CN108885686A (zh) | 用于视频分析的基于云的主动调试系统 | |
| CN106033332A (zh) | 一种数据处理方法及设备 | |
| Filip | Designing and building modern information systems; A series of decisions to be made | |
| CN107122849B (zh) | 基于SparkR的产品检测总完工时间极小化方法 | |
| CN106647411B (zh) | 信息物理融合系统CPS的Agent构造方法及装置 | |
| CN106330556B (zh) | 一种用于生成服务模块调用关联信息的方法与装置 | |
| Kimovski et al. | Multi-objective service oriented network provisioning in ultra-scale systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181109 |
|
| RJ01 | Rejection of invention patent application after publication |