CN108846002B - 标签实时更新方法及系统 - Google Patents

Abstract

本发明公开了一种标签实时更新方法，包括如下步骤：步骤S10：定位需要变更的字段；步骤S11：获取所述需变更字段的变更值；步骤S12：将所述变更值层叠在所述字段的旧字段值上。本发明还提一种标签实时更新系统。本发明提供的标签实时更新方法和系统，改变了过去更新方法中需要整行删除，然后重新建立新的数据行的方法，通过定位到需要修改的字段，用新的字段值覆盖在旧字段值上，极大地提高了数据写入导出的性能。

Description

标签实时更新方法及系统

技术领域

本发明涉及互联网大数据处理领域，尤其涉及一种标签实时更新方法和系统。

背景技术

近年来随着移动互联网技术的发展和普及应用，产生了越来越多的用户行为数据，许多互联网公司通过这些用户行为数据抽象出了用户标签模型，也即用户画像。用户标签主要包括：用户的基本属性、社会属性、兴趣爱好、行为特征、心理特征等。这些标签的价值在于了解用户、猜测用户的潜在需求、精细化的定位人群特征、挖掘潜在的用户群体，从而做到精准营销、个性化推荐、提高运营效率等。

用户标签是不断变化和完善的，需要根据行为数据不断修正，越来越真实的逼近和刻画一个人，标签个数也会不断增加。一般的，标签分为静态标签和动态标签。静态标签是指用户相当稳定的信息，比如，性别、职业、学历等；动态标签是用户不断变化的行为信息，比如，地理位置、网页浏览信息等。因此，动态标签会频繁的更新。

有时候需要根据用户标签圈定一部分具有相同特征的用户群体来做推荐或营销等。此时就需要从海量的用户里筛选出符合条件的人群。

当前的标签系统技术方案上分为两类，基于分布式搜索系统的方案和基于 key-value数据存储的方案。

采用分布式搜索系统的方案，利用了搜索引擎的原理，对数据根据按维度进行索引。该类方案能够提供灵活的分析和数据导出，然而大量数据的写入和导出性能均较差。

采用key-value数据存储的方案，能够有效的支持根据唯一id查询标签数据的功能，然而无法支持根据任意维度分析及筛选导出人群的功能，使用场景较为局限。

发明内容

针对现有标签系统存在的问题，本发明实施例提供一种标签实时更新方法和系统，对现有的技术方案提出了较大的改进，保留了原有方案查询分析功能的同时，实现了数据写入和数据导出性能的大幅提升。

本发明实施例提供的实时标签更新方法，包括如下步骤

步骤S10：定位需要变更的字段；

步骤S11：获取需变更字段的变更值；

步骤S12：将变更值层叠在字段的旧字段值上。

本发明提供的标签实时更新方法，改变了过去更新方法中需要整行删除，然后重新建立新的数据行的方法，通过定位到需要修改的字段，用新的字段值层叠在旧字段值上，极大地提高了数据写入导出的性能。

优选地，还包括步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为字段的字段值进行提取。通过使用代的概念，建立代与变更值之间的联系，并将每一个变更值都层叠在前一个变更值上。在一定的时间内，每一个变更值和代都会保存，为数据修改、读取和恢复保存了历史数据，非常方便对数据的修改、读取和恢复。

优选地，还包括步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为字段的字段值，并删除其余变更值以及其余变更值对应的代。当更新频繁时，代数会急剧增加，这会消耗不少内存，也给查询带来了不便，因此定期合并段文件，合并的时候会重新生成索引文件，此时会将过去更新的最新的值写入到新索引文件，所有“层叠”的代都被丢弃。这样可以释放内存，节约存储资源。

本发明实施例还提供一种标签实时更新系统，包括协调节点模块、标签数据节点模块、数据查询节点模块、客户端、应用程序协调服务模块、分布式文件系统和数据库，标签数据节点模块分别连接数据查询节点模块、客户端、应用程序协调服务模块、分布式文件系统模块和数据库，协调节点模块分别连接客户端和应用程序协调服务模块；

协调节点模块：用于管理标签数据节点模块；

标签数据节点模块：用于接收客户端传来的标签数据，并通过执行应用程序对标签进行修改，应用程序执行时实现以下标签实时更新方法：

步骤S10：定位需要变更的字段；

步骤S11：获取需变更字段的变更值；

步骤S12：将变更值层叠在所述字段的旧字段值上；

数据查询节点模块：用于接收用户的查询请求，将查询请求分解为标签数据节点上的查询任务，最后将各个标签数据节点上的查询结果汇总后返回给用户；

客户端封装了标签写入和查询的易用接口，用于用户写入和查询标签数据；

应用程序协调服务模块：用于协调协调节点模块、标签数据节点模块、数据查询节点模块之间的通信、以及维护标签数据节点模块的工作状态；

分布式文件系统模块：用于存储标签索引数据；

数据库：用于存储标签元数据信息。

本发明实施例提供的标签实时更新系统，标签数据节点模块改变了过去更新方法中需要整行删除，然后重新建立新的数据行的方法，通过定位到需要修改的字段，用新的字段值层叠在旧字段值上，极大地提高了数据写入导出的性能。系统在保留了原有方案查询分析功能的同时，实现了数据写入和数据导出性能的大幅提升。

优选地，协调节点模块管理标签数据节点模块，具体包括任务的分配、新任务的发现、任务的删除、标签元数据的维护、标签索引文件在数据节点上的分布。

优选地，标签数据节点模块还用于接收数据查询节点模块的查询请求，将本标签数据节点模块负责的标签数据查询出来。

优选地，应用程序执行时实现的标签实时更新方法还包括步骤：

步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值进行提取。

优选地，应用程序执行时实现的标签实时更新方法还包括步骤：

步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值，并删除其余变更值以及其余变更值对应的代。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，在计算机程序运行时可执行如上所述的标签实时更新方法。

附图说明

图1A、图1B为现有技术标签变更示意图；

图2为本发明实施例1中标签实时更新方法流程示意图；

图3A、图3B、图3C为本发明标签实时更新方法示意图；

图4为本发明实施例1中标签实时更新方法优选实施方式流程示意图；

图5为本发明实施例2中标签实时更新系统结构示意图；

图6为本发明实施例2中标签实时更新系统具体实施例结构示意图。

附图中：100、协调节点模块；200、标签数据节点模块；300、数据查询节点模块；400、客户端；500、应用程序协调服务模块；600、分布式文件系统； 700、数据库。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例1：

由于绝大部分的索引文件是不可变的，如果要更新某个字段的信息，现有标签更新提供的方法是需要先删除整行，然后再插入一个新的行(比如，HBase， Lucene等)。如图1A所示，需要变更ID为1002行的score值，现有标签更新方法变更的过程如图1B所示。可以看到，现有技术的更新方法有如下两步：

将要更新的行标记删除；

插入一个新的行，新行中包含了要更新字段的最新值，而其他字段的值不变。

这种方法很大的缺点是：对于没有更新的字段，也要重新插入一遍。如果字段过多的话，更新成本太高，严重的影响性能。

本发明实施例提供的标签实时更新方法如图2所示，包括以下步骤：

步骤S10：定位需要变更的字段；

步骤S11：获取需变更字段的变更值；

步骤S12：将变更值层叠在字段的旧字段值上。

还是以图1A所示的图为例，当需要变更ID为1002行的score值时，本发明实施例1提供的标签实时更新方法如图3A所示，首先定位到ID为1002行的 score值，然后将需要变更的字段值层叠在旧的字段值上，而不需要经过删除整行数据，再新建一行数据的过程，改变了过去更新方法中需要整行删除，然后重新建立新的数据行的方法，极大地提高了数据写入导出的性能。

如图4所示，本发明标签实时更新方法提供了一种优选的实施方式，包括如下步骤；

步骤S10：定位需要变更的字段；

步骤S11：获取需变更字段的变更值；

步骤S12：将变更值层叠在字段的旧字段值上；

步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为字段的字段值进行提取。

步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为字段的字段值，并删除其余变更值以及其余变更值对应的代。

通过使用代的概念，建立代与变更值之间的联系，并将每一个变更值都覆盖在前一个变更值上。在一定的时间内，每一个变更值和代都会保存，为数据修改、读取和恢复保存了历史数据，非常方便对数据的修改、读取和恢复。当更新频繁时，代数会急剧增加，这会消耗不少内存，也给查询带来了不便，因此定期合并段文件，合并的时候会重新生成索引文件，此时会将过去更新的最新的值写入到新索引文件，所有“层叠”的代都被丢弃。这样可以释放内存，节约存储资源。

如图3B所示，对ID为1002行的score值，经过了两次的变更，第一次将字段值为70变更为86，第二次再变更为92。使用本实施例提供的优选实施方法，在第一次变更时，同时建立第一代“generation1”,并建立其对应的字段变更值为86；第二次变更时，同时建立第二代“generation2”,并建立其对应的字段变更值为92。字段值变更完毕后，再对所有的代做排序，由于代的顺序也是按变更时间的先后顺序对应的，所以，既可以按代从小到大的顺序排序，也可以按创建代的时间从远到近的顺序排序。使用“代”的概念来记录同一个字段的多次更新，每更新一次即为一代，随着同一个字段更新次数的增加，代数也不断增长，最新的代“层叠”在旧的代之上。读取的时候，先查看该字段是否被更新过，如果更新过，则其值为代数最大的那个值，也就是最近更新的最新值；如果没有更新过，则读取原来的值。如图3B所示，查询的时候，发现score字段有过更新，则其值取代数最高的那个值，也即92，这样就能返回最新的值了。

本发明标签实时更新方法，进一步还提供对字段进行段合并的优选实施方式，如图3B所述，合并前字段值经过了两次变更，每一次变更都层叠在上一次变更值上，即同时保留上一次变更值和其对应的代，同时记录本次变更的变更值和其对应的代。当更新很频繁，代数会急剧增加，这会消耗不少内存，也给查询带来了不便，因此段文件需要定期的合并(merge)，合并的时候会重新生成索引文件，此时会将过去更新的最新的值写入到新索引文件，所有“层叠”的代都被丢弃。合并后的文件如图3C所示，使用最新的变更值92替换原来的字段值70，并丢弃所有的代“generation1”“generation2”，以及中间的变更值86，形成字段值为92的新索引文件。

本实施例提供的标签实时更新方法，可以通过编制计算机可执行程序实现，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时可执行如上所述的标签实时更新方法。

实施例2：

本发明实施例2提供一种标签实时更新系统，包括协调节点模块100、标签数据节点模块200、数据查询节点模块300、客户端400、应用程序协调服务模块500、分布式文件系统600和数据库700，标签数据节点模块200分别连接数据查询节点模块300、客户端400、应用程序协调服务模块500、分布式文件系统模块600和数据库700，协调节点模块100分别连接客户端400和应用程序协调服务模块500；

协调节点模块100：用于管理标签数据节点模块200；

标签数据节点模块200：用于接收客户端400传来的标签数据，并通过执行应用程序对标签进行修改，应用程序执行时实现以下标签实时更新方法：

步骤S10：定位需要变更的字段；

步骤S11：获取需变更字段的变更值；

步骤S12：将变更值层叠在所述字段的旧字段值上；

数据查询节点模块300：用于接收用户的查询请求，将查询请求分解为标签数据节点上的查询任务，最后将各个标签数据节点上的查询结果汇总后返回给用户；

客户端400封装了标签写入和查询的易用接口，用于用户写入和查询标签数据；

应用程序协调服务模块500：用于协调协调节点模块100、标签数据节点模块200、数据查询节点模块300之间的通信、以及维护标签数据节点模块200的工作状态；

分布式文件系统模块600：用于存储标签索引数据；

数据库700：用于存储标签元数据信息。

本发明实施例提供的标签实时更新系统，标签数据节点模块200改变了过去更新方法中需要整行删除，然后重新建立新的数据行的方法，通过定位到需要修改的字段，用新的字段值覆盖在旧字段值上，极大地提高了数据写入导出的性能。系统在保留了原有方案查询分析功能的同时，实现了数据写入和数据导出性能的大幅提升。

其中，协调节点模块100管理标签数据节点模块200，具体包括任务的分配、新任务的发现、任务的删除、标签元数据的维护、标签索引文件在数据节点上的分布。标签数据节点模块200还用于接收数据查询节点模块300的查询请求，将本标签数据节点模块200负责的标签数据查询出来。

进一步的，实施例2提供的标签实时更新系统优选实施方式中，应用程序执行时实现的标签实时更新方法还包括步骤：

步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值进行提取。

步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值，并删除其余变更值以及其余变更值对应的代。

标签数据节点模块200执行的应用程序实现的标签实时更新方法，具体可参见实施例1中的描述，这里不再赘述。

本发明提供的实时标签更新系统的一种具体实时方式中，如图6所述，协调节点模块100为Master，标签数据节点模块200包括多个RegionServe，数据查询节点模块300为Broker、客户端400为Client、应用程序协调服务模块500 采用zookeeper、分布式文件系统600采用HDFS，数据库700为DB。

RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase 系统的关键所在，一方面它维护了Region的状态，提供了对于Region的管理和服务；另一方面，它与Master交互，上传Region的负载信息上传，参与Master 的分布式协调管理。RegionServer与Master以及Client之间采用RPC协议进行通信。RegionServer向Master定期汇报节点的负载状况。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是 Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种标签实时更新方法，其特征在于，包括如下步骤：

步骤S10：定位需要变更的字段；

步骤S11：获取所述需要变更字段的变更值；

步骤S12：将所述变更值层叠在所述字段的旧字段值上；

步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值进行提取。

2.如权利要求1所述的方法，其特征在于，还包括步骤S14：

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值进行提取。

3.如权利要求2所述的方法，其特征在于，还包括步骤S15：

步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值，并删除其余变更值以及其余变更值对应的代。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时可执行如权利要求1至3任意一项所述的标签实时更新方法。

5.一种标签实时更新系统，其特征在于，包括协调节点模块、标签数据节点模块、数据查询节点模块、客户端、应用程序协调服务模块、分布式文件系统和数据库，所述标签数据节点模块分别连接所数据查询节点模块、客户端、应用程序协调服务模块、分布式文件系统模块和数据库，所述协调节点模块分别连接所述客户端和应用程序协调服务模块；

协调节点模块：用于管理标签数据节点模块；

标签数据节点模块：用于接收客户端传来的标签数据，并通过执行应用程序对标签进行修改，所述应用程序执行时实现以下标签实时更新方法：

步骤S10：定位需要变更的字段；

步骤S11：获取所述需要变更字段的变更值；

步骤S12：将所述变更值层叠在所述字段的旧字段值上；

数据查询节点模块：用于接收用户的查询请求，将查询请求分解为标签数据节点上的查询任务，最后将各个标签数据节点上的查询结果汇总后返回给用户；

客户端封装了标签写入和查询的易用接口，用于用户写入和查询标签数据；

应用程序协调服务模块：用于协调协调节点模块、标签数据节点模块、数据查询节点模块之间的通信、以及维护标签数据节点模块的工作状态；

分布式文件系统模块：用于存储标签索引数据；

数据库：用于存储标签元数据信息; 所述应用程序执行时实现的标签实时更新方法还包括步骤：

步骤S13：针对一个字段，为每一次的变更值建立一个代，并按每一个代的建立时间排序；

步骤S14：读取标签信息时，针对做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值进行提取。

6.如权利要求5所述的系统，其特征在于，所述协调节点模块管理标签数据节点模块，具体包括任务的分配、新任务的发现、任务的删除、标签元数据的维护、标签索引文件在数据节点上的分布。

7.如权利要求5所述的系统，其特征在于，所述标签数据节点模块还用于接收数据查询节点模块的查询请求，将本标签数据节点模块负责的标签数据查询出来。

8.如权利要求5所述的系统，其特征在于，所述应用程序执行时实现的标签实时更新方法还包括步骤：

步骤S15：在设定的合并字段值周期到来时，针对每一个做过变更的字段，将建立时间最近的代所对应的变更值作为所述字段的字段值，并删除其余变更值以及其余变更值对应的代。

Images