CN112214497A

CN112214497A - 一种标签的处理方法、装置及计算机系统

Info

Publication number: CN112214497A
Application number: CN202011171574.7A
Authority: CN
Inventors: 邱飞虎
Original assignee: Shanghai Baoyun Network Information Service Co ltd
Current assignee: Shanghai Baoyun Network Information Service Co ltd
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2021-01-12

Abstract

本申请公开了一种标签的处理方法、装置及计算机系统，所述方法包括接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系，将用户与标签的关联关系根据用户编码存储至对应的分区中，可根据用户编码迅速寻找到存储的相应用户对应的标签，保证了标签的查询效率。

Description

一种标签的处理方法、装置及计算机系统

技术领域

本发明涉及数据处理领域，尤其涉及一种标签的处理方法、装置及计算机系统。

背景技术

随着互联网技术的发展，企业常常需要对消费者进行分类筛选，以便对消费者提供个性化服务。而当某一企业具有庞大的用户量时，相应的用户的标签数据总量也会达到非常大的数量。为了保证数据安全、提高数据的读写效率，标签数据可以以分布式架构进行存储。然而，如果标签数据的存储结构不合理，就会导致需要读取存储的标签数据时读取效率十分低下，无法满足企业使用标签数据进行目标用户的筛选的使用需求。

因此，亟需一种可提升标签数据的存储和读取效率的处理方法，以满足企业等数据使用者的实际需求。

发明内容

为了解决现有技术的不足，本发明的主要目的在于提供一种标签的处理方法、装置及计算机系统，以解决上述技术问题。

为了达到上述目的，第一方面本发明提供了一种标签的处理方法，所述方法包括：

接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；

生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；

根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；

将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系。

在一些实施例中，生成所述待标签用户对应的标签存储任务包括：

将所述标签存储任务存储至预设消息队列；

所述将所述标签存储任务分发至所述对应的分区包括：

预设线程从所述预设消息队列提取标签存储任务并分发至所述对应的分区。

在一些实施例中，所述方法中的将所述标签存储任务存储至预设消息队列包括：

生成每一所述标签存储任务对应的分布式锁；

所述根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区包括：

当预设线程获取到对应的分布式锁时，根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区。

在一些实施例中，所述生成所述待标签用户对应的标签存储任务包括：

根据所述标签生成请求对应的请求ID及所述待标签用户对应的用户编码，生成每一所述待标签用户对应的任务ID；

当预设数据库不存在相同的任务ID时，将所述任务ID存储至所述预设数据库并生成对应的标签存储任务；

当所述预设数据库存在相同的任务ID时，不生成对应的标签存储任务。

在一些实施例中，所述标签生成请求包括对应的待处理数据表，所述接收标签生成请求包括：

解析并识别所述待处理数据表包括的数据行，所述数据行包括待标签用户及对应的标签。

在一些实施例中，所述根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区包括：

根据所述待标签用户对应的用户编码按照一致性哈希算法确定所述待标签用户对应的分区。

在一些实施例中，所述方法包括：

接收标签查询请求，所述标签查询请求包括对应的待查询标签；

生成每一分区对应的包含所述待查询标签的查询任务，以便每一所述分区根据所述对应的查询任务查询存储的所述待查询标签对应的用户并返回。

第二方面，本申请提供了一种标签的处理装置，所述装置包括：

接收模块，用于接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；

生成模块，用于生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；

处理模块，用于根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；

分发模块，用于将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系。

在一些实施例中，所述生成模块还可用于将所述标签存储任务存储至预设消息队列；所述分发模块还可用于预设线程从所述预设消息队列提取标签存储任务并分发至所述对应的分区。

第三方面，本申请提供了一种计算机系统，所述系统包括：

一个或多个处理器；

以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

本发明实现的有益效果为：

本申请提供了一种标签的处理方法，包括接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系，将用户与标签的关联关系根据用户编码存储至对应的分区中，可根据用户编码迅速寻找到存储的相应用户对应的标签，保证了标签的查询效率；

进一步地，本申请还提出了生成每一所述标签存储任务对应的分布式锁；当预设线程获取到对应的分布式锁时，将所述标签存储任务分发至所述对应的分区，保证了每个标签存储任务不会被多个线程同时重复执行，保证了存储任务的执行幂等；

同时，本申请提出了根据所述标签生成请求对应的请求ID及所述待标签用户对应的用户编码，生成每一所述待标签用户对应的任务ID；当预设数据库不存在相同的任务ID时，将所述任务ID存储至所述预设数据库并生成对应的标签存储任务；当所述预设数据库存在相同的任务ID时，不生成对应的标签存储任务，避免了同样的标签存储任务被多次执行，导致数据冗余，保证了标签数据的幂等。

本发明所有产品并不需要具备上述所有效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的标签处理系统架构图；

图2是本申请实施例提供的标签建立流程图；

图3是本申请实施例提供的标签查询流程图；

图4是本申请实施例提供的方法流程图；

图5是本申请实施例提供的装置结构图；

图6是本申请实施例提供的计算机系统结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术所述，当存在数据量庞大的标签数据时，如果没有对标签数据的存储进行合理布置及规划，将会影响标签数据的读取效率，无法满足使用者的实际数据使用需求。

为解决上述问题，本申请提出了一种标签的处理方法，将用户与标签的关联关系根据用户编码存储至对应的分区，使得根据用户编码可迅速寻找到存储的相应用户对应的标签，保证了标签的查询效率。

如图1所示，本申请搭建了一个标签的管理系统，标签管理人员可通过客户端等操作端的UI界面录入相应的标签数据或标签的查询请求，标签数据经由预设的API传输至服务端，服务端包含的标签模块根据录入的信息进行标签数据的录入或生成相应的查询结果，并将标签数据存储至相应的数据库或将处理结果通过消息分发模块将查询结果返回至标签管理人员。

实施例一

具体的，如图2所示，使用上述系统进行标签数据的存储过程包括：

步骤一、接收标签存储请求，所述标签存储请求包括标签数据，每一标签数据包括目标用户的用户编码及对应的标签；

标签存储请求包含的标签数据可以存储在Excel文件中。可通过预设方法解析Excel文件，识别包含的每一数据行。每一数据行包括用户编码以及该用户编码对应的是否具有相应的标签。如表1所示，当某一数据行中某一标签对应的数据列的值为1时，可判断该数据行对应的用户具有该标签；当某一数据行中某一标签对应的数据列的值为0时，可判断该数据行对应的用户不具有该标签。优选的，可以使用easyexcel等任意解析工具对Excel文件进行解析以获取标签数据。

表1

用户编码	标签1	标签2	标签3
				001	1	0	0
002	1	1	1
				003	0	0	1

步骤二、根据标签请求对应的请求ID及每一标签数据包含的用户的用户编码，生成每一标签数据对应的任务ID；

步骤三、当预设数据库中已存在对应的任务ID时，不生成该标签数据对应的标签存储任务；

当预设数据库中不存在对应的任务ID时，生成该标签数据对应的标签存储任务。同时，生成每一标签存储任务对应的分布式锁。

所述预设数据库用于存储根据标签请求对应的请求ID及每一标签数据包含的用户编码生成的任务ID，以防止同一标签存储任务被重复执行。

步骤四、将标签存储任务存储至预设消息队列；

所述预设消息队列具有对应的线程池，线程池内的线程根据预设规则从预设消息队列中获取标签存储任务进行处理。

步骤五、线程从预设消息队列获取标签存储任务，当获取到对应的分布式锁时，根据用户编码按照预设算法确定对应的分区；

可采用哈希算法根据用户编码确定对应的分区。例如，当预设分区的数量为N时，可根据哈希算法按照用户编码计算对应的哈希值，然后将哈希值与N进行取模运算，根据运算结果确定对应的分区。

然而，当分区的数量发生变化时，采用将哈希值与新的分区数量值进行取模运算、根据运算结果确定对应的分区的方法将无法查找到原来的标签数据所在的分区，导致需要对所有的标签数据进行迁移。使用一致性哈希算法可解决上述问题。当预设分区的数量为K时、用户编码对应的哈希值的取值范围为[0,MAX]时，一致性哈希算法将[0,MAX]划分为M个区间，其中M远大于K。则每个分区负责存储M/K个区间的取值范围对应的标签数据。当分区的数量发生变化时，可根据一致性哈希算法对标签数据进行重新划分，对涉及到的其中的几个区间的标签数据进行搬移，在减少搬移数据量的同时保证了各个分区的数据量的均衡。

步骤六、线程将对应的标签数据存储至确定的对应的分区。

线程对待执行的一个或多个标签存储任务，可生成相应的批处理码，在执行存储时实时生成相应的批处理执行ID。根据批处理码以及标签存储任务的任务ID，可生成相应的键，并将批处理执行ID作为值生成键值对进行存储。当线程执行时出现异常情况等导致当次存储失败后重新执行该一个或多个标签存储任务时，会重新生成相应的批处理执行ID。当重新生成的批处理执行ID与根据批处理码以及标签存储任务的任务ID查询得到的批处理执行ID不一致时，可对分区内已存储的标签数据进行幂等校验，防止任务执行中断影响标签数据的幂等性。

如图3所示，使用上述系统进行标签数据的查询过程包括：

S1、接收查询请求方发出的查询请求；

所述查询请求可以包括待查询用户和/或待查询标签。

S2、当查询请求包括待查询用户时，根据待查询用户对应的用户编码确定对应的分区，从对应的分区获取待查询用户对应的标签数据并返回给查询请求方。

S3、当查询请求包括待查询标签时，生成每一分区对应的查询任务，以便每一分区根据查询任务查询存储的标签数据中是否存在包含待查询标签的用户；若存在则返回至查询请求方。

实施例二

对应上述实施例，如图4所示，本申请提供了一种标签的处理方法，所述方法包括：

410、接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；

420、生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；

优选的，所述生成所述待标签用户对应的标签存储任务包括：

421、根据所述标签生成请求对应的请求ID及所述待标签用户对应的用户编码，生成每一所述待标签用户对应的任务ID；

422、当预设数据库不存在相同的任务ID时，将所述任务ID存储至所述预设数据库并生成对应的标签存储任务；

423、当所述预设数据库存在相同的任务ID时，不生成对应的标签存储任务。

优选的，所述标签生成请求包括对应的待处理数据表，所述接收标签生成请求包括：

424、解析并识别所述待处理数据表包括的数据行，所述数据行包括待标签用户及对应的标签；

所述生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系包括：

425、生成每一所述数据行对应的标签存储任务，所述数据行对应的标签存储任务包括所述数据行对应的待标签用户及对应的标签。

430、根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；

440、将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系。

优选的，生成所述待标签用户对应的标签存储任务包括：

441、将所述标签存储任务存储至预设消息队列；

所述将所述标签存储任务分发至所述对应的分区包括：

442、预设线程从所述预设消息队列提取标签存储任务并分发至所述对应的分区。

优选的，所述方法中的将所述标签存储任务存储至预设消息队列包括：

443、生成每一所述标签存储任务对应的分布式锁；

444、当预设线程获取到对应的分布式锁时，根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区。

优选的，所述方法包括：

450、接收标签查询请求，所述标签查询请求包括对应的待查询标签；

451、生成每一分区对应的包含所述待查询标签的查询任务，以便每一所述分区根据所述对应的查询任务查询存储的所述待查询标签对应的用户并返回。

实施例三

对应上述方法，本申请提供了一种标签的处理装置，如图5所示，所述装置包括：

接收模块510，用于接收标签生成请求，所述标签生成请求包括待标签用户及对应的标签；

生成模块520，用于生成所述待标签用户对应的标签存储任务，所述标签存储任务包括建立的所述待标签用户与所述对应的标签的关联关系；

处理模块530，用于根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区；

分发模块540，用于将所述标签存储任务分发至所述对应的分区，以便所述对应的分区存储所述关联关系。

优选的，所述生成模块520还可用于将所述标签存储任务存储至预设消息队列；所述将所述标签存储任务分发至所述对应的分区包括：预设线程从所述预设消息队列提取标签存储任务并分发至所述对应的分区。

优选的，所述生成模块520还可用于生成每一所述标签存储任务对应的分布式锁；所述处理模块530还可用于当预设线程获取到对应的分布式锁时，根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区。

优选的，所述生成模块520还可用于根据所述标签生成请求对应的请求ID及所述待标签用户对应的用户编码，生成每一所述待标签用户对应的任务ID；当预设数据库不存在相同的任务ID时，将所述任务ID存储至所述预设数据库并生成对应的标签存储任务；当所述预设数据库存在相同的任务ID时，不生成对应的标签存储任务。

优选的，所述接收模块510还可用于解析并识别所述待处理数据表包括的数据行，所述数据行包括待标签用户及对应的标签。

优选的，所述处理模块530还可用于根据所述待标签用户对应的用户编码按照一致性哈希算法确定所述待标签用户对应的分区。

优选的，所述接收模块510还可用于接收标签查询请求，所述标签查询请求包括对应的待查询标签；生成每一分区对应的包含所述待查询标签的查询任务，以便每一所述分区根据所述对应的查询任务查询存储的所述待查询标签对应的用户并返回。

实施例四

对应上述方法、设备及系统，本申请实施例四提供一种计算机系统，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

其中，图6示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)1522。另外，还可以存储网页浏览器1523，数据存储管理1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种标签的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，生成所述待标签用户对应的标签存储任务包括：

将所述标签存储任务存储至预设消息队列；

所述将所述标签存储任务分发至所述对应的分区包括：

3.根据权利要求2所述的方法，其特征在于，所述方法中的将所述标签存储任务存储至预设消息队列包括：

生成每一所述标签存储任务对应的分布式锁；

4.根据权利要求1-3任一所述的方法，其特征在于，所述生成所述待标签用户对应的标签存储任务包括：

5.根据权利要求1-3任一所述的方法，其特征在于，所述标签生成请求包括对应的待处理数据表，所述接收标签生成请求包括：

6.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述待标签用户对应的用户编码按照预设算法确定所述待标签用户对应的分区包括：

7.根据权利要求1-3任一所述的方法，其特征在于，所述方法包括：

8.一种标签的处理装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述生成模块还可用于将所述标签存储任务存储至预设消息队列；所述分发模块还可用于预设线程从所述预设消息队列提取标签存储任务并分发至所述对应的分区。

10.一种计算机系统，其特征在于，所述系统包括：

一个或多个处理器；