CN117135209B - 一种工业互联网标识数据批量注册方法、装置和介质 - Google Patents

Abstract

本发明提供了一种工业互联网标识数据批量注册方法、装置和介质，属于计算机信息处理技术领域。具体如下：校验请求中标识个数是否超过限制并核对是否使用同一个模板；查询本地数据库中是否已存在待注册标识；进行分布式锁验证操作；校验是否存在已注册标识；将标识信息与模板匹配，校验标识属性值；将通过校验的标识数据写入操作提交到线程池，返回注册请求结果；线程池并发写入本地数据库；将上传二级节点操作加入Kafka队列；Kafka消费者程序从消息队列中取出待上传的标识数据，执行上传操作，并返回注册结果信息；修改本地数据库标识上传状态。本发明不仅高性能而且增加了数据可靠性，实现了业务逻辑分离，避免了性能瓶颈和资源占用过多。

Description

一种工业互联网标识数据批量注册方法、装置和介质

技术领域

本发明涉及一种工业互联网标识数据批量注册方法、装置和介质，属于计算机信息处理技术领域。

背景技术

随着工业互联网的发展，标识信息种类与数量不断增加，导致数据量巨大、访问频次高、响应速度慢等问题愈发突显。针对工业互联网标识大数据量高并发写入的问题，通常采取以下措施：一是数据库优化，选择高性能、高可用的数据库引擎，并进行读写分离、负载均衡、缓存等优化，减少数据库瓶颈效应。二是集群部署，实现多个节点之间的负载均衡和资源共享，增强系统的可扩展性和容错性，避免单点故障。三是数据分区，按一定规则将标识数据进行划分并分区管理，提高可用性和可靠性。

现有的技术方案仍然存在以下缺点：1、标识唯一性问题：由于设备和用户规模巨大，系统架构复杂，标识并发注册导致标识重复成为一个常见的问题；2、性能瓶颈问题：虽然这些技术方案都可以提高系统的性能，但是在处理高并发写入操作时，数据库写入和上传二级节点仍然会存在性能瓶颈问题；3、资源占用过多问题：并发访问量增加时，写入操作可以轻易占据大部分服务器资源，会导致 CPU 资源过度占用、内存泄漏等问题，降低了系统的性能和效率，从而影响系统的正常运行。

发明内容

本发明目的是提供了一种工业互联网标识数据批量注册方法、装置和介质，不仅高性能而且增加了数据可靠性，实现了业务逻辑分离，避免了性能瓶颈和资源占用过多。

本发明为实现上述目的，通过以下技术方案实现：

接收客户端发起的批量标识注册请求，校验请求中标识数量是否超过限制，并核对该请求是否使用同一个模板，如果超过数量限制或使用的非同一个模板，则停止本次标识注册，并向客户端反馈注册失败结果；如果未超过数量限制并且使用同一个模板，则继续进行标识注册。

查询数据库中存储的已注册标识信息，将标识注册请求中的标识信息与数据库信息对比，查询数据库中已存在的标识列表。

进行Redis分布式锁校验，校验是否有其他进程正在并发注册该标识，返回并发已注册标识列表。

遍历批量请求中的每一个标识，查看其是否在数据库中已存在的标识列表或者并发已注册的标识列表中。若存在则将已注册结果反馈至注册结果列表，停止本次注册，并向客户端反馈注册失败结果。

通过验证操作后将标识信息与数据库中存储的标识模板匹配，校验标识属性值。

将通过校验的标识数据写入操作提交到异步线程池，线程池并发写入本地数据库，并返回注册请求结果，并向客户端反馈注册成功结果。

将上传二级节点操作加入Kafka队列，实现异步处理；Kafka 消费者程序从消息队列中取出待上传的标识数据，执行上传操作，并返回注册结果信息，并向客户端反馈注册完成；

修改本地数据库标识上传状态。

优选的，所述Redis分布式锁校验操作，具体如下：

将需要加锁的多个标识包装成多个子命令存入管道对象中，发送批量加锁的多个子命令到Redis。

使用 Redis 数据库中 setnx 命令，将标识存储到 Redis中，并设置键值对过期时间为 10 秒。

若存储成功，则成功增加分布式锁，继续进行标识注册。

若存储失败，则增加分布式锁失败，停止标识的注册。

优选的，所述通过校验的标识数据写入操作提交到异步线程池，具体方式如下：

初始化一个线程池对象，通过公式计算线程数，以最大化性能，线程数计算公式为：

；

其中：表示CPU核心数，/>表示目标CPU利用率，/>。

使用有界队列控制执行任务线程数量，防止线程过多，资源溢出，队列大小计算公式为：

；

其中：表示内存大小。

将标识保存操作包装成幂的任务对象，提交给异步线程池中的多个线程并行执行写入数据库任务。

优选的，所述线程池设置有拒绝策略，当线程池中所有线程都处理任务时，新的任务会被拒绝并抛出异常，同时保持当前任务队列不变。

优选的，所述上传二级节点操作加入Kafka队列，实现异步处理，具体方式如下：

初始化一个 Kafka 生产者对象，将二级节点上传操作封装成消息并发送到Kafka 队列。

启动一个 Kafka 消费者对象，从队列中获取上传操作消息并进行消费，执行上传任务。

本发明的优点在于：

高性能：异步线程池可以处理来自多个客户端并发发送的注册请求，采用公式计算进行合理的参数设置以最大化性能，从而提高了整体并发处理能力。

数据的可靠性：在多线程并发环境下，通过使用分布式锁技术，可以确保只有一个线程能够获得该锁并执行该标识的注册操作，从而有效地防止了并发冲突和数据重复提交等问题的发生，保证数据一致性和可靠性。

业务逻辑的分离：通过异步线程池和基于 Kafka 的消息队列服务，实现了业务逻辑的分离，达到按需生成线程、上传二级节点的异步化等目的，进一步提高了业务逻辑的可扩展性和维护性。

该方法可以很好地满足当前大规模或者复杂度较高的分布式应用中针对批量注册标识的需求。相比目前的技术方案，该发明很好的解决了以下问题：

标识唯一性：引入Redis分布式锁机制，避免多个进程对同一标识进行并发注册，实现标识的全局唯一性。并且对批量请求内的多个标识，采用Redis的管道功能批量提交加锁请求，有效减少网络开销，保证系统性能。基于分布式锁的标识唯一性保持方法具有简单、高效、可靠等优点，能够有效地避免并发注册导致标识重复的情况发生，从而保证数据的正确性和完整性。

性能瓶颈问题：采用异步线程池，将数据保存操作从主请求流程解耦出来，减少I/O等待时间和CPU资源浪费，大大提高写入操作的吞吐量。将标识上传二级节点的请求加入Kafka 消息队列，避免了应用程序直接面对第三方系统接口时带来的性能瓶颈，增强了系统整体可靠性与解耦程度，并提高了接口传递的容错性及防止丢失性。

资源占用过多问题：当任务量过大时，该方法使用线程池拒绝策略，让调用者及时发现标识注册被拒绝的情况，避免了线程资源过度占用的问题，保证系统的正常运行。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明流程结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种工业互联网标识数据批量注册方法包括以下步骤：

步骤1：校验请求中标识个数是否超过限制并核对是否使用同一个模板。

在标识批量注册过程中，限制一个请求内的标识数量可以减轻系统负荷。此外，它还可以防止恶意程序或人工智能软件通过注册大量垃圾、虚假数据来攻击系统或者进行不良行为，提高系统的稳定性和安全性。在标识批量注册时限制只能使用同一个模板，可以避免多次查询模板信息，降低数据库查询次数，提高注册效率。如果请求内待注册的标识数量超过限制，或者并非使用相同的模板，注册将失败并返回相关信息提示。

步骤2：在本地数据库中查询标识是否存在。

将提交的标识信息与已有数据进行比对，检查是否已经存在相同的标识，并返回查询结果。这一步骤可以避免出现重复的标识信息，提高标识管理和处理的效率和准确性。该步骤会返回数据库中已存在的标识列表。

步骤3：Redis分布式锁校验。通过在标识并发注册过程中增加分布式锁，可以确保同一标识只能由一个客户端进行操作，有效解决了重复注册问题，提高了系统稳定性和数据准确性。

由于数据库的写入和查询速度较慢，步骤2中的数据库查重无法保证在并发场景下标识的唯一性。因此需要采取分布式锁机制，来确保多个进程同时注册同一个标识时只有一个能够成功。使用 Redis 实现分布式锁，Redis 的 setnx 操作可以将指定 key 的值设为 value，只有在该 key 不存在的情况下才能成功设置。将标识码作为 key，进行setnx 操作，如果返回 1 则表示设置成功，即进程获得了锁，可以注册标识，并对锁设置10秒的过期时间；否则返回 0，则表示其他进程正在并发注册该标识，无法注册标识。对批量请求内的多个标识，利用 Redis 的管道技术，批量提交加锁请求，减少客户端与 Redis 的通信次数，提高系统的吞吐量和并发性，降低网络负荷和传输开销。该步骤返回加锁失败即其它进程并发已注册的标识列表。

步骤4：遍历请求中的标识列表，校验是否存在已注册标识。

在本步骤中，需要遍历批量请求中的每一个标识，并查看其是否已经存在于步骤2返回的数据库已存在的标识列表或者步骤3返回的并发已注册的标识列表中。若存在，将会返回“该标识已注册”的错误提示，并将该标识及结果加入到注册结果列表中。

步骤5：将标识信息与模板匹配，校验标识属性值。

在本步骤中，需要将上一步校验后未注册的标识信息与指定的模板进行匹配，比较两者的值以及模板中定义的要求是否一致，以此来校验标识属性值是否合法。为了确保标识数据能够满足所有必要的约束条件，需要依据模板中定义的规则，进行数据类型匹配、长度范围判断、字符串格式检测等操作。如果发现某个标识值不符合要求，则会返回相应的错误提示，并将其加入到注册结果列表中。通过对标识信息和模板进行匹配和校验，可以有效地保证系统不受非法输入的影响，从而提升数据安全性和可靠性。

步骤6：将通过校验的标识数据写入操作提交到线程池，返回注册请求结果。

根据前述的校验结果，需要将通过校验的标识数据写入操作提交到线程池中，由线程池进行异步执行。同时，还需要返回注册请求结果，告知用户每个标识在批量请求中的注册结果信息。对于那些未能成功注册的标识，也会返回具体的错误提示信息。

步骤7：线程池并发写入本地数据库。

异步线程池是一组预先创建好的固定数量的线程，协助任务的并行执行，减轻主线程的压力，提高系统的性能和稳定性。为了优化数据写入的效率、增加程序的吞吐量，我们采用了线程池并发写入数据库的方式。在初始化线程池对象时，针对线程数、任务队列大小等参数通过公式计算进行合理的设置，从而最大化性能。

当有新的写入操作时，会先将其添加到任务队列中，等待线程池中的空闲线程取出任务独立执行，从而实现快速处理。为避免系统资源过度占用、响应缓慢或崩溃等问题，需要设置适当的线程池拒绝策略。当线程池中所有线程正在执行任务且任务队列已满时，将无法处理新请求，此时抛出异常通知调用者，确保整个系统的稳定性、可靠性和高效响应能力。

步骤8：上传二级节点操作加入Kafka队列。

为了避免网络等因素导致的延迟问题，我们将上传二级节点的操作加入 Kafka队列，实现异步处理。创建一个 Kafka 消息队列用于存放待上传到二级节点的消息。当需要上传标识时，不会直接进行上传操作，而是将上传操作封装成一个消息，并通过 Kafka生产者程序发送到消息队列中，然后立即返回成功提示。通过这种方式，可以在不阻塞主线程的情况下，快速地将上传任务提交到队列中，确保系统的高效性和稳定性。

步骤9：消费Kafka数据上传二级节点，返回注册结果信息。

当 Kafka 消费者程序从消息队列中取出一条待上传二级节点的消息时，即会立即执行上传操作。由于消费者程序可以根据实际情况控制消息的处理速度，因此不会在短时间内触发大量上传操作和导致高并发、资源占用等问题，提高了系统的稳定性，并增强了应用程序的容错能力。相较于直接同步进行上传操作，采用 Kafka 异步消费程序可大大减轻主线程的压力和保证数据处理的效率与安全。

步骤10：修改本地数据库标识上传状态。

在接收到上传至二级节点后的响应结果时，首先需要对响应中的状态码进行解析和处理。若状态码表示注册成功，可将相应标识在本地数据库中的同步状态标记为“已同步”；如果状态码表示注册失败，则应记录该标识在本地数据库中的注册失败情况，并考虑是否需要重试等处理操作，以提高数据同步的效率与稳定性。

本公开实施例提供一种工业互联网标识数据批量注册装置，包括处理器（processor）和存储器（memory）。可选地，该装置还可以包括通信接口（CommunicationInterface）和总线。其中，处理器、通信接口、存储器可以通过总线完成相互间的通信。通信接口可以用于信息传输。处理器可以调用存储器中的逻辑指令，以执行上述实施例的工业互联网标识数据批量注册方法。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中工业互联网标识数据批量注册方法。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述工业互联网标识数据批量注册方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种工业互联网标识数据批量注册方法，其特征在于，包括：

接收客户端发起的批量标识注册请求，校验请求中标识数量是否超过限制，并核对该请求是否使用同一个模板，如果超过数量限制或使用的非同一个模板，则停止本次标识注册，并向客户端反馈注册失败结果；如果未超过数量限制并且使用同一个模板，则继续进行标识注册；

查询数据库中存储的已注册标识信息，将标识注册请求中的标识信息与数据库信息对比，查询数据库中已存在的标识列表；

进行Redis分布式锁校验，校验是否有其他进程正在并发注册该标识，返回并发已注册标识列表；

遍历批量请求中的每一个标识，查看其是否在数据库中已存在的标识列表或者并发已注册的标识列表中，若存在则将已注册结果反馈至注册结果列表，停止本次注册，并向客户端反馈注册失败结果；

通过验证操作后将标识信息与数据库中存储的标识模板匹配，校验标识属性值；

将通过校验的标识数据写入操作提交到异步线程池，线程池并发写入本地数据库，并返回注册请求结果，并向客户端反馈注册成功结果；

将上传二级节点操作加入Kafka队列，实现异步处理；Kafka 消费者程序从消息队列中取出待上传的标识数据，执行上传操作，并返回注册结果信息，并向客户端反馈注册完成；

修改本地数据库标识上传状态。

2.根据权利要求1所述的工业互联网标识数据批量注册方法，其特征在于，所述Redis分布式锁校验操作，具体如下：

将需要加锁的多个标识包装成多个子命令存入管道对象中，发送批量加锁的多个子命令到Redis；

使用 Redis 数据库中 setnx 命令，将标识存储到 Redis中，并设置键值对过期时间为 10 秒；

若存储成功，则成功增加分布式锁，继续进行标识注册；

若存储失败，则增加分布式锁失败，停止标识的注册。

3.根据权利要求1所述的工业互联网标识数据批量注册方法，其特征在于，所述通过校验的标识数据写入操作提交到异步线程池，具体方式如下：

初始化一个线程池对象，计算线程数，以最大化性能，线程数计算公式为：

；

其中： 表示CPU核心数，/>表示目标CPU利用率，/>；

使用有界队列控制执行任务线程数量，防止线程过多，资源溢出，队列大小计算公式为：

；

其中：表示内存大小；

将标识保存操作包装成幂的任务对象，提交给异步线程池中的多个线程并行执行写入数据库任务。

4.根据权利要求3所述的工业互联网标识数据批量注册方法，其特征在于，所述线程池设置有拒绝策略，当线程池中所有线程都处理任务时，新的任务会被拒绝并抛出异常，同时保持当前任务队列不变。

5.根据权利要求3所述的工业互联网标识数据批量注册方法，其特征在于，所述上传二级节点操作加入Kafka队列，实现异步处理，具体方式如下：

初始化一个 Kafka 生产者对象，将二级节点上传操作封装成消息并发送到 Kafka 队列；

启动一个 Kafka 消费者对象，从队列中获取上传操作消息并进行消费，执行上传任务。

6.一种工业互联网标识数据批量注册装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至5任一项所述的工业互联网标识数据批量注册方法。

7.一种工业互联网标识数据批量注册设备，其特征在于，包括：

产品本体；

如权利要求6所述的工业互联网标识数据批量注册装置，被安装于所述产品本体。

8.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至5任一项所述的工业互联网标识数据批量注册方法。