CN115934372A - 一种数据处理方法、系统、设备及计算机可读存储介质 - Google Patents
一种数据处理方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115934372A CN115934372A CN202310220010.5A CN202310220010A CN115934372A CN 115934372 A CN115934372 A CN 115934372A CN 202310220010 A CN202310220010 A CN 202310220010A CN 115934372 A CN115934372 A CN 115934372A
- Authority
- CN
- China
- Prior art keywords
- target
- worker threads
- worker
- data processing
- threads
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 116
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 56
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、系统、设备及计算机可读存储介质，涉及分布式存储技术领域，应用于分布式存储系统，获取待处理的目标连接；在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2；基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。本申请中，增强了分布式存储系统抵抗工作者线程性能波动的能力，且可以降低因锁争用而带来的I/O延迟，保证分布式存储系统的性能稳定性。
Description
技术领域
本申请涉及分布式存储技术领域，更具体地说，涉及一种数据处理方法、系统、设备及计算机可读存储介质。
背景技术
在分布式存储系统中，当处理客户端与OSD（Object Storage Device，响应客户端请求返回具体数据的进程）之间以及OSD内部的通信时，通过异步Messenger（通信员）组件来处理相应通信，在此过程中，当从客户端或OSD节点接收到创建连接的请求时，以轮询方式将线程池中的worker（工作者）线程分配给每个连接，并允许处理来自该连接的所有传入或传出消息。然而，单个工作者线程只能处理单个连接的消息，当分布式存储系统中存在高并发、密集型I/O（Input/Output，输入/输出）连接过载时，一些工作者线程可能处于空闲状态，而其他工作者线程可能处理大量数据流量，导致分布式存储系统性能波动。
综上所述，如何保证分布式存储系统的性能稳定性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据处理方法，其能在一定程度上解决如何保证分布式存储系统的性能稳定性的技术问题。本申请还提供了一种数据处理系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种数据处理方法，应用于分布式存储系统，包括：
获取待处理的目标连接；
在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；
其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
优选的，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程之后，还包括：
建立所述目标工作者线程与所述目标连接间的目标映射结构并保存。
优选的，所述调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用之后，还包括：
更新所述目标映射结构。
优选的，所述调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用，包括：
判断所有的所述目标工作者线程间是否存在锁争用；
若所有的所述目标工作者线程间存在锁争用，则删除第二数量个所述目标工作者线程。
优选的，所述判断所有的所述目标工作者线程间是否存在锁争用，包括：
按照目标时间间隔，判断所有的所述目标工作者线程间是否存在锁争用。
优选的，所述判断所有的所述目标工作者线程间是否存在锁争用，包括：
确定所述目标连接在上一所述目标时间间隔内的总锁定时长；
判断所述总锁定时长是否超过预设阈值；
若所述总锁定时长超过所述预设阈值，则判定所有的所述目标工作者线程间存在锁争用；
若所述总锁定时长未超过所述预设阈值，则判定所有的所述目标工作者线程间不存在锁争用。
优选的，所述判断所述总锁定时长是否超过预设阈值之前，还包括：
基于所述目标时间间隔确定所述预设阈值。
优选的，所述基于所述目标时间间隔确定所述预设阈值，包括：
将所述目标时间间隔的预设百分比值确定为所述预设阈值。
优选的，所述删除第二数量个所述目标工作者线程，包括：
删除锁定时间大于所述预设阈值的所述目标工作者线程。
优选的，所述删除第二数量个所述目标工作者线程，包括：
删除最后选取的所述第二数量个所述目标工作者线程。
优选的，所述删除第二数量个所述目标工作者线程，包括：
删除负载最大的所述第二数量个所述目标工作者线程。
优选的，所述删除第二数量个所述目标工作者线程，包括：
删除锁定时间最长的所述第二数量个所述目标工作者线程。
优选的，所述判断所有的所述目标工作者线程间是否存在锁争用之后，还包括：
若所有的所述目标工作者线程间不存在锁争用，则从所述工作者线程池中选取第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
优选的，所述从所述工作者线程池中选取第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程，包括：
从所述工作者线程池中选取负载最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
优选的，所述从所述工作者线程池中选取负载最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程，包括：
从所述工作者线程池中选取处理数据量最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
优选的，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，包括：
在所述工作者线程池中选取负载最小的所述第一数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
优选的，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，包括：
基于单个所述工作者线程服务多个连接的规则，在所述工作者线程池中选取所述第一数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
一种数据处理系统，应用于分布式存储系统，包括：
获取模块，用于获取待处理的目标连接；
选取模块，用于在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
处理模块，用于基于所述目标工作者线程处理所述目标连接。
一种数据处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述数据处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述数据处理方法的步骤。
本申请提供的一种数据处理方法，应用于分布式存储系统，获取待处理的目标连接；在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2；基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。本申请中，分布式存储系统每次可以为目标连接分配第一数量个目标工作者线程，由于第一数量大于等于2，所以相当于有多个目标工作者线程处理目标连接，这样，分布式存储系统可以多选择的应用目标工作者线程来处理目标连接，即使单个目标工作者线程性能波动，也可以选择其他的目标工作者线程来处理目标连接，与应用单个工作者线程处理连接的方案相比，增强了分布式存储系统抵抗工作者线程性能波动的能力，保证了工作者线程处理连接的稳定性，继而保证了分布式存储系统的性能稳定性；此外，本申请还可以通过调整目标工作者线程的数量来管控目标工作者线程间的锁争用，可以降低因锁争用而带来的I/O延迟，可以进一步保证分布式存储系统的性能稳定性。本申请提供的一种数据处理系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的第一流程图；
图2为分布式存储系统请求事件处理路径架构图；
图3为现有异步Messenger线程映射示意图；
图4为本申请Messenger线程映射示意图；
图5为现有异步Messenger和本申请Messenger中线程工作的示意图；
图6为本申请实施例提供的一种数据处理方法的第二流程图；
图7为本申请实施例提供的一种数据处理系统的结构示意图；
图8为本申请实施例提供的一种数据处理设备的结构示意图；
图9为本申请实施例提供的一种数据处理设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
分布式存储系统高度依赖通信框架来保证存储I/O性能、集群可扩展性和容错性。分布式存储系统的网络通信模块，负责客户端与OSD之间以及OSD内部的通信。当从客户端或OSD节点接收到创建连接的请求时，网络通信模块将一个worker线程从线程池分配给该连接请求，进行数据处理操作。当前，分布式存储系统的网络通信模块可以采用异步Messenger组件，基于事件的I/O多路复用模式加快处理客户端和集群内部的通信，如客户端读写请求、OSD的心跳检测、集群的数据自动平衡和数据恢复。在异步Messenger组件中，线程池中的worker线程以轮询方式分配给每个连接，并允许处理来自该连接的所有传入或传出消息，当集群中存在高并发、密集型I/O连接过载时，会导致worker线程之间的负载不均衡问题，一些线程可能处于空闲状态，而其他线程处理大量数据流量，进而导致分布式存储系统性能下降。而本申请提供的数据处理方案可以保证分布式存储系统的性能稳定性。
请参与图1，图1为本申请实施例提供的一种数据处理方法的第一流程图。
本申请实施例提供的一种数据处理方法，应用于分布式存储系统，可以包括以下步骤：
步骤S101：获取待处理的目标连接。
实际应用中，分布式存储系统可以先获取待处理的目标连接，在具体应用场景中，分布式存储系统在获取目标连接的过程中，可以接收客户端或OSD发送的创建连接的请求，响应该请求，并创建相应的目标连接。
需要说明的是，本申请提供的数据处理方法可以具体应用于分布式存储系统的网络通信组件等，本申请在此不做具体限定。此外，分布式存储系统请求事件处理路径架构可以如图2所示，其中I/O存储数据路径为先经过网络层messenger、归置组（PG，PlaceMentGroup）处理（目的是更好的分配和定位数据）、日志journal处理（目的是保证数据的事务性ACID原子性、一致性、隔离性、持久性）、写入OSD底层存储机制、OSD直接同步数据保证集群的一致性和扩展性等，分布式客户端通过messenger线程，把请求Op插入队列，在Op队列通过OSD线程处理出队列到PG处理流程，先写入Journal写数据队列，再进行落盘处理，Apply和commit返回给PG处理结果最后响应客户端请求；其中，分布式存储系统高度依赖通信层来保证存储I/O性能、集群可扩展性和容错性；分布式存储系统的网络通信模块，负责客户端与 OSD（响应客户端请求返回具体数据的进程） 之间以及 OSD 内部的通信。当从客户端或OSD节点接收到创建连接的请求时，网络通信模块将一个worker线程从线程池分配给该连接请求，进行数据处理操作。
步骤S102：在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2。
实际应用中，分布式存储系统在获取待处理的目标连接之后，可以在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，且第一数量的值大于等于2，也即可以为目标连接分配多个目标工作者线程，以便多选择的应用目标工作者线程来处理目标连接。具体应用场景中，在有多个连接的情况下，还可以建立连接与对应的工作者线程间的映射关系，以完全、准确的进行数据处理。
需要说明的是，分布式存储系统在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程的过程中，可以根据具体应用场景中的工作需求来选取目标工作者线程，比如在需求工作负载的情况下，可以基于工作者线程负载均衡规则，在工作者线程池中选取负载最小的第一数量个工作者线程作为目标连接的目标工作者线程，具体的，分布式存储系统可以获取每个工作者线程所需处理的连接的列表，基于该列表来分析每个工作者线程所需处理的连接的数据流量，基于该数据流量分析每个工作者线程的负载压力，再在工作者线程池中选取负载最小的第一数量个工作者线程作为目标连接的目标工作者线程等，以便事件的数量几乎均匀地分布在工作者线程之间，达到线程均衡负载的目的；再比如在需求工作效率的情况下，可以在工作线程池中选取性能最优的第一数量个工作者线程作为目标连接的目标工作者线程。
还需说明的是，分布式存储系统在工作者线程池中选取目标工作者线程的情况下，可以基于单个工作者线程服务一个连接的规则来选取第一数量个工作者线程作为目标连接的目标工作者线程，此时分配给目标连接的目标工作者线程只能服务于目标连接而无法服务于其他连接，这样可以保证目标连接的处理效率及处理稳定性；当然，也可以基于单个工作者线程服务多个连接的规则，在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，此时分配给目标连接的目标工作者线程可以服务于目标连接之外的其他连接，这样可以充分发挥目标工作者线程的工作能力。此外，为了防止最大时间值大于连接总数造成分布式存储系统文件句柄不够用的问题，还可以设置分布式存储系统的工作线程池的最大时间值为映射到工作者线程池的当前连接数的大小等，本申请在此不作具体限定。
步骤S103：基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。
实际应用中，分布式存储系统在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程之后，便可以基于目标工作者线程处理目标连接。
具体应用场景中，分布式存储系统在基于目标工作者线程处理目标连接的过程中，可能存在多个目标工作者线程同时处理目标连接对应的目标数据，比如同时应用目标连接对应的共享数据的情况，然而两个工作者线程同时处理一个数据会带来数据不一致问题，为了避免此种问题，分布式存储系统可以基于目标锁机制及目标工作者线程处理目标连接；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。需要说明的是，对目标共享数据进行加锁的机制可以根据具体需要来确定，比如在只有单一目标工作者线程处理目标共享数据的情况下，该目标工作者线程可以直接对目标共享数据进行加锁；而在有两个目标工作者线程需处理目标共享数据的情况下，若已经有一个目标工作者线程提前进行了加锁操作，则另一个目标工作者线程需等待目标共享数据的锁解除后才可以对目标共享数据进行加锁处理，若两个目标工作者线程均未对目标共享数据进行加锁操作，则可以通过竞争机制确定两个目标工作者线程对目标共享数据的加锁顺序，再根据该加锁顺序来基于目标工作者线程对目标共享数据进行处理，为了便于理解，假设目标工作者线程A和目标工作者线程B同时访问目标连接对应的目标共享数据，若确定处理时长短的目标工作者线程先对目标共享数据进行加锁，且目标工作者线程A处理目标共享数据的时长较短，则可以确定目标工作者线程A先访问该目标共享数据，则目标工作者线程A可以先对该目标共享数据加锁，此时目标工作者线程B便无法访问该目标共享数据，待目标工作者线程A访问完该目标共享数据后，目标工作者线程A可以解除该目标共享数据的锁，之后目标工作者线程B便可以对该目标共享数据进行加锁并访问等，由此可见，锁机制可以解除两个工作者线程同时处理一个数据带来的数据不一致问题。
具体应用场景中，考虑到存在锁争用的目标工作者线程需等待锁争用解除后才能继续工作，换言之，锁争用会延长目标工作者线程的工作时长，继而导致分布式存储集群I/O事务的延迟，为了避免此问题，分布式存储系统在基于目标锁机制及目标工作者线程处理目标连接的过程中，可以通过调整目标工作者线程的数量以管控目标工作者线程间的锁争用，进而管控分布式存储系统因锁争用而出现的I/O事务延迟，进一步保证分布式存储系统的性能稳定性。
需要说明的是，分布式存储系统基于目标工作者线程处理目标连接的方式可以根据具体应用场景来灵活确定，比如在追求处理效率的情况下，分布式存储系统可以选取性能最优的目标工作者线程来优先处理目标连接，可以应用所有的目标工作者线程来处理目标连接等，再比如在追求负载均衡的情况下，分布式存储系统可以基于工作者线程负载均衡的工作规则，统筹兼顾所有工作者线程的负载来选择相应的目标工作者线程来优先处理目标连接等，本申请在此不做具体限定。
本申请提供的一种数据处理方法，应用于分布式存储系统，获取待处理的目标连接；在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2；基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。本申请中，分布式存储系统每次可以为目标连接分配第一数量个目标工作者线程，由于第一数量大于等于2，所以相当于有多个目标工作者线程处理目标连接，这样，分布式存储系统可以多选择的应用目标工作者线程来处理目标连接，即使单个目标工作者线程性能波动，也可以选择其他的目标工作者线程来处理目标连接，与应用单个工作者线程处理连接的方案相比，增强了分布式存储系统抵抗工作者线程性能波动的能力，保证了工作者线程处理连接的稳定性，继而保证了分布式存储系统的性能稳定性；此外，本申请还可以通过调整目标工作者线程的数量来管控目标工作者线程间的锁争用，可以降低因锁争用而带来的I/O延迟，可以进一步保证分布式存储系统的性能稳定性。
为了便于理解本申请提供的数据处理方法的效果，现结合图3、图4和图5进行说明，其中图3为现有异步Messenger线程映射示意图，图4为本申请Messenger线程映射示意图，图5为现有异步Messenger和本申请Messenger中线程工作的示意图。对比图3和图4可知，本申请中多个工作者线程可以竞争处理所有连接的消息，能够及时有效地处理消息，动态解决由异步Messenger引起的负载不平衡问题；且由图5可知，假设工作者线程 1 在异步Messenger中同时分配给连接fd1和连接fd2，在这种情况下，如果在工作者线程1处理来自fd1的消息时，发生来自fd2的新事件，则异步Messenger中的工作者线程1必须先处理来自fd1的消息，然后再调用epoll_wait（）来获取和处理来自fd2的消息，这是因为一个工作者线程仅分配给相应的fd，如果同时发生多个事件，需要等待第一个事件完成后再进行处理，而在本申请Messenger中，当工作者线程1处理来自fd1的消息时，工作者线程2也能处理来自fd2的事件，因此，与现有的异步Messenger相比，本申请可以提高分布式存储系统的I/O处理性能。
请参与图6，图6为本申请实施例提供的一种数据处理方法的第二流程图。
本申请实施例提供的一种数据处理方法，应用于分布式存储系统，可以包括以下步骤：
步骤S201：获取待处理的目标连接。
步骤S202：在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2。
步骤S203：建立目标工作者线程与目标连接间的目标映射结构并保存。
实际应用中，在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程之后，还可以建立目标工作者线程与目标连接间的目标映射结构并保存，以借助目标映射结构准确、快速的还原目标连接的目标工作者线程。
需要说明的是，具体应用场景中，还可以借助目标映射结构来使得所有目标工作者线程同时监视来自该目标连接的数据流量，以便对该目标连接的数据流量进行细粒度控制，比如对各个目标工作者线程所处理的数据流量进行平均分配，以减少目标工作者线程间的负载不平衡问题等。
步骤S204：基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。
实际应用中，在调整目标工作者线程的数量以管控目标工作者线程间的锁争用的过程中，可以判断所有的目标工作者线程间是否存在锁争用；若所有的目标工作者线程间存在锁争用，则删除第二数量个目标工作者线程，以此来降低目标工作者线程间的锁争用时长，提高分布式存储集群的I/O效率。相应的，若所有的目标工作者线程间不存在锁争用，则可以从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程，当然也可以有其他操作，本申请在此不做具体限定。
具体应用场景中，分布式存储系统在判断所有的目标工作者线程间是否存在锁争用的过程中，可以按照目标时间间隔，判断所有的目标工作者线程间是否存在锁争用，其中目标时间间隔的值可以根据实际需要确定，比如目标时间间隔的值可以为3s、5s、10s等。进一步的，分布式存储系统在判断所有的目标工作者线程间是否存在锁争用的过程中，可以确定目标连接在上一目标时间间隔内的总锁定时长；判断总锁定时长是否超过预设阈值；若总锁定时长超过预设阈值，则判定所有的目标工作者线程间存在锁争用；若总锁定时长未超过预设阈值，则判定所有的目标工作者线程间不存在锁争用。需要说明的是，在判断总锁定时长是否超过预设阈值之前，分布式存储系统还基于目标时间间隔确定预设阈值，比如将目标时间间隔的预设百分比值确定为预设阈值等。
具体应用场景中，分布式存储系统可以根据实际需要来删除第二数量个目标工作者线程，比如可以直接删除锁定时间大于预设阈值的目标工作者线程，或者删除最后选取的第二数量个目标工作者线程，或者删除负载最大的第二数量个目标工作者线程等。当然，分布式存储系统也可以直接删除锁定时间最长的第二数量个目标工作者线程等，本申请在此不做具体限定。
具体应用场景中，分布式存储系统从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程的过程中，也可以根据具体应用场景进行相应选择，比如可以从工作者线程池中选取负载最小的第三数量个工作者线程作为目标连接的目标工作者线程，进一步的，可以从工作者线程池中选取处理数据量最小的第三数量个工作者线程作为目标连接的目标工作者线程。
具体应用场景中，分布式存储系统判断所有的目标工作者线程间是否存在锁争用；若所有的目标工作者线程间存在锁争用，则删除第二数量个目标工作者线程，若所有的目标工作者线程间不存在锁争用，则可以从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程的相应伪代码逻辑可以表示为：
fd：Socket网络连接编程接口，套接字描述符fd
T：所有fd的总锁定时间，即每个fd持有锁的耗时
N：线程数
procedure Thread Placement
Monitor Threads //N个线程的锁持有时间
if T> 阈值 then
Delete Thread //在epoll list线程池中删除线程
else
Select Thread //选择一个线程进行处理
Add Thread //把fd到epoll list中通过选定的线程进行下一步操作
end if
end procedure。
需要说明的是，本申请中第二数量、第三数量的值可以根据实际需要确定，比如第二数量、第三数量均可以为1等；此外，本申请中最小的目标数量、最大的目标数量等指的是对选取对象进行排序后的前目标数量个选取对象，比如选取负载最小的第三数量个工作者线程指的是对所有的工作者线程按照负载大小值进行排序后，选取负载最小的前第三数量个工作者线程。此外，还需说明的是，本申请提供的数据处理方法可以应用于多线程并发等场景下，可移植性、通用性和兼容性均较好。
步骤S205：更新目标映射结构。
实际应用中，在调整目标工作者线程的数量以管控目标工作者线程间的锁争用之后，还可以更新目标映射结构，以保存目标连接最新的目标工作者线程。
请参与图7，图7为本申请实施例提供的一种数据处理系统的结构示意图。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，可以包括：
获取模块101，用于获取待处理的目标连接；
选取模块102，用于在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，第一数量的值大于等于2；
处理模块103，用于基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，还可以包括：
保存模块，用于选取模块在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程之后，建立所述目标工作者线程与所述目标连接间的目标映射结构并保存。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，还可以包括：
更新模块，用于处理模块调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用之后，更新所述目标映射结构。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：判断所有的目标工作者线程间是否存在锁争用；若所有的目标工作者线程间存在锁争用，则删除第二数量个目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：按照目标时间间隔，判断所有的目标工作者线程间是否存在锁争用。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：确定目标连接在上一目标时间间隔内的总锁定时长；判断总锁定时长是否超过预设阈值；若总锁定时长超过预设阈值，则判定所有的目标工作者线程间存在锁争用；若总锁定时长未超过预设阈值，则判定所有的目标工作者线程间不存在锁争用。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：判断总锁定时长是否超过预设阈值之前，基于目标时间间隔确定预设阈值。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：将目标时间间隔的预设百分比值确定为预设阈值。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：删除锁定时间大于预设阈值的目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：删除最后选取的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：删除负载最大的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：删除锁定时间最长的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：判断所有的目标工作者线程间是否存在锁争用之后，若所有的目标工作者线程间不存在锁争用，则从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：从工作者线程池中选取负载最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，处理模块可以用于：从工作者线程池中选取处理数据量最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，选取模块可以包括：
第一选取单元，用于在工作者线程池中选取负载最小的第一数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理系统，应用于分布式存储系统，选取模块可以包括：
第二选取单元，用于基于单个工作者线程服务多个连接的规则，在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程。
本申请还提供了一种数据处理设备及计算机可读存储介质，其均具有本申请实施例提供的一种数据处理方法具有的对应效果。请参阅图8，图8为本申请实施例提供的一种数据处理设备的结构示意图。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：
获取待处理的目标连接；
在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；
其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程之后，建立所述目标工作者线程与所述目标连接间的目标映射结构并保存。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用之后，更新所述目标映射结构。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：判断所有的目标工作者线程间是否存在锁争用；若所有的目标工作者线程间存在锁争用，则删除第二数量个目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：按照目标时间间隔，判断所有的目标工作者线程间是否存在锁争用。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：确定目标连接在上一目标时间间隔内的总锁定时长；判断总锁定时长是否超过预设阈值；若总锁定时长超过预设阈值，则判定所有的目标工作者线程间存在锁争用；若总锁定时长未超过预设阈值，则判定所有的目标工作者线程间不存在锁争用。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：判断总锁定时长是否超过预设阈值之前，基于目标时间间隔确定预设阈值。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将目标时间间隔的预设百分比值确定为预设阈值。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：删除锁定时间大于预设阈值的目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：删除最后选取的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：删除负载最大的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：删除锁定时间最长的第二数量个目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：判断所有的目标工作者线程间是否存在锁争用之后，若所有的目标工作者线程间不存在锁争用，则从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：从工作者线程池中选取负载最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：从工作者线程池中选取处理数据量最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：在工作者线程池中选取负载最小的第一数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种数据处理设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于单个工作者线程服务多个连接的规则，在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程。
请参阅图9，本申请实施例提供的另一种数据处理设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现数据处理设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术（HML）、通用串行总线（USB）、高清多媒体接口（HDMI）、无线连接：无线保真技术（WiFi）、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取待处理的目标连接；
在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；
其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程之后，建立所述目标工作者线程与所述目标连接间的目标映射结构并保存。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用之后，更新所述目标映射结构。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：判断所有的目标工作者线程间是否存在锁争用；若所有的目标工作者线程间存在锁争用，则删除第二数量个目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：按照目标时间间隔，判断所有的目标工作者线程间是否存在锁争用。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：确定目标连接在上一目标时间间隔内的总锁定时长；判断总锁定时长是否超过预设阈值；若总锁定时长超过预设阈值，则判定所有的目标工作者线程间存在锁争用；若总锁定时长未超过预设阈值，则判定所有的目标工作者线程间不存在锁争用。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：判断总锁定时长是否超过预设阈值之前，基于目标时间间隔确定预设阈值。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将目标时间间隔的预设百分比值确定为预设阈值。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：删除锁定时间大于预设阈值的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：删除最后选取的第二数量个目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：删除负载最大的第二数量个目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：删除锁定时间最长的第二数量个目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：判断所有的目标工作者线程间是否存在锁争用之后，若所有的目标工作者线程间不存在锁争用，则从工作者线程池中选取第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：从工作者线程池中选取负载最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：从工作者线程池中选取处理数据量最小的第三数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：在工作者线程池中选取负载最小的第一数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于单个工作者线程服务多个连接的规则，在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于所有的目标工作者线程同时处理目标连接。
本申请所涉及的计算机可读存储介质包括随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的数据处理系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的数据处理方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (20)
1.一种数据处理方法，其特征在于，应用于分布式存储系统，包括：
获取待处理的目标连接；
在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；
其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
2.根据权利要求1所述的数据处理方法，其特征在于，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程之后，还包括：
建立所述目标工作者线程与所述目标连接间的目标映射结构并保存。
3.根据权利要求2所述的数据处理方法，其特征在于，所述调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用之后，还包括：
更新所述目标映射结构。
4.根据权利要求1所述的数据处理方法，其特征在于，所述调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用，包括：
判断所有的所述目标工作者线程间是否存在锁争用；
若所有的所述目标工作者线程间存在锁争用，则删除第二数量个所述目标工作者线程。
5.根据权利要求4所述的数据处理方法，其特征在于，所述判断所有的所述目标工作者线程间是否存在锁争用，包括：
按照目标时间间隔，判断所有的所述目标工作者线程间是否存在锁争用。
6.根据权利要求5所述的数据处理方法，其特征在于，所述判断所有的所述目标工作者线程间是否存在锁争用，包括：
确定所述目标连接在上一所述目标时间间隔内的总锁定时长；
判断所述总锁定时长是否超过预设阈值；
若所述总锁定时长超过所述预设阈值，则判定所有的所述目标工作者线程间存在锁争用；
若所述总锁定时长未超过所述预设阈值，则判定所有的所述目标工作者线程间不存在锁争用。
7.根据权利要求6所述的数据处理方法，其特征在于，所述判断所述总锁定时长是否超过预设阈值之前，还包括：
基于所述目标时间间隔确定所述预设阈值。
8.根据权利要求7所述的数据处理方法，其特征在于，所述基于所述目标时间间隔确定所述预设阈值，包括：
将所述目标时间间隔的预设百分比值确定为所述预设阈值。
9.根据权利要求4所述的数据处理方法，其特征在于，所述删除第二数量个所述目标工作者线程，包括：
删除锁定时间大于所述预设阈值的所述目标工作者线程。
10.根据权利要求4所述的数据处理方法，其特征在于，所述删除第二数量个所述目标工作者线程，包括：
删除最后选取的所述第二数量个所述目标工作者线程。
11.根据权利要求4所述的数据处理方法，其特征在于，所述删除第二数量个所述目标工作者线程，包括：
删除负载最大的所述第二数量个所述目标工作者线程。
12.根据权利要求4所述的数据处理方法，其特征在于，所述删除第二数量个所述目标工作者线程，包括：
删除锁定时间最长的所述第二数量个所述目标工作者线程。
13.根据权利要求4至12任一项所述的数据处理方法，其特征在于，所述判断所有的所述目标工作者线程间是否存在锁争用之后，还包括：
若所有的所述目标工作者线程间不存在锁争用，则从所述工作者线程池中选取第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
14.根据权利要求13所述的数据处理方法，其特征在于，所述从所述工作者线程池中选取第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程，包括：
从所述工作者线程池中选取负载最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
15.根据权利要求14所述的数据处理方法，其特征在于，所述从所述工作者线程池中选取负载最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程，包括：
从所述工作者线程池中选取处理数据量最小的所述第三数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
16.根据权利要求1所述的数据处理方法，其特征在于，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，包括：
在所述工作者线程池中选取负载最小的所述第一数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
17.根据权利要求1所述的数据处理方法，其特征在于，所述在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，包括：
基于单个所述工作者线程服务多个连接的规则，在所述工作者线程池中选取所述第一数量个所述工作者线程作为所述目标连接的所述目标工作者线程。
18.一种数据处理系统，其特征在于，应用于分布式存储系统，包括：
获取模块，用于获取待处理的目标连接；
选取模块，用于在工作者线程池中选取第一数量个工作者线程作为所述目标连接的目标工作者线程，所述第一数量的值大于等于2；
处理模块，用于基于目标锁机制及所述目标工作者线程处理所述目标连接，并调整所述目标工作者线程的数量以管控所述目标工作者线程间的锁争用；
其中，所述目标锁机制包括：在所述目标连接的目标共享数据不存在锁的情况下，所述目标工作者线程对所述目标共享数据进行加锁并进行处理，待处理完成后，解除所述目标共享数据的锁。
19.一种数据处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至17任一项所述数据处理方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310220010.5A CN115934372A (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310220010.5A CN115934372A (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、系统、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115934372A true CN115934372A (zh) | 2023-04-07 |
Family
ID=86550976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310220010.5A Pending CN115934372A (zh) | 2023-03-09 | 2023-03-09 | 一种数据处理方法、系统、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115934372A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020107854A1 (en) * | 2001-02-08 | 2002-08-08 | Internaional Business Machines Corporation | Method and system for managing lock contention in a computer system |
| CN1735865A (zh) * | 2002-09-19 | 2006-02-15 | 国际商业机器公司 | 用于处理数据处理系统中的线程的方法和装置 |
| US20100031269A1 (en) * | 2008-07-29 | 2010-02-04 | International Business Machines Corporation | Lock Contention Reduction |
| WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
| CN106790694A (zh) * | 2017-02-21 | 2017-05-31 | 广州爱九游信息技术有限公司 | 分布式系统及分布式系统中目标对象的调度方法 |
| US20190340017A1 (en) * | 2018-05-03 | 2019-11-07 | Sap Se | Job Execution Using System Critical Threads |
| CN111124643A (zh) * | 2019-12-20 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种分布式存储中的删除任务调度方法、系统及相关装置 |
| CN111831413A (zh) * | 2020-07-01 | 2020-10-27 | Oppo广东移动通信有限公司 | 线程调度方法、装置、存储介质及电子设备 |
| CN113157410A (zh) * | 2021-03-30 | 2021-07-23 | 北京大米科技有限公司 | 线程池调节方法、装置、存储介质及电子设备 |
| CN113220429A (zh) * | 2021-04-26 | 2021-08-06 | 武汉联影医疗科技有限公司 | Java线程池的任务处理方法、装置、设备和介质 |
-
2023
- 2023-03-09 CN CN202310220010.5A patent/CN115934372A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020107854A1 (en) * | 2001-02-08 | 2002-08-08 | Internaional Business Machines Corporation | Method and system for managing lock contention in a computer system |
| CN1735865A (zh) * | 2002-09-19 | 2006-02-15 | 国际商业机器公司 | 用于处理数据处理系统中的线程的方法和装置 |
| US20100031269A1 (en) * | 2008-07-29 | 2010-02-04 | International Business Machines Corporation | Lock Contention Reduction |
| WO2017028696A1 (zh) * | 2015-08-17 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 分布式存储系统的负载监控方法及设备 |
| CN106790694A (zh) * | 2017-02-21 | 2017-05-31 | 广州爱九游信息技术有限公司 | 分布式系统及分布式系统中目标对象的调度方法 |
| US20190340017A1 (en) * | 2018-05-03 | 2019-11-07 | Sap Se | Job Execution Using System Critical Threads |
| CN111124643A (zh) * | 2019-12-20 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种分布式存储中的删除任务调度方法、系统及相关装置 |
| CN111831413A (zh) * | 2020-07-01 | 2020-10-27 | Oppo广东移动通信有限公司 | 线程调度方法、装置、存储介质及电子设备 |
| CN113157410A (zh) * | 2021-03-30 | 2021-07-23 | 北京大米科技有限公司 | 线程池调节方法、装置、存储介质及电子设备 |
| CN113220429A (zh) * | 2021-04-26 | 2021-08-06 | 武汉联影医疗科技有限公司 | Java线程池的任务处理方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| BODON JEONG等: "Async-LCAM: a lock contention aware messenger for Ceph distributed storage system", 《CLUSTER COMPUTING》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107241281B (zh) | 一种数据处理方法及其装置 | |
| CN108647104B (zh) | 请求处理方法、服务器及计算机可读存储介质 | |
| US10791166B2 (en) | Method and device for processing persistent connection establishment request | |
| CN106648872A (zh) | 用于多线程处理的方法及装置、服务器 | |
| US20070226747A1 (en) | Method of task execution environment switch in multitask system | |
| CN112650576A (zh) | 资源调度方法、装置、设备、存储介质及计算机程序产品 | |
| US9110715B2 (en) | System and method for using a sequencer in a concurrent priority queue | |
| CN110716793A (zh) | 一种分布式事务的执行方法、装置、设备及存储介质 | |
| CN111107012A (zh) | 一种多维度集中流量的控制方法及系统 | |
| CN116662020B (zh) | 应用服务动态管理方法、系统、电子设备及存储介质 | |
| CN114928579A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| WO2014154045A1 (zh) | 多内核操作系统实现方法和实现装置及系统 | |
| CN111541762A (zh) | 数据处理的方法、管理服务器、设备及存储介质 | |
| CN111586140A (zh) | 一种数据交互的方法及服务器 | |
| CN110515728A (zh) | 服务器调度方法、装置、电子设备及机器可读存储介质 | |
| CN111835797A (zh) | 一种数据处理方法、装置及设备 | |
| CN115934372A (zh) | 一种数据处理方法、系统、设备及计算机可读存储介质 | |
| CN112346848A (zh) | 一种管理内存池的方法、装置及终端 | |
| CN105278873B (zh) | 一种磁盘块的分配方法及装置 | |
| CN115033370A (zh) | 存储设备中闪存任务调度方法、装置、存储介质及设备 | |
| CN114564153A (zh) | 一种卷映射解除方法、装置、设备和存储介质 | |
| US9128785B2 (en) | System and method for efficient shared buffer management | |
| CN108509281A (zh) | 消息存储方法及装置 | |
| CN115878309A (zh) | 资源分配方法、装置、处理核、设备和计算机可读介质 | |
| CN113342511A (zh) | 一种分布式任务管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230407 |
|
| RJ01 | Rejection of invention patent application after publication |