CN114528123A - 数据访问方法、装置、设备及计算机可读存储介质 - Google Patents

数据访问方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114528123A
CN114528123A CN202210129169.1A CN202210129169A CN114528123A CN 114528123 A CN114528123 A CN 114528123A CN 202210129169 A CN202210129169 A CN 202210129169A CN 114528123 A CN114528123 A CN 114528123A
Authority
CN
China
Prior art keywords
shared memory
data
thread
target
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210129169.1A
Other languages
English (en)
Inventor
张朝潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202210129169.1A priority Critical patent/CN114528123A/zh
Publication of CN114528123A publication Critical patent/CN114528123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Multi Processors (AREA)

Abstract

本公开涉及一种数据访问方法、装置、设备及计算机可读存储介质，本公开实施例通过获取数据处理模块对第一共享内存进行数据访问的频率；若所述频率大于第一阈值，则启动第一数据轮询线程，使得当TCMU模块使用UIO机制进行IO事件通知遇到瓶颈时，动态进入性能模式，使用轮询线程替换字符设备消息通知的方法，提高了数据处理的性能。若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程，使得当共享内存数据传输成为性能瓶颈时，动态进入超高性能模式，使用多个NUMA节点划分多个共享内存，并行处理IO请求，更进一步的提高了数据处理的性能。

Description

数据访问方法、装置、设备及计算机可读存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种数据访问方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机技术的不断发展，固态硬盘已经较为普及，例如，无论个人用户还是企业级数据中心都已经普遍使用固态硬盘，并且固态硬盘的性能也在快速进步。例如，固态硬盘每秒的随机读写次数很高。
但是，目前的虚拟磁盘分布式块存储(TCMU)机制或共享内存可能无法支持固态硬盘如此高的读写性能。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据访问方法、装置、设备及计算机可读存储介质，使得当TCMU模块使用UIO机制进行IO事件通知遇到瓶颈时，动态进入性能模式，使用轮询线程替换字符设备消息通知的方法，提高了数据处理的性能；当共享内存数据传输成为性能瓶颈时，动态进入超高性能模式，使用多个NUMA节点划分多个共享内存，并行处理IO请求，更进一步的提高了数据处理的性能。
第一方面，本公开实施例提供一种数据访问方法，包括：
获取数据处理模块对第一共享内存进行数据访问的频率；
若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；
若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程；
其中，所述第一阈值小于所述第二阈值；
所述第一共享内存对应的第一转发线程和所述第二转发线程用于并行的向所述第一共享内存和所述第二共享内存转发数据；
所述第一数据轮询线程和所述第二数据轮询线程用于并行的访问所述第一共享内存和所述第二共享内存中的数据。
第二方面，本公开实施例提供一种数据处理装置，包括：
工作状态探测模块，用于获取数据处理模块对第一共享内存进行数据访问的频率；
数据处理模块，用于若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；若所述频率大于第二阈值，则创建第二共享内存对应的第二数据轮询线程；
动态多共享内存探测模块，用于若所述频率大于第二阈值，则创建第二共享内存；
虚拟磁盘分布式块存储模块，用于若所述频率大于第二阈值，则创建第二共享内存对饮改的第二转发线程。
第三方面，本公开实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的方法。
本公开实施例提供的数据访问方法、装置、设备及计算机可读存储介质，通过获取数据处理模块对第一共享内存进行数据访问的频率；若所述频率大于第一阈值，则启动第一数据轮询线程，使得当TCMU模块使用UIO机制进行IO事件通知遇到瓶颈时，动态进入性能模式，使用轮询线程替换字符设备消息通知的方法，提高了数据处理的性能。若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程，使得当共享内存数据传输成为性能瓶颈时，动态进入超高性能模式，使用多个NUMA节点划分多个共享内存，并行处理IO请求，更进一步的提高了数据处理的性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的均衡模式实现原理图；
图2为本公开实施例提供的一种数据访问方法流程图；
图3为本公开实施例提供的性能模式实现原理图；
图4为本公开施例提供的绑定关系图；
图5为本公开实施例提供的超高性能模式实现原理图；
图6为本公开实施例提供的另一种数据访问方法流程图；
图7为公开开实施例提供的另一种数据访问方法实现原理图；
图8为本公开实施例提供的一种数据访问装置的结构示意图；
图9为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
通常情况下，无论个人用户还是企业级数据中心都已普遍使用固态硬盘，随着固态硬盘技术的发展和成熟，在性能方面也快速进步。
TCMU是操作系统提供的一种机制，主要功能是生成虚拟磁盘(虚拟块设备)，接收对虚拟块磁盘的输入输出(Input/Output IO)操作，并通过用户态、内核态共享内存完成内核到用户态的数据共享，通过运行在用户空间及内核空间的IO机制(UIO)实现IO事件读写通知。
现有的TCMU机制实现原理图(即本公开实施例提供的均衡模式实现原理图)如图1所示，10表示终端设备，该终端设备的内存空间分为两部分，分别为用户空间和内核空间，用户空间包括普通应用程序可以操作和访问的内存空间；内核空间包括操作系统内核可以访问的内存空间，上述内核空间独立于普通的应用程序。
11为存在于终端设备的应用程序，12为TCMU生成的虚拟磁盘(块设备)，应用程序将这个虚拟磁盘与普通物理磁盘相同对待。13、14、15为内核空间结构，终端用户对应用程序11进行IO请求操作，该IO请求操作经过操作系统内核的通用块层13和小型计算机系统接口(Small Computer System InteSCSI)高层驱动14，再转交给SCSI低层驱动15。其中，SCSI低层驱动由内核目标子系统(Linux-IO/TargetCore Mod LIO/TCM)框架16以及TCMU模块17共同实现。
当IO请求到达TCMU17后，TCMU将IO请求数据转发到共享内存18，通过UIO机制19生成字符设备110，同时TCMU17向字符设备110发送可读写消息事件，其中，发送可读写消息事件的实现方式可以为：在字符设备中写入自定义的字符或者字符串，该自定义的字符或者字符串用于提示数据处理模块111共享内存18中有IO请求数据需要处理。
具体的，数据处理模块111实时监测字符设备110，当字符设备有字符或者字符串写入后，数据处理设备110从共享内存111中获取IO请求数据，并进行处理，IO请求数据经过数据处理模块的处理后，可以根据具体实现，将数据存储到本地的存储设备112、存储阵列113、或者是分布式存储后端114中。
针对现有的TCMU通过UIO机制实现IO可读写事件通知的技术方案，其存在以下两方面的问题：
第一方面，基于常用的企业级中央处理器(Central Processing UnitCPU)可以每秒实现40万次的通知。但在使用高速存储设备的场景下，如基于高速串行计算机扩展总线标准(Peripheral Component Interconnect expressPCIe)的固态硬盘(Solid StateDrivesSSD)每块卡的4K读写性能可以超过100万次，于是TCMU机制无法完全发挥PCIe SSD的存储性能，即使用UIO机制实现IO可读写消息通知成了性能瓶颈。
第二方面，当存储后端存在单块高速存储设备时，共享内存的可读写速度大于单块高速存储设备的性能，但是当存储后端存在多块PCIe SSD时，多块PCIe SSD性能之和是大于共享内存读写速度的，于是共享内存又成了新的性能瓶颈。
针对上述两方面的问题，本公开实施例提供了一种数据访问方法，下面结合具体的实施例对该方法进行介绍。
图2为本公开实施例提供的数据访问方法流程图。该数据访问方法可以应用于需要使用超高性能的虚拟机或者块存储服务的高速存储设备中，该数据访问方法可以由数据访问装置执行，该装置可以采用硬件或者软件实现，并可集成在任意具有计算能力的电子设备上，例如终端，具体包括掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。
图3、图4、图5为本实施例的具体的实现原理图及绑定关系图，下面结合图3、图4、图5，对图2所示的数据访问方法进行介绍，该方法具体步骤如下：
S201、获取数据处理模块对第一共享内存进行数据访问的频率。
具体的，数据处理模块用于对IO请求数据进行处理，基于其单位时间内处理IO请求数据的数量，可以统计出数据处理模块数据处理的频率，并将其数据处理的频率通过接口方式提供给工作状态探测模块调用。
工作状态探测模块调用数据处理模块提供的数据处理频率的接口，读取到数据处理模块数据处理频率。
当数据处理模块数据处理频率没有达到第一阈值时，即没有达到TCMU通过UIO机制实现IO事件通知的瓶颈时，数据处理模块和TCMU模块为均衡模式。
数据处理模块和TCMU模块在均衡模式下，其IO请求数据处理方式采用现有的TCMU机制，即通过UIO机制进行IO可读写消息事件通知，其与图1所示的实现原理相同，在本实施例中不再赘述。
其中，第一阈值可以根据具体的内存大小进行自定义配置，本公开实施例对此不做限制。
S202、若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；
具体的，随着IO请求越来越多，工作状态探测模块读取到数据处理模块的频率达到第一阈值后，通知数据处理模块、TCMU模块进入性能模式。
数据处理模块接收到进入性能模式的通知消息后，会启动第一轮询线程，该第一轮询线程会轮询对共享内存进行访问，具体的，第一轮询线程轮询从共享内存中检查是否有IO请求数据，如果有，就会读取出来，并将IO请求数据交给数据处理模块进行处理。
可选的，若所述频率大于第一阈值，则通知所述数据处理模块启动第一数据轮询线程，包括：若所述频率大于第一阈值，则启动第一数据轮询线程，并停止发送所述第一共享内存的可读写消息事件。
具体的，TCMU模块接收到进入性能模式的通知消息后，会停止向字符设备写入自定义字符或字符串，同时数据处理模块不再监测字符设备是否有数据写入。
下面结合图3对该模式实现原理进行具体介绍，如图3所示，终端用户对应用程序11进行IO请求操作，该IO请求经过操作系统内核的通用块层13和SCSI高层驱动14，再转交给SCSI低层驱动15。其中，SCSI低层驱动15由LIO/TCM框架16以及TCMU模块17共同实现。
IO请求到达TCMU模块后17，TCMU将IO请求数据存放到共享内存18中。第一轮询线程实时检查共享内存中是否有IO请求数据，如果有，就会将该IO请求数据读取出来交给数据处理模块进行处理，处理完成后，可以根据具体实现，将数据存储到本地的存储设备112、存储阵列113、或者是分布式存储后端114中。
S203、若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程。
具体的，随着IO请求进一步的增加，工作状态探测模块检测到数据处理模块数据处理的频率达到第二阈值，即共享内存遇到性能瓶颈，通知数据处理模块、TCMU模块进入超高性能模式。其中，第二阈值为第一共享内存可读写最大带宽。可理解的，所述第一阈值小于所述第二阈值。
TCMU接收到进入超高性能模式的通知消息后，新增第二转发线程，同时检查当前的共享内存数量和非统一内存访问(Non Uniform Memory AccessNUMA)节点的数量，如果共享内存数量没有超过NUMA节点数量，则通知工作状态探测模块可增加共享内存，工作状态探测模块接收到通知消息后，通知动态多共享内存管理模块新增第二共享内存。
其中，NUMA是指非统一内存访问，是一种用于多处理器的电脑记忆体设计。它是由若干通过高速专用网络连接起来的独立节点构成的系统，各个节点可以是单个的中央处理器CPU或是对称多处理器(Symmetrical Multi-ProcessingSMP)系统。在NUMA下，处理器访问它自己的本地存储器的速度比非本地存储器(存储器的地方到另一个处理器之间共享的处理器或存储器)快一些，简单描述就是，一个物理CPU(一般包括多个逻辑cpu或者说多个核心)构成一个节点(node)，这个node不仅包括cpu，还包括一组内存插槽，可以理解的，一个物理cpu以及一块内存构成了一个node。
动态多共享内存管理模块接收到新增第二共享内存消息后，新增第二共享内存。
数据处理模块接收到进入超高性能模式后，新增第二数据轮询线程。
其中，第一共享内存、第一转发线程、第一轮询线程与第一NUMA节点绑定，第二共享内存、第二转发线程、第二轮询线程与第二NUMA节点绑定，其绑定关系如图4所示。
可理解的是，第一共享内存对应的第一转发线程和所述第二转发线程用于并行的向所述第一共享内存和所述第二共享内存转发数据；第一数据轮询线程和所述第二数据轮询线程用于并行的访问所述第一共享内存和所述第二共享内存中的数据。
具体的，结合图5对该模式实现原理进行具体介绍，如图5所示，终端用户对应用程序11进行IO请求操作，该IO请求操作经过操作系统内核的通用块层13和SCSI高层驱动14，再转交给SCSI低层驱动15。其中，SCSI低层驱动由LIO/TCM框架16以及TCMU模块17共同实现。
IO请求到达TCMU模块17后，基于上述描述的动态多共享内存管理模块51新增第二共享内存基础52上，第一转发线程将IO请求数据转发到第一共享内存，第二转发线程将IO请求数据转发到第二共享内存，其中，第一转发线程和第二转发线程并行运行。
第一轮询线程实时检查第一共享内存是否有IO请求数据，如果有，就会将IO请求数据读取出来，交给数据处理模块。同时，第二轮询线程实时检查第二共享内存是否有IO请求数据请求，如果有，就会将IO请求数据请求读取出来，交给数据处理模块处理，其中，第一轮询线程和第二轮询线程并行运行。
数据处理模块处理完成后，可以根据具体实现，将数据存储到本地的存储设备112、存储阵列113、或者是分布式存储后端114。
可理解的是，本公开实施例中共享内存数量与NUMA节点数量相关，共享内存数量不超过NUMA节点数量的情况下，可以根据数据处理模块处理IO请求数据频率新增多个共享内存，本申请对共享内存数量不做限定。
可理解的是，本公开实施例三种模式可以根据数据处理模块处理IO请求数据频率自动切换，根据数据处理模块处理IO请求数据频率可能由均衡模式切换到性能模式再切换到超高性能模式，也可能由均衡模式直接切换到超高性能模式。
本公开实施例通过获取数据处理模块对第一共享内存进行数据访问的频率；若所述频率大于第一阈值，则启动第一数据轮询线程，使得当TCMU模块使用UIO机制进行IO事件通知遇到瓶颈时，动态进入性能模式，使用轮询线程替换字符设备消息通知的方法，提高了数据处理的性能。若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程，使得当共享内存数据传输成为性能瓶颈时，动态进入超高性能模式，使用多个NUMA节点划分多个共享内存，并行处理IO请求，更进一步的提高了数据处理的性能。
另外，本公开实施例通过NUMA节点与共享内存一一对应，减少了跨NUMA访问内存带来的额外性能开销，同时动态切换三种工作模式，即能保持在低IO请求数据时，不使用轮询造成CPU资源浪费，也能提供超高性能以适应更多应用场景。
图6为本公开实施例的另一种数据访问方法，图7为本公开实施例的另一种数据访问方法的实现原理图，在上述实施例的基础上，该数据访问方法还包括以下步骤，下面结合图7对图6所示的另一种数据访问方法进行介绍：
S601、创建映射表，所述映射表包括第一对应关系和第二对应关系；所述第一对应关系包括所述第一共享内存的标识、所述第一转发线程的标识和所述第一数据轮询线程的标识；所述第二对应关系包括所述第二共享内存的标识、所述第二转发线程的标识和所述第二数据轮询线程的标识。
具体的，进入性能模式后，工作状态探测模块新建映射表，数据处理模块启动第一轮询线程，TCMU模块通过第一转发线程将IO请求数据转发到第一共享内存中，可理解的，上述第一共享内存、第一转发线程、第一轮询线程存在对应关系，上述关系称为第一对应关系，将上述对应关系保存到映射表71中。其中，该映射表单独保存在共享内存空间中。
当进入超高性能模式后，动态多共享内存管理模块新增第二共享内存，TCMU模块新增第二转发线程，数据处理模块新建第二轮询线程，上述第二共享内存、第二转发线程、第二轮询线程存在对应关系，上述对应关系称为第二对应关系，并将上述对应关系存到上述映射表中。
可选的，所述第一对应关系还包括所述第一共享内存的状态信息；所述第二对应关系还包括所述第二共享内存的状态信息。
具体的，状态信息用来表示共享内存的存在状态，示例性的，共享内存状态可以包括以下几种：可写入、待缩减、可缩减、缩减完成。
可写入状态包括，TCMU模块可以通过共享内存对应的转发线程向共享内存转发IO请求数据，该状态为共享内存初始状态。
待缩减状态包括，TCMU模块停止向共享内存转发IO请求数据。
可缩减状态包括，共享内存中的IO请求数据已经被对应的轮询线程访问完成，该共享内存可以进行缩减。
缩减完成状态包括，上述共享内存已被删除。
本公开实施例对状态信息的目的是为了体现共享内存的实时状态，具体分类本实施例不做限定。
S602、根据所述第一共享内存的状态信息和所述第二共享内存的状态信息，从所述第一共享内存和所述第二共享内存中确定出目标共享内存，所述目标共享内存是待缩减的共享内存。
可选的，目标共享内存可以根据共享内存新增顺序，选择最后一个新增的共享内存作为目标共享内存；
具体的，当IO请求数据的数量降低后，根据数据处理模块处理IO请求数据的频率，会由超高性能模块自动切换到性能模式或者是均衡模式。此时，工作状态探测模块会将映射表中最后一个新增的共享内存作为目标共享内存，并将映射表中该目标共享内存的状态信息改为待缩减。
可选的，根据IO请求数据占用共享内存的大小，选择被占用最少的共享内存作为目标共享内存。
具体的，当IO请求数据的数量降低后，根据数据处理模块处理IO请求数据的频率，会由超高性能模块自动切换到性能模式或者是均衡模式。工作状态探测模块获取每个共享内存被占用的大小，选择被占用最少的共享内存作为目标共享内存，并将映射表中该目标共享内存的状态信息改为待缩减。
可以理解的，确定目标共享内存还可以有其他的方式，本申请对目标共享内存的确定方法不做限定。
S603、停止向所述目标共享内存转发新的数据。
确定目标共享内存后，TCMU模块停止目标转发线程向目标共享内存发送IO请求数据。
S604、当目标共享内存中所有的数据被处理后，停止所述目标共享内存对应的目标转发线程和目标数据轮询线程，并删除所述目标共享内存。
具体的，工作状态探测模块通过数据处理模块获取目标共享内存对应的目标轮询线程的数据处理状态，当目标轮询线程读取不到IO请求数据，表示目标共享内存的IO请求数据处理完成。
可选的，停止所述目标共享内存对应的目标转发线程之后停止所述目标数据轮询线程。
具体的，当目标共享内存的IO请求数据处理完成后，工作状态探测模块通知TCMU模块停止目标转发线程的运行，然后通知数据处理模块停止目标数据轮询线程的运行，并将映射表中的目标共享内存的状态信息修改为可缩减。最后通知动态多共享内存管理模块删除目标共享内存，动态多共享内存管理模块删除目标共享内存后，将映射表中目标共享内存对应的记录的状态标记为缩减完成。
本公开实施例通过创建映射表，所述映射表包括第一对应关系和第二对应关系；所述第一对应关系包括所述第一共享内存的标识、所述第一转发线程的标识和所述第一数据轮询线程的标识；所述第二对应关系包括所述第二共享内存的标识、所述第二转发线程的标识和所述第二数据轮询线程的标识；根据所述第一共享内存的状态信息和所述第二共享内存的状态信息，从所述第一共享内存和所述第二共享内存中确定出目标共享内存；停止向所述目标共享内存转发新的数据；当所述目标共享内存中所有的数据被处理后，停止所述目标共享内存对应的目标转发线程和目标数据轮询线程，并删除所述目标共享内存，使得可以根据映射表的对应关系，动态删除目标共享内存，在保证了IO请求数据不会丢失，IO请求数据安全性的同时，又减少了共享内存的资源占用；同时动态删除目标转发线程和目标轮询线程，减少了CPU资源的浪费。
图8为本公开实施例提供的数据访问装置的结构示意图。该数据访问装置可以是如上实施例所述终端设备，或者该用户界面处理装置可以是如上所述终端设备部件或组件。本公开实施例提供的数据访问装置可以执行数据访问方法实施例提供的处理流程，如图7所示，数据访问装置80包括：
工作状态探测模块81，用于获取数据处理模块对第一共享内存进行数据访问的频率。
数据处理模块82，用于若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；若所述频率大于第二阈值，则创建第二共享内存对应的第二数据轮询线程。
动态多共享内存探测模块83，用于若所述频率大于第二阈值，则创建第二共享内存。
虚拟磁盘分布式块存储模块84，用于若所述频率大于第二阈值，则创建第二共享内存对应的第二转发线程。
可选的，若所述频率大于第一阈值，数据处理模块启动第一数据轮询线程时，虚拟磁盘分布式块存储模块84用于：停止发送所述第一共享内存的可读写消息事件。
可选的，工作状态探测模块81还用于：创建映射表，所述映射表包括第一对应关系和第二对应关系；所述第一对应关系包括所述第一共享内存的标识、所述第一转发线程的标识和所述第一数据轮询线程的标识；所述第二对应关系包括所述第二共享内存的标识、所述第二转发线程的标识和所述第二数据轮询线程的标识。
可选的，工作状态探测模块81用于创建映射表，所述映射表包括第一对应关系和第二对应关系时，具体用于：所述第一对应关系还包括所述第一共享内存的状态信息；所述第二对应关系还包括所述第二共享内存的状态信息。
可选的，工作状态探测模块81还用于：根据所述第一共享内存的状态信息和所述第二共享内存的状态信息，从所述第一共享内存和所述第二共享内存中确定出目标共享内存，所述目标共享内存是待缩减的共享内存。
可选的，工作状态探测模块81用于从所述第一共享内存和所述第二共享内存中确定出目标共享内存之后，虚拟磁盘分布式块存储模块84还用于：停止向所述目标共享内存转发新的数据。
可选的，当所述目标共享内存中所有的数据被处理后，虚拟磁盘分布式块存储模块84还用于：停止所述目标共享内存对应的目标转发线程；数据处理模块82还用于：停止所述目标共享内存对应的目标数据轮询线程；动态多共享内存探测模块83还用于：删除所述目标共享内存。
可选的，数据处理模块82用于：停止所述目标共享内存对应的目标数据轮询线程时，具体用于：虚拟磁盘分布式块存储模块84停止所述目标共享内存对应的目标转发线程之后停止所述目标数据轮询线程。
图8所示实施例的数据访问装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本公开实施例提供的电子设备的结构示意图。如图8所示，设备90包括：存储器91、处理器92、计算机程序和通讯接口93；其中，计算机程序存储在存储器91中，并被配置为由处理器92执行如上所述的数据访问方法。
另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的数据访问方法。
此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据访问方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据访问方法，其特征在于，所述方法包括：
获取数据处理模块对第一共享内存进行数据处理的频率；
若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；
若所述频率大于第二阈值，则创建第二共享内存、以及所述第二共享内存对应的第二数据轮询线程和第二转发线程；
其中，所述第一阈值小于所述第二阈值；
所述第一共享内存对应的第一转发线程和所述第二转发线程用于并行的向所述第一共享内存和所述第二共享内存转发数据；
所述第一数据轮询线程和所述第二数据轮询线程用于并行的访问所述第一共享内存和所述第二共享内存中的数据。
2.根据权利要求1所述的方法，其特征在于，若所述频率大于第一阈值，则通知所述数据处理模块启动第一数据轮询线程，包括：
若所述频率大于第一阈值，则启动第一数据轮询线程，并停止发送所述第一共享内存的可读写消息事件。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
创建映射表，所述映射表包括第一对应关系和第二对应关系；
所述第一对应关系包括所述第一共享内存的标识、所述第一转发线程的标识和所述第一数据轮询线程的标识；
所述第二对应关系包括所述第二共享内存的标识、所述第二转发线程的标识和所述第二数据轮询线程的标识。
4.根据权利要求3所述的方法，其特征在于，所述第一对应关系还包括所述第一共享内存的状态信息；
所述第二对应关系还包括所述第二共享内存的状态信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第一共享内存的状态信息和所述第二共享内存的状态信息，从所述第一共享内存和所述第二共享内存中确定出目标共享内存，所述目标共享内存是待缩减的共享内存。
6.根据权利要求5所述的方法，其特征在于，从所述第一共享内存和所述第二共享内存中确定出目标共享内存之后，所述方法还包括：
停止向所述目标共享内存转发新的数据；
当所述目标共享内存中所有的数据被处理后，停止所述目标共享内存对应的目标转发线程和目标数据轮询线程，并删除所述目标共享内存。
7.根据权利要求6所述的方法，其特征在于，停止所述目标共享内存对应的目标转发线程和目标数据轮询线程，包括：
停止所述目标共享内存对应的目标转发线程之后停止所述目标数据轮询线程。
8.一种数据访问装置，其特征在于，包括：
工作状态探测模块，用于获取数据处理模块对第一共享内存进行数据访问的频率；
数据处理模块，用于若所述频率大于第一阈值，则启动第一数据轮询线程，所述第一数据轮询线程用于实时访问所述第一共享内存中的数据；若所述频率大于第二阈值，则创建第二共享内存对应的第二数据轮询线程；
动态多共享内存探测模块，用于若所述频率大于第二阈值，则创建第二共享内存；
虚拟磁盘分布式块存储模块，用于若所述频率大于第二阈值，则创建第二共享内存对应的第二转发线程。
9.一种电子设备，其特征在于，包括
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202210129169.1A 2022-02-11 2022-02-11 数据访问方法、装置、设备及计算机可读存储介质 Pending CN114528123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210129169.1A CN114528123A (zh) 2022-02-11 2022-02-11 数据访问方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210129169.1A CN114528123A (zh) 2022-02-11 2022-02-11 数据访问方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114528123A true CN114528123A (zh) 2022-05-24

Family

ID=81622332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210129169.1A Pending CN114528123A (zh) 2022-02-11 2022-02-11 数据访问方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114528123A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594884A (zh) * 2023-05-16 2023-08-15 上海安般信息科技有限公司 一种基于使用并发方式的模糊测试方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594884A (zh) * 2023-05-16 2023-08-15 上海安般信息科技有限公司 一种基于使用并发方式的模糊测试方法及装置
CN116594884B (zh) * 2023-05-16 2023-10-27 上海安般信息科技有限公司 一种基于使用并发方式的模糊测试方法及装置

Similar Documents

Publication Publication Date Title
US10324832B2 (en) Address based multi-stream storage device access
CN110471861B (zh) 一种闪存设备中的数据存储方法及闪存设备
US10860494B2 (en) Flushing pages from solid-state storage device
US10318325B2 (en) Host-side cache migration
US11093410B2 (en) Cache management method, storage system and computer program product
CN109213696B (zh) 用于缓存管理的方法和设备
CN110851383B (zh) 一种管理存储系统的方法及设备
JP2014071905A (ja) コンピュータシステム及びコンピュータシステムのデータ管理方法
US9684625B2 (en) Asynchronously prefetching sharable memory pages
US10936499B2 (en) Method, device and computer programme product for storage management
US8898357B1 (en) Storage integration plugin for virtual servers
TW202225976A (zh) 虛擬化寄存器裝置和存取該裝置的方法和電腦程式產品
WO2021086693A1 (en) Management of multiple physical function non-volatile memory devices
US20220253252A1 (en) Data processing method and apparatus
WO2020219810A1 (en) Intra-device notational data movement system
CN114528123A (zh) 数据访问方法、装置、设备及计算机可读存储介质
TW201201102A (en) Resource adjustment methods and systems for virtual machines, and computer program products thereof
CN114860625A (zh) 数据访问方法、装置、设备及可读存储介质
US20160232166A1 (en) Method and Apparatus for Accessing File
CN115809015A (zh) 分布式系统中数据处理的方法以及相关系统
CN109032965B (zh) 一种数据读取方法、主机及存储设备
US20140237149A1 (en) Sending a next request to a resource before a completion interrupt for a previous request
CN107515723B (zh) 用于管理存储系统中的存储器的方法和系统
WO2018188416A1 (zh) 一种数据搜索的方法、装置和相关设备
WO2024082702A1 (zh) 数据处理方法、装置、芯片以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination