CN113625954A - 一种卷信息查询方法、装置、设备及可读存储介质 - Google Patents

一种卷信息查询方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113625954A
CN113625954A CN202110741603.7A CN202110741603A CN113625954A CN 113625954 A CN113625954 A CN 113625954A CN 202110741603 A CN202110741603 A CN 202110741603A CN 113625954 A CN113625954 A CN 113625954A
Authority
CN
China
Prior art keywords
volume
query
volume information
threads
information set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110741603.7A
Other languages
English (en)
Other versions
CN113625954B (zh
Inventor
王小梅
杨鸿洁
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202110741603.7A priority Critical patent/CN113625954B/zh
Publication of CN113625954A publication Critical patent/CN113625954A/zh
Application granted granted Critical
Publication of CN113625954B publication Critical patent/CN113625954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种卷信息查询方法、装置、设备及可读存储介质。在本申请中，分布式存储集群中的任一个节点在接收到多个查询请求时，调用预设查询进程将多个查询请求添加至查询队列，选择预设查询进程中处于休眠状态的多个线程，并唤醒多个线程，利用多个线程并行处理查询队列中的各个查询请求，从而得到每个查询请求对应的卷信息集合，最后计算每个卷信息集合中的各个卷的性能指标数据，从而避免因单个查询请求的执行时间较长而导致查询请求积压，可降低多个查询请求的查询耗时时间，并且实时性较高，提高了卷信息查询效率和准确率。相应地，本申请提供的一种卷信息查询装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种卷信息查询方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种卷信息查询方法、装置、设备及可读存储介质。
背景技术
目前，查询分布式存储集群中的卷信息时，单个查询请求的执行时间较长，导致后续的查询请求积压，从而导致查询耗时时间且实时性差，无法获取准确信息来确定卷性能。
因此，如何提高卷信息查询效率和准确率，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种卷信息查询方法、装置、设备及可读存储介质，以提高卷信息查询效率和准确率。其具体方案如下：
第一方面，本申请提供了一种卷信息查询方法，应用于分布式存储集群中的任一个节点，包括：
若接收到多个查询请求，则调用预设查询进程将所述多个查询请求添加至查询队列；
选择所述预设查询进程中处于休眠状态的多个线程，并唤醒所述多个线程；
利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；所述卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；
针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将所述预设目标值、所述已用空间和所述访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
优选地，任一个线程处理任一个查询请求的过程包括：
任一个线程从所述查询队列中读取任一个查询请求，并基于该查询请求确定需要查询的卷列表；
根据所述卷列表中的各个卷的标识信息分别查询各个卷的卷信息，以得到该查询请求对应的卷信息集合。
优选地，所述计算每个卷信息集合中的各个卷的性能指标数据之后，还包括：
若任一个卷的访问延时超过预设阈值，则对该卷所在的节点进行告警。
优选地，所述对该卷所在的节点进行告警之后，还包括：
减少线程并发数和/或减少所接收的查询请求的个数。
优选地，所述利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合之后，还包括：
控制所述多个线程进入休眠状态。
优选地，所述确定每个卷信息集合中的各个卷的性能指标数据之后，还包括：
实时记录所述性能指标数据形成性能数据池；
经过一段时间后，基于所述性能数据池生成每个卷信息集合中的各个卷的生命曲线。
优选地，所述基于所述性能数据池生成每个卷信息集合中的各个卷的生命曲线之后，还包括：
将所述生命曲线进行可视化展示。
第二方面，本申请提供了一种卷信息查询装置，应用于分布式存储集群中的任一个节点，包括：
接收模块，用于若接收到多个查询请求，则调用预设查询进程将所述多个查询请求添加至查询队列；
选择模块，用于选择所述预设查询进程中处于休眠状态的多个线程，并唤醒所述多个线程；
处理模块，用于利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；所述卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；
计算模块，用于针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将所述预设目标值、所述已用空间和所述访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的卷信息查询方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的卷信息查询方法。
通过以上方案可知，本申请提供了一种卷信息查询方法，应用于分布式存储集群中的任一个节点，包括：若接收到多个查询请求，则调用预设查询进程将所述多个查询请求添加至查询队列；选择所述预设查询进程中处于休眠状态的多个线程，并唤醒所述多个线程；利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；所述卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将所述预设目标值、所述已用空间和所述访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
可见，分布式存储集群中的任一个节点在接收到多个查询请求时，调用预设查询进程将多个查询请求添加至查询队列，然后选择预设查询进程中处于休眠状态的多个线程，并唤醒多个线程，进而利用多个线程并行处理查询队列中的各个查询请求，从而可同时得到每个查询请求对应的卷信息集合，卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；最后可基于卷信息集合中的各种信息同时计算每个卷信息集合中的各个卷的性能指标数据，从而避免因单个查询请求的执行时间较长而导致查询请求积压。该方案可降低多个查询请求的查询耗时时间，并且实时性较高，提高了卷信息查询效率和准确率，能够获取准确的卷信息来确定卷性能。
相应地，本申请提供的一种卷信息查询装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种卷信息查询方法流程图；
图2为本申请公开的一种卷信息查询框架示意图；
图3为本申请公开的另一种卷信息查询方法流程图；
图4为本申请公开的一种卷信息查询装置示意图；
图5为本申请公开的一种电子设备示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，查询分布式存储集群中的卷信息时，单个查询请求的执行时间较长，导致后续的查询请求积压，从而导致查询耗时时间且实时性差，无法获取准确信息来确定卷性能。为此，本申请提供了一种卷信息查询方案，能够提高卷信息查询效率和准确率。
参见图1所示，本申请实施例公开了一种卷信息查询方法，应用于分布式存储集群中的任一个节点，包括：
S101、若接收到多个查询请求，则调用预设查询进程将多个查询请求添加至查询队列。
S102、选择预设查询进程中处于休眠状态的多个线程，并唤醒多个线程。
S103、利用多个线程并行处理查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合。
在一种具体实施方式中，任一个线程处理任一个查询请求的过程包括：任一个线程从查询队列中读取任一个查询请求，并基于该查询请求确定需要查询的卷列表；根据卷列表中的各个卷的标识信息(如卷名称)分别查询各个卷的卷信息，以得到该查询请求对应的卷信息集合。其中，一个查询请求查询多个卷，所有卷的名称记录在卷列表中，因此可以基于卷名称分别查询各个卷的卷信息。
本实施例使用一个工作队列(即查询队列)存放要处理的任务(即查询请求)，每个线程依次去队列中取出任务进行处理，没有取到任务的线程即空闲线程，会进入睡眠状态，新加入任务时，会通知空闲线程取走任务。各个线程取任务过程是互斥的，一个线程取了某一任务，其他线程就不再取该任务。
S104、计算每个卷信息集合中的各个卷的性能指标数据。
在本实施例中，卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map。因此计算每个卷信息集合中的各个卷的性能指标数据，包括：针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记；基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时；将预设目标值、已用空间和访问延时确定为该卷的性能指标数据。其中，任一个线程处理任一个请求的总时长除以该线程处理该请求时所访问的卷个数，即可得到该请求查询任一个卷所用的时间，对比该时间与预设的卷查询阈值，即可得到一个卷的访问延时。
在一种具体实施方式中，计算每个卷信息集合中的各个卷的性能指标数据之后，还包括：若任一个卷的访问延时超过预设阈值，则对该卷所在的节点进行告警。其中，对该卷所在的节点进行告警之后，还包括：减少线程并发数和/或减少所接收的查询请求的个数。
在一种具体实施方式中，利用多个线程并行处理查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合之后，还包括：控制多个线程进入休眠状态，以便利用这些线程处理后续查询请求。
在一种具体实施方式中，确定每个卷信息集合中的各个卷的性能指标数据之后，还包括：实时记录性能指标数据形成性能数据池；经过一段时间后，基于性能数据池生成每个卷信息集合中的各个卷的生命曲线，该生命曲线可呈现一个卷在使用过程中的具体情况，可为卷的管理维护提供依据。其中，基于性能数据池生成每个卷信息集合中的各个卷的生命曲线之后，还包括：将生命曲线进行可视化展示。
在本实施例中，分布式存储集群中的任一个节点在接收到多个查询请求时，调用预设查询进程将多个查询请求添加至查询队列，然后选择预设查询进程中处于休眠状态的多个线程，并唤醒多个线程，进而利用多个线程并行处理查询队列中的各个查询请求，从而可同时得到每个查询请求对应的卷信息集合，卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；最后可基于卷信息集合中的各种信息同时计算每个卷信息集合中的各个卷的性能指标数据，从而避免因单个查询请求的执行时间较长而导致查询请求积压。该方案可降低多个查询请求的查询耗时时间，并且实时性较高，提高了卷信息查询效率和准确率，能够获取准确的卷信息来确定卷性能。
请参见图2，本申请实施例提供了一种卷信息查询实现方案，在部署分布式存储集群后，在每个节点中创建一个新的查询进程，并配置该查询进程可以使用的线程数量，该查询进程可以使用多个线程，可同时处理多个查询任务。每个查询请求均为异步操作；查询进程将收到的查询请求放入工作队列中，再调用各个线程并行处理队列中的请求，从而提高查询效率。
查询过程主要包括如下几个步骤：
步骤一：部署块集群后自动运行查询进程；
步骤二：初始化集群句柄，绑定套接字等，连接集群；
步骤三：等待用户查询命令，收到用户查询请求后，放入队列处理；
步骤四：查询请求处理时首先获取存储池中所有卷列表，异步查询每个卷的信息；
步骤五：向用户返回查询结果。
请参见图3，查询流程具体包括：
1、查询进程接收查询卷命令，放入工作队列。
2、查询进程调用一个线程从工作队列取出一个查询任务，该线程基于该查询任务在相应存储池中查询卷列表，以获得该存储池中各个卷的ID。
3、基于各个卷的ID查询卷的header(元数据)对象的xattr、卷header对象上注册的watcher、卷header对象的omap、卷对应object_map。
4、解析xattr、omap，根据object_map计算卷大小，返回卷的已用容量、时延等性能指标数据。
本实施例可同时查询卷的各种信息，并基于卷的各种信息计算各个卷的已用容量、时延等性能指标数据，从而避免因单个查询请求的执行时间较长而导致查询请求积压。该方案可降低多个查询请求的查询耗时时间，并且实时性较高，提高了卷信息查询效率和准确率，能够获取准确的卷信息来确定卷性能。
下面对本申请实施例提供的一种卷信息查询装置进行介绍，下文描述的一种卷信息查询装置与上文描述的一种卷信息查询方法可以相互参照。
参见图4所示，本申请实施例公开了一种卷信息查询装置，应用于分布式存储集群中的任一个节点，包括：
接收模块401，用于若接收到多个查询请求，则调用预设查询进程将多个查询请求添加至查询队列；
选择模块402，用于选择预设查询进程中处于休眠状态的多个线程，并唤醒多个线程；
处理模块403，用于利用多个线程并行处理查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；
计算模块404，用于针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将预设目标值、已用空间和访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
在一种具体实施方式中，任一个线程处理任一个查询请求的过程包括：
任一个线程从查询队列中读取任一个查询请求，并基于该查询请求确定需要查询的卷列表；
根据卷列表中的各个卷的标识信息分别查询各个卷的卷信息，以得到该查询请求对应的卷信息集合。
在一种具体实施方式中，还包括：
告警模块，用于若任一个卷的访问延时超过预设阈值，则对该卷所在的节点进行告警。
在一种具体实施方式中，还包括：
调整模块，用于减少线程并发数和/或减少所接收的查询请求的个数。
在一种具体实施方式中，还包括：
控制模块，用于控制多个线程进入休眠状态。
在一种具体实施方式中，还包括：
记录模块，用于实时记录性能指标数据形成性能数据池；
分析模块，用于经过一段时间后，基于性能数据池生成每个卷信息集合中的各个卷的生命曲线。
在一种具体实施方式中，还包括：
展示模块，用于将生命曲线进行可视化展示。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种卷信息查询装置，能够同时查询卷的各种信息，并基于卷的各种信息计算各个卷的已用容量、时延等性能指标数据，从而避免因单个查询请求的执行时间较长而导致查询请求积压。该方案可降低多个查询请求的查询耗时时间，并且实时性较高，提高了卷信息查询效率和准确率，能够获取准确的卷信息来确定卷性能。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的一种电子设备与上文描述的一种卷信息查询方法及装置可以相互参照。
参见图5所示，本申请实施例公开了一种电子设备，包括：
存储器501，用于保存计算机程序；
处理器502，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种卷信息查询方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的卷信息查询方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种卷信息查询方法，其特征在于，应用于分布式存储集群中的任一个节点，包括：
若接收到多个查询请求，则调用预设查询进程将所述多个查询请求添加至查询队列；
选择所述预设查询进程中处于休眠状态的多个线程，并唤醒所述多个线程；
利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；所述卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；
针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将所述预设目标值、所述已用空间和所述访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
2.根据权利要求1所述的方法，其特征在于，任一个线程处理任一个查询请求的过程包括：
任一个线程从所述查询队列中读取任一个查询请求，并基于该查询请求确定需要查询的卷列表；
根据所述卷列表中的各个卷的标识信息分别查询各个卷的卷信息，以得到该查询请求对应的卷信息集合。
3.根据权利要求1所述的方法，其特征在于，所述计算每个卷信息集合中的各个卷的性能指标数据之后，还包括：
若任一个卷的访问延时超过预设阈值，则对该卷所在的节点进行告警。
4.根据权利要求3所述的方法，其特征在于，所述对该卷所在的节点进行告警之后，还包括：
减少线程并发数和/或减少所接收的查询请求的个数。
5.根据权利要求1所述的方法，其特征在于，所述利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合之后，还包括：
控制所述多个线程进入休眠状态。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述确定每个卷信息集合中的各个卷的性能指标数据之后，还包括：
实时记录所述性能指标数据形成性能数据池；
经过一段时间后，基于所述性能数据池生成每个卷信息集合中的各个卷的生命曲线。
7.根据权利要求6所述的方法，其特征在于，所述基于所述性能数据池生成每个卷信息集合中的各个卷的生命曲线之后，还包括：
将所述生命曲线进行可视化展示。
8.一种卷信息查询装置，其特征在于，应用于分布式存储集群中的任一个节点，包括：
接收模块，用于若接收到多个查询请求，则调用预设查询进程将所述多个查询请求添加至查询队列；
选择模块，用于选择所述预设查询进程中处于休眠状态的多个线程，并唤醒所述多个线程；
处理模块，用于利用所述多个线程并行处理所述查询队列中的各个查询请求，以得到每个查询请求对应的卷信息集合；所述卷信息集合包括：多个卷的元数据对象的xattr、元数据对象上注册的watcher、元数据对象的omap、以及数据对象的object_map；
计算模块，用于针对任一个卷信息集合中的任一个卷，基于该卷的元数据对象上注册的watcher确定该卷是否正在被访问，并用预设目标值进行标记，基于该卷的元数据对象的xattr、元数据对象的omap、以及数据对象的object_map计算该卷的已用空间和访问延时，将所述预设目标值、所述已用空间和所述访问延时确定为该卷的性能指标数据，以确定每个卷信息集合中的各个卷的性能指标数据。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110741603.7A 2021-06-30 2021-06-30 一种卷信息查询方法、装置、设备及可读存储介质 Active CN113625954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741603.7A CN113625954B (zh) 2021-06-30 2021-06-30 一种卷信息查询方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741603.7A CN113625954B (zh) 2021-06-30 2021-06-30 一种卷信息查询方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113625954A true CN113625954A (zh) 2021-11-09
CN113625954B CN113625954B (zh) 2024-03-15

Family

ID=78378744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741603.7A Active CN113625954B (zh) 2021-06-30 2021-06-30 一种卷信息查询方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113625954B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241742A1 (zh) * 2022-06-14 2023-12-21 顺丰科技有限公司 基于redis的性能调整方法、装置、电子设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129508A1 (en) * 2004-12-09 2006-06-15 International Business Machines Corporation On-site reclamation of off-site copy storage volumes using multiple, parallel processes
US20080033920A1 (en) * 2006-08-04 2008-02-07 Kaelin Lee Colclasure Method and apparatus for searching metadata
US8806096B1 (en) * 2007-04-20 2014-08-12 Netapp, Inc. Increased concurrency of an initialization process of multiple data storage units of a volume
CN107894921A (zh) * 2017-11-09 2018-04-10 郑州云海信息技术有限公司 一种分布式块存储卷性能统计的实现方法及系统
CN108459825A (zh) * 2018-01-30 2018-08-28 深圳神州数码云科数据技术有限公司 一种存储系统服务质量控制方法和装置
CN110007877A (zh) * 2019-04-16 2019-07-12 苏州浪潮智能科技有限公司 主机与双控存储设备间数据传输方法、装置、设备及介质
CN110019024A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种目录查询方法、系统及电子设备和存储介质
CN111078157A (zh) * 2019-12-29 2020-04-28 浪潮电子信息产业股份有限公司 一种分布式存储系统的卷信息查询方法、系统及相关组件
CN111159236A (zh) * 2019-12-23 2020-05-15 五八有限公司 数据处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129508A1 (en) * 2004-12-09 2006-06-15 International Business Machines Corporation On-site reclamation of off-site copy storage volumes using multiple, parallel processes
US20080033920A1 (en) * 2006-08-04 2008-02-07 Kaelin Lee Colclasure Method and apparatus for searching metadata
US8806096B1 (en) * 2007-04-20 2014-08-12 Netapp, Inc. Increased concurrency of an initialization process of multiple data storage units of a volume
CN107894921A (zh) * 2017-11-09 2018-04-10 郑州云海信息技术有限公司 一种分布式块存储卷性能统计的实现方法及系统
CN108459825A (zh) * 2018-01-30 2018-08-28 深圳神州数码云科数据技术有限公司 一种存储系统服务质量控制方法和装置
CN110019024A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种目录查询方法、系统及电子设备和存储介质
CN110007877A (zh) * 2019-04-16 2019-07-12 苏州浪潮智能科技有限公司 主机与双控存储设备间数据传输方法、装置、设备及介质
CN111159236A (zh) * 2019-12-23 2020-05-15 五八有限公司 数据处理方法、装置、电子设备及存储介质
CN111078157A (zh) * 2019-12-29 2020-04-28 浪潮电子信息产业股份有限公司 一种分布式存储系统的卷信息查询方法、系统及相关组件

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241742A1 (zh) * 2022-06-14 2023-12-21 顺丰科技有限公司 基于redis的性能调整方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN113625954B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP5425286B2 (ja) データ処理システムのメモリ使用状況を追跡する方法
US6578065B1 (en) Multi-threaded processing system and method for scheduling the execution of threads based on data received from a cache memory
US8682850B2 (en) Method of enhancing de-duplication impact by preferential selection of master copy to be retained
WO2018113317A1 (zh) 数据的迁移方法、装置和系统
US12079476B2 (en) Data processing method, apparatus, device, and readable storage medium
CN103793439A (zh) 一种实时检索信息获取方法、装置及服务器
KR20110086066A (ko) 산출장치, 시스템 관리장치, 산출방법 및 프로그램
CN113625954B (zh) 一种卷信息查询方法、装置、设备及可读存储介质
CN109582649A (zh) 一种元数据存储方法、装置、设备及可读存储介质
CN114706834A (zh) 一种高效率的动态集合管理方法和系统
CN110688360A (zh) 分布式文件系统存储管理方法、装置、设备及存储介质
CN116991855B (zh) 哈希表处理方法、装置、设备、介质、控制器及固态硬盘
CN112783711A (zh) NodeJS上程序内存分析的方法、存储介质
CN106934066B (zh) 一种元数据处理方法、装置和存储设备
CN117472568A (zh) 一种多线程任务处理方法及终端
CN117577163A (zh) 一种ssd坏块检测方法、装置、计算机设备及存储介质
US8943028B2 (en) Database compression analyzer
US20080077868A1 (en) System and Method for Visually Representing Resource Usage in a Multi-Node Data Processing System
CN116049180A (zh) 面向Paas平台的租户数据处理方法及装置
US7506319B2 (en) Generating a model of software in execution
CN115114332A (zh) 一种数据库查询方法、装置、设备及可读存储介质
CN106446080B (zh) 数据查询的方法、查询服务设备、客户端设备和数据系统
CN110674170B (zh) 基于链表逆序访问的数据缓存方法、装置、设备及介质
CN114625719A (zh) 一种基于移动滤波框架的动态集合管理方法和系统
CN111143418B (zh) 一种数据库读取数据方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant