CN114443224A - 分布式集群逻辑卷数据管理方法、系统、设备和介质 - Google Patents
分布式集群逻辑卷数据管理方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN114443224A CN114443224A CN202210062973.2A CN202210062973A CN114443224A CN 114443224 A CN114443224 A CN 114443224A CN 202210062973 A CN202210062973 A CN 202210062973A CN 114443224 A CN114443224 A CN 114443224A
- Authority
- CN
- China
- Prior art keywords
- logical volume
- disk
- data
- historical
- use state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013523 data management Methods 0.000 title claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 238000012163 sequencing technique Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 10
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了分布式集群逻辑卷数据管理方法、系统、设备和介质，该方法包括获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；接收删除逻辑卷的信息，查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除，定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。基于该方法，还提出了逻辑卷数据管理系统、设备和介质。本发明通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。
Description
技术领域
本发明属于分布式集群数据管理技术领域，特别涉及分布式集群逻辑卷数据管理方法、系统、设备和介质。
背景技术
逻辑卷(Logical Volume)是由逻辑磁盘形成的虚拟盘，也可称为磁盘分区。逻辑卷是Windows系统的一种磁盘管理方式，目的是把硬盘空间从物理硬盘的管理方式中跳出来，进行更方便的统一管理分配。逻辑卷作为实际管理磁盘的一种机制，需要获取其实时性能数据、保存历史性能数据来监控其状态。在保存历史数据的同时需要有防止逻辑卷误删的安全保护模块，上报逻辑卷异常的监控告警模块。
在分布式集群中，大规模场景下(上百节点，10w以上逻辑卷)，逻辑卷历史性能采集情况下，当今存储容量需求不断提升，节点数量也不断增加，当逻辑卷在10w卷左右时，如果要每1分钟记录一次数据，保存一个月的数据，则会出现上千万级的数据量，会造成机器资源的大量占用。当逻辑卷出现异常，用户需要查看历史性能数据，查看告警日志来分析原因。当前环境下很难做到对大量逻辑卷的性能历史数据存储、误删安全保护、异常告警的机制。
发明内容
为了解决上述技术问题，本发明提出了分布式集群逻辑卷数据管理方法、系统、设备和介质，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受。
为实现上述目的，本发明采用以下技术方案：
分布式集群逻辑卷数据管理方法，包括以下步骤：
获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
进一步的，所述方法还包括：定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。
进一步的，所述磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
进一步的，所述针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集的过程为：
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
进一步的，所述方法还包括：
每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；
每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
进一步的，所述查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
进一步的，所述根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除包括：
如果在最近一周内存在业务读取或写入，则对用户给出提示，谨慎删除；
查询逻辑卷的性能数据，如果存在读写带宽，则说明正在使用，则禁止删除。
本发明还提出了分布式集群逻辑卷数据管理系统，包括采集调控模块和安全保护模块；
所述采集调控模块用于获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
所述安全保护模块用于接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
本发明还提出了一种设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的方法步骤。
本发明还提出了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了分布式集群逻辑卷数据管理方法、系统、设备和介质，该方法包括获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除，定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。基于分布式集群逻辑卷数据管理方法，本发明还提出了分布式集群逻辑卷数据管理系统、设备和介质。针对逻辑卷的不同健康状况采取不同的策略，采用分级的策略可以显著降低所采集的历史性能数据量。为了加快从海量数据查询得到结果，需要对数据库查询进行优化；以及采用定时快照，捕获删除信息的方式保证逻辑卷当中数据安全。本发明通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受；通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。通过快速告警与历史性能数据查看，用户可以更快定位逻辑卷存在的问题。
附图说明
如图1为本发明实施例1分布式集群逻辑卷数据管理方法流程图；
如图2为本发明实施例2分布式集群逻辑卷数据管理系统示意图；
如图3为本发明实施例2采集调控模块执行的过程；
如图4为本发明实施例2安全保护模块执行的过程。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了分布式集群逻辑卷数据管理方法。用于实现帮助技术人员查看历史数据，定位逻辑卷故障，保障大规模场景下逻辑卷的正常运行。
当分布式系统采集并保存逻辑卷历史数据时，首先遇到的问题就是数据量过大，占用系统硬盘资源，查询数据消耗过多CPU与内存资源，耗时过长。因此在逻辑卷性能数据保存的过程中提出两个措施优化存储过程：首先是针对逻辑卷的不同健康状况采取不同的策略。首先对逻辑卷健康状况进行分析，逻辑卷没有异常则降低逻辑卷的数据采集频率，如15分钟采集一次，如果监测到逻辑卷状态异常，则以每分钟一次的频率采集数据。其次是为了加快从海量数据查询得到结果，需要对数据库查询进行优化。逻辑卷安全保护策略主要是保护逻辑卷不被误删。在逻辑卷正在进行存取数据或是其他业务操作时，出现误删、断电等意外情况将对存储的数据造成不可恢复的错误。采用定时快照，捕获删除信息的方式保证逻辑卷当中数据安全。
如图1为本发明实施例1分布式集群逻辑卷数据管理方法流程图。
在步骤S100中，获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
第一阈值为序列在前的10％，第二阈值为序列在前的30％。采用这种分级的策略可以显著降低所采集的历史性能数据量。
在步骤S110中，接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
防止误删，当用户删除逻辑卷时，捕获删除的信息，随后查询该逻辑卷的历史数据与当前使用状态。如果最近7天存在业务读取或写入，则说明近期使用频繁。发现逻辑卷历史使用较为频繁，则对用户给出提示，请谨慎删除。通过查询逻辑卷的性能数据，如果存在读写带宽，说明逻辑卷正在使用，则禁止用户删除。此外为了防止出现不可预知的意外导致的用户信息丢失。对逻辑卷拍取快照。大规模逻辑卷下频繁拍取快照占用空间较大，因此每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
在步骤S120中，定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。方便用户定位逻辑卷错误原因。对于大规模卷下如何确保告警的较低资源占用，告警时效性，仍采用数据采集的信息降低监控采集的频率，降低系统资源消耗。
本发明实施例1提出的分布式集群逻辑卷数据管理方法，通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受；通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。通过快速告警与历史性能数据查看，用户可以更快定位逻辑卷存在的问题。
实施例2
基于本发明实施例1提出的分布式集群逻辑卷数据管理方法，还提出了分布式集群逻辑卷数据管理系统，如图2为本发明实施例2分布式集群逻辑卷数据管理系统示意图；该系统包括采集调控模块和安全保护模块；
采集调控模块用于获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；如图3为本发明实施例2采集调控模块执行的过程；
磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
第一阈值为序列在前的10％，第二阈值为序列在前的30％。采用这种分级的策略可以显著降低所采集的历史性能数据量。
查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
安全保护模块用于接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
如图4为本发明实施例2安全保护模块执行的过程。
防止误删，当用户删除逻辑卷时，捕获删除的信息，随后查询该逻辑卷的历史数据与当前使用状态。如果最近7天存在业务读取或写入，则说明近期使用频繁。发现逻辑卷历史使用较为频繁，则对用户给出提示，请谨慎删除。通过查询逻辑卷的性能数据，如果存在读写带宽，说明逻辑卷正在使用，则禁止用户删除。此外为了防止出现不可预知的意外导致的用户信息丢失。对逻辑卷拍取快照。大规模逻辑卷下频繁拍取快照占用空间较大，因此每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
该系统还包括告警模块；告警模块用于定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。方便用户定位逻辑卷错误原因。对于大规模卷下如何确保告警的较低资源占用，告警时效性，仍采用数据采集的信息降低监控采集的频率，降低系统资源消耗。
本发明实施例2提出的分布式集群逻辑卷数据管理系统，通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受；通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。通过快速告警与历史性能数据查看，用户可以更快定位逻辑卷存在的问题。
实施例3
本发明还提出了一种设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现方法步骤如下：
如图1为本发明实施例1分布式集群逻辑卷数据管理方法流程图。
在步骤S100中，获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
第一阈值为序列在前的10％，第二阈值为序列在前的30％。采用这种分级的策略可以显著降低所采集的历史性能数据量。
在步骤S110中，接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
防止误删，当用户删除逻辑卷时，捕获删除的信息，随后查询该逻辑卷的历史数据与当前使用状态。如果最近7天存在业务读取或写入，则说明近期使用频繁。发现逻辑卷历史使用较为频繁，则对用户给出提示，请谨慎删除。通过查询逻辑卷的性能数据，如果存在读写带宽，说明逻辑卷正在使用，则禁止用户删除。此外为了防止出现不可预知的意外导致的用户信息丢失。对逻辑卷拍取快照。大规模逻辑卷下频繁拍取快照占用空间较大，因此每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
在步骤S120中，定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。方便用户定位逻辑卷错误原因。对于大规模卷下如何确保告警的较低资源占用，告警时效性，仍采用数据采集的信息降低监控采集的频率，降低系统资源消耗。
本发明实施例3提出的分布式集群逻辑卷数据管理设备，通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受；通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。通过快速告警与历史性能数据查看，用户可以更快定位逻辑卷存在的问题。
需要说明：本发明技术方案还提供了一种电子设备，包括：通信接口，能够与其它设备比如网络设备等进行信息交互；处理器，与通信接口连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的分布式集群逻辑卷数据管理方法，而所述计算机程序存储在存储器上。当然，实际应用时，电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。本申请实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP(Digital Signal Processing，即指能够实现数字信号处理技术的芯片)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的程序，结合其硬件完成前述方法的步骤。处理器执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
实施例4
本发明还提出了一种可读存储介质，可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现方法步骤如下：
如图1为本发明实施例1分布式集群逻辑卷数据管理方法流程图。
在步骤S100中，获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
第一阈值为序列在前的10％，第二阈值为序列在前的30％。采用这种分级的策略可以显著降低所采集的历史性能数据量。
在步骤S110中，接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
防止误删，当用户删除逻辑卷时，捕获删除的信息，随后查询该逻辑卷的历史数据与当前使用状态。如果最近7天存在业务读取或写入，则说明近期使用频繁。发现逻辑卷历史使用较为频繁，则对用户给出提示，请谨慎删除。通过查询逻辑卷的性能数据，如果存在读写带宽，说明逻辑卷正在使用，则禁止用户删除。此外为了防止出现不可预知的意外导致的用户信息丢失。对逻辑卷拍取快照。大规模逻辑卷下频繁拍取快照占用空间较大，因此每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
在步骤S120中，定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。方便用户定位逻辑卷错误原因。对于大规模卷下如何确保告警的较低资源占用，告警时效性，仍采用数据采集的信息降低监控采集的频率，降低系统资源消耗。
本发明实施例3提出的分布式集群逻辑卷数据管理介质，通过智能监控与数据库调优，极大的降低了数据库需要保存的数据量，从而节省了存储空间与查询等待时间，优化了用户操作界面的感受；通过对将历史数据和当前处理逻辑卷的状态进行对比，确保用户数据安全的同时降低系统资源消耗。通过快速告警与历史性能数据查看，用户可以更快定位逻辑卷存在的问题。
本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由处理器执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的分布式集群逻辑卷数据管理设备和存储介质中相关部分的说明可以参见本申请实施例1提供的分布式集群逻辑卷数据管理方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.分布式集群逻辑卷数据管理方法，其特征在于，包括以下步骤：
获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
2.根据权利要求2所述的分布式集群逻辑卷数据管理方法，其特征在于，所述方法还包括：定时采集获取历史数据中的异常数据，当采集到异常数据时及时报警。
3.根据权利要求1所述的分布式集群逻辑卷数据管理方法，其特征在于，所述磁盘参数包括起转重试次数，重新校准重试次数，启动、关闭循环次数，起转时长，启动停止次数，重新分配扇区计数读取错误率，寻道错误率升序。
4.根据权利要求3所述的分布式集群逻辑卷数据管理方法，其特征在于，所述针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集的过程为：
针对每个磁盘参数均从低到高对磁盘状况进行排序得到基于每个磁盘参数对应的磁盘状况序列，再将每个磁盘参数对应的磁盘状况系列相加得到总磁盘状况序列；
针对总磁盘状况序列设定第一阈值和第二阈值，且第一阈值小于第二阈值；对小于等于第一阈值磁盘下的逻辑卷每2个小时采集一次；对第一阈值和第二阈值中间磁盘下的逻辑卷每30分钟采集一次；对大于等于第二阈值磁盘下的逻辑卷每分钟采集一次。
5.根据权利要求4所述的分布式集群逻辑卷数据管理方法，其特征在于，所述方法还包括：
每间隔第一时间拍取大于等于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第一时间为10分钟；
每间隔第二时间拍取小于第二阈值磁盘下的逻辑卷的快照，当逻辑卷出现异常时能够及时回滚，保存数据；第二时间为1个小时。
6.根据权利要求1所述的分布式集群逻辑卷数据管理方法，其特征在于，所述查询历史数据中待删除逻辑卷的历史使用状态的方法为：以时间作为关键字，对时间字段建立索引，以加快查询速度。
7.根据权利要求6所述的分布式集群逻辑卷数据管理方法，其特征在于，所述根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除包括：
如果在最近一周内存在业务读取或写入，则对用户给出提示，谨慎删除；
查询逻辑卷的性能数据，如果存在读写带宽，则说明正在使用，则禁止删除。
8.分布式集群逻辑卷数据管理系统，其特征在于，包括采集调控模块和安全保护模块；
所述采集调控模块用于获取磁盘状态参数，针对每个参数对磁盘状况进行排序，对位于不同阈值范围的磁盘做不同频率的数据采集以获取历史数据；
所述安全保护模块用于接收删除逻辑卷的信息，首先查询历史数据中待删除逻辑卷的历史使用状态和待删除逻辑卷的当前使用状态；根据历史使用状态和当前使用状态判断是否执行逻辑卷的删除。
9.一种设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的方法步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210062973.2A CN114443224B (zh) | 2022-01-21 | 2022-01-21 | 分布式集群逻辑卷数据管理方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210062973.2A CN114443224B (zh) | 2022-01-21 | 2022-01-21 | 分布式集群逻辑卷数据管理方法、系统、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114443224A true CN114443224A (zh) | 2022-05-06 |
| CN114443224B CN114443224B (zh) | 2023-11-03 |
Family
ID=81367714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210062973.2A Active CN114443224B (zh) | 2022-01-21 | 2022-01-21 | 分布式集群逻辑卷数据管理方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114443224B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106302075A (zh) * | 2015-06-29 | 2017-01-04 | 联想(北京)有限公司 | 一种创建逻辑卷的方法及装置 |
| CN107066206A (zh) * | 2017-03-22 | 2017-08-18 | 佛山科学技术学院 | 一种分布式物理磁盘的存储控制方法、及系统 |
| CN107168645A (zh) * | 2017-03-22 | 2017-09-15 | 佛山科学技术学院 | 一种分布式系统的存储控制方法、及系统 |
| CN111309437A (zh) * | 2020-02-13 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种逻辑卷的异步删除方法、系统及装置 |
| CN111400112A (zh) * | 2020-03-18 | 2020-07-10 | 深圳市腾讯计算机系统有限公司 | 分布式集群的存储系统的写入方法、装置及可读存储介质 |
| CN113076217A (zh) * | 2021-04-21 | 2021-07-06 | 扬州万方电子技术有限责任公司 | 基于国产平台的磁盘故障预测方法 |
-
2022
- 2022-01-21 CN CN202210062973.2A patent/CN114443224B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106302075A (zh) * | 2015-06-29 | 2017-01-04 | 联想(北京)有限公司 | 一种创建逻辑卷的方法及装置 |
| CN107066206A (zh) * | 2017-03-22 | 2017-08-18 | 佛山科学技术学院 | 一种分布式物理磁盘的存储控制方法、及系统 |
| CN107168645A (zh) * | 2017-03-22 | 2017-09-15 | 佛山科学技术学院 | 一种分布式系统的存储控制方法、及系统 |
| CN111309437A (zh) * | 2020-02-13 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种逻辑卷的异步删除方法、系统及装置 |
| CN111400112A (zh) * | 2020-03-18 | 2020-07-10 | 深圳市腾讯计算机系统有限公司 | 分布式集群的存储系统的写入方法、装置及可读存储介质 |
| CN113076217A (zh) * | 2021-04-21 | 2021-07-06 | 扬州万方电子技术有限责任公司 | 基于国产平台的磁盘故障预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114443224B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3916557A1 (en) | Memory error processing method and device | |
| US20160283711A1 (en) | eMMC Monitoring Method and Apparatus | |
| CN103019890B (zh) | 一种块级别的磁盘数据保护系统及其方法 | |
| US8396840B1 (en) | System and method for targeted consistency improvement in a distributed storage system | |
| EP3287910A1 (en) | Data backup method and data processing system | |
| JP2017079053A (ja) | ストレージジャーナリングを改善する方法およびシステム | |
| CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
| CN109684271B (zh) | 快照数据管理方法、装置、电子设备及机器可读存储介质 | |
| US11182233B2 (en) | Method for event log management of memory errors and server computer utilizing the same | |
| US7574419B2 (en) | Automatic tuning of undo retention | |
| US8756200B2 (en) | Undo advisor | |
| CN114860487A (zh) | 一种内存故障识别方法及一种内存故障隔离方法 | |
| CN113590405A (zh) | 硬盘错误的检测方法、装置、存储介质和电子装置 | |
| CN112925672B (zh) | 数据恢复方法、装置、设备及存储介质 | |
| JP4526337B2 (ja) | データ管理システム及び方法 | |
| US11392510B2 (en) | Management method of cache files in storage space and recording device for storing cache files | |
| CN114443224B (zh) | 分布式集群逻辑卷数据管理方法、系统、设备和介质 | |
| Pinciroli et al. | The life and death of SSDs and HDDs: Similarities, differences, and prediction models | |
| CN116361111A (zh) | 一种数据获取方法、装置及电子设备 | |
| US20180137024A1 (en) | Non-intrusive performance monitor and service engine | |
| CN111797032B (zh) | 存储结构、方法、装置、设备及可读存储介质 | |
| CN114003612A (zh) | 针对数据库异常状况的处理方法及处理系统 | |
| US7082442B2 (en) | Method and system for resolving disarrangement in database | |
| CN113485872A (zh) | 故障处理方法、装置及分布式存储系统 | |
| CN114003477B (zh) | 慢盘诊断信息收集方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |