CN116627356B - 一种大容量存储数据的分布控制方法及系统 - Google Patents

一种大容量存储数据的分布控制方法及系统 Download PDF

Info

Publication number
CN116627356B
CN116627356B CN202310901687.5A CN202310901687A CN116627356B CN 116627356 B CN116627356 B CN 116627356B CN 202310901687 A CN202310901687 A CN 202310901687A CN 116627356 B CN116627356 B CN 116627356B
Authority
CN
China
Prior art keywords
storage
task
data
memory
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310901687.5A
Other languages
English (en)
Other versions
CN116627356A (zh
Inventor
李庭育
陈育鸣
王展南
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huacun Electronic Technology Co Ltd
Original Assignee
Jiangsu Huacun Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huacun Electronic Technology Co Ltd filed Critical Jiangsu Huacun Electronic Technology Co Ltd
Priority to CN202310901687.5A priority Critical patent/CN116627356B/zh
Publication of CN116627356A publication Critical patent/CN116627356A/zh
Application granted granted Critical
Publication of CN116627356B publication Critical patent/CN116627356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大容量存储数据的分布控制方法及系统，应用于数据处理技术领域，该方法包括：通过检查存储器集合的存储状态。读取窗口存储任务，结合存储状态进行存储器的适配任务评价，得到评价结果。读取待存储数据，获得待存储数据的基础存储信息和存储需求信息生成存储任务，随后对存储性能进行匹配分析，获得第一匹配分析结果。并对存储时限进行匹配分析，获得第二匹配分析结果。通过第一匹配分析结果和第二匹配分析结果进行匹配整合，输出待存储数据的存储控制结果，通过存储控制结果执行待存储数据的数据存储。解决了现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度缓慢的技术问题。

Description

一种大容量存储数据的分布控制方法及系统
技术领域
本发明涉及数据处理领域，尤其涉及一种大容量存储数据的分布控制方法及系统。
背景技术
随着数字经济的发展，需要被存储的数据越来越多，而作为数据存储的载体大容量存储设备被广泛应用于各类存储服务器中，一般而言大容量存储设备包含多个不同类别的存储器，用于对数据进行储存。然而，在现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度慢的问题。
因此，在现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度慢的技术问题。
发明内容
本申请通过提供一种大容量存储数据的分布控制方法及系统，解决了在现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度缓慢的技术问题。
本申请提供一种大容量存储数据的分布控制方法，所述方法应用于分布控制系统，所述分布控制系统与交互读取单元通信连接，所述方法包括：检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息；通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果；通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储。
本申请还提供了一种大容量存储数据的分布控制系统，所述系统与交互读取单元通信连接，所述系统包括：存储状态获取模块，用于检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；任务评价结果适配模块，用于读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；待存储数据信息获取模块，用于通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息；第一匹配分析结果获取模块，用于通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果；第二匹配分析结果获取模块，用于通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；数据存储模块，用于通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储。
本申请还提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的一种大容量存储数据的分布控制方法。
本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时,实现本申请实施例提供的一种大容量存储数据的分布控制方法。
拟通过本申请提出的一种大容量存储数据的分布控制方法及系统，通过检查存储器集合的存储状态。读取窗口存储任务，结合存储状态进行存储器的适配任务评价，得到评价结果。读取待存储数据，获得待存储数据的基础存储信息和存储需求信息生成存储任务，随后对存储性能进行匹配分析，获得第一匹配分析结果。并对存储时限进行匹配分析，获得第二匹配分析结果。通过第一匹配分析结果和第二匹配分析结果进行匹配整合，输出待存储数据的存储控制结果，通过存储控制结果执行待存储数据的数据存储。实现了对大容量存储设备内部分布式存储器在数据存储时的智能化管理和匹配，提高了数据存储的速度和效率。解决了现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度缓慢的技术问题。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地，下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本申请实施例提供的一种大容量存储数据的分布控制方法的流程示意图；
图2为本申请实施例提供的一种大容量存储数据的分布控制方法对第一匹配分析结果和第二匹配分析结果进行匹配整合的流程示意图；
图3为本申请实施例提供的一种大容量存储数据的分布控制方法执行待存储数据的数据存储的流程示意图；
图4为本申请实施例提供的一种大容量存储数据的分布控制方法的系统的结构示意图；
图5为本发明实施例提供的一种大容量存储数据的分布控制方法的系统电子设备的结构示意图。
附图标记说明：控制数据获取模块11，状态-参数匹配模型构建模块12，第一状态评价结果获取模块13，产品图像采集模块14，第二状态评价结果获取模块15，轧制控制参数获取模块16，处理器31，存储器32，输入装置33，输出装置34。
实施方式
实施例
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上，所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
如图1所示，本申请实施例提供了一种大容量存储数据的分布控制方法，所述方法应用于分布控制系统，所述分布控制系统与交互读取单元通信连接，所述方法包括：
S10：检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；
S20：读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；
具体的，大容量数据存储多通过存储器集合的形式进行数据存储，在存储器集合中包含不同类型的存储设备，如周转存储器、常规存储器。其中周转存储器存储为速度快、数据存储稳定，性能较好的存储器。常规存储器则性能较差，包括存储速度较慢但数据存储稳定的存储器、存储速度较快但数据存储不稳定的存储器，并且各个存储器均包含有数据重要程度标识等级，当存储数据重要程度超出重要程度标识等级时则对应的存储器性能无法满足该存储数据的存储要求。检查存储器集合的存储状态，即检查存储装置的剩余容量以及各存储器的性能参数及标识等级参数。随后，读取窗口存储任务中任务的剩余大小，以及对应的需求时间，其中窗口存储任务为正在执行的存储任务，且窗口存储任务存在对应的存储器。通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，适配各存储器在存储完窗口存储任务后的可存储任务大小，获得适配任务评价结果，在适配任务评价结果中包含各存储器的可存任务大小。
S30：通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息；
S40：通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果；
S50：通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；
S60：通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储。
具体的，通过交互读取单元进行待存储数据读取，获取待存储数据的基础存储信息和存储需求信息，其中待存储数据的基础存储信息包括数据量大小、数据重要程度等。所述存储需求信息为存储任务限定完成时间、任务紧急程度等。随后，通过基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，分析适配任务评价结果中各存储器的重要程度标识等级，筛选出不满足存储性能的存储器，得到第一匹配分析结果。进一步，通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，在获取各存储器的存储时限时对适配任务评价结果中执行即存存储任务或未执行存储任务的各存储器的可用读写速率进行获取，其中未执行存储任务的存储器的可用读写速率为存储器的标定读写速率，对于执行即存存储任务的存储器根据即存存储任务的剩余限定时间以及剩余数据量大小进行读写占用速率计算，并根据存储器的标定读写速率和读写占用速率进行做差得到可用读写速率。进一步，通过存储任务的数据量大小以及存储时限要求，计算存储任务的平均速率，当存储任务的平均速率小于可用读写速率时，则对应的存储器可以满足存储任务的时限要求。当存储任务的平均速率大于可用读写速率时，则对应的存储器可能无法满足存储任务的时限要求，需要对时限进行精确计算，通过计算即存存储任务在存储器的标定读写速率下的存储时间，以及存储任务在存储器的标定读写速率下的存储时间，对二者进行叠加进而得到存储任务的实际存储时间。进而判断存储任务的实际存储时间是否满足时限要求，当满足时则对应的存储器可以满足存储任务的时限需求。最后获取适配任务评价结果中满足时限需求的各存储器，获得第二匹配分析结果。最后，通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，求取第一匹配分析结果和所述第二匹配分析结果的交集存储器，输出待存储数据的存储控制结果，若匹配整合后存在多个存储器则优先选取常规存储器以及剩余容量较大的存储器。最后，通过所述存储控制结果执行所述待存储数据的数据存储。实现了对大容量存储设备内部分布式存储器在数据存储时的智能化管理和匹配，提高了数据存储的速度和效率。
如图2所示，本申请实施例提供的方法S60还包括：
S61：获得存储设备的设备实时状态信息；
S62：将所述即存存储任务和所述存储任务进行任务合并，通过所述设备实时状态信息对任务合并结果进行并发存储源执行分析，获得存储约束信息；
S63：通过所述存储约束信息对所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合。
具体的，获得存储设备的设备实时状态信息即设备当前的设备状态如温度、最高读写速率等，将所述即存存储任务和所述存储任务进行任务合并，实现即存存储任务和存储任务进行并发存储。随后通过所述设备实时状态信息对任务合并结果进行并发存储源执行分析，分析存储设备的设备实时状态下即存存储任务和所述存储任务各自的执行速率，并获得存储约束信息，用于对即存存储任务和所述存储任务各自的执行速率进行约束。最后，通过所述存储约束信息对所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合。
本申请实施例提供的方法S60还包括：
S64：设定空闲判定阈值；
S65：通过所述空闲判定阈值对所述存储设备进行空闲状态判定；
S66：当判定所述存储设备处于空闲状态时，则对已存数据执行迁移评价，其中，迁移评价指标包括调用频率、预约调用时限；
S67：通过迁移评价结果对所述存储器集合进行内部数据存储迁移。
具体的，设定空闲判定阈值，其中空闲判定阈值为存储设备的存储数据占比最低阈值，当小于空闲判定阈值时则对应的存储设备的存储数据占比较低，存储设备处于空闲状态。通过所述空闲判定阈值对所述存储设备进行空闲状态判定，当判定所述存储设备处于空闲状态时，则对存储设备中已存数据执行迁移评价，其中，迁移评价指标包括调用频率即存储数据的系统调用频率，调用频率越高对应的任务优先级越高、预约调用时限即进行预约迁移的时间限制，通过迁移评价指标完成对迁移评价结果的获取。通过迁移评价结果对所述存储器集合进行内部数据存储迁移，迁移评价结果中包含数据的调用频率，以及对应的预约调用时限，避免大量存储设备处于空闲状态，进而影响存储设备的使用寿命。
本申请实施例提供的方法S67还包括：
S671：通过所述第一匹配分析结果和所述第二匹配分析结果进行任务并发执行负荷分析；
S672：当任意时间节点的负荷分析结果满足预设负荷阈值时，则生成周转调用指令；
S673：通过所述周转调用指令重新进行任务分配，将常规存储器的存储任务调整为周转存储器的存储任务，并生成附加转存指令；
S674：基于所述存储设备的空闲状态判定结果和所述附加转存指令控制对所述周转存储器的存储内容进行转存处理。
具体的，通过所述第一匹配分析结果和所述第二匹配分析结果获取的匹配整合结果进行任务并发执行负荷分析。分析各存储设备在进行任务并发执行时的读写负荷情况。当任意时间节点的负荷分析结果满足预设负荷阈值时，此时存储设备在处理任务并发执行时的负荷较高，若存储设备长时间超负荷运行，则有可能导致存储设备损坏，则生成周转调用指令。通过所述周转调用指令重新进行任务分配，将常规存储器的存储任务调整为周转存储器的存储任务，并生成附加转存指令，其中附加转存指令用于对存储任务进行存储位置调整。基于所述存储设备的空闲状态判定结果和所述附加转存指令控制对所述周转存储器的存储内容进行转存处理。
本申请实施例提供的方法S67还包括：
S675：设定所述周转存储器的周转限定时间集合，其中，所述周转限定时间集合包括多状态下周转数据的限定转移时间；
S676：通过所述周转限定时间集合对所述周转存储器进行存储内容检测，基于检测结果生成顺序转移任务；
S677：通过所述顺序转移任务执行所述周转存储器内的临时存储内容转移。
具体的，设定周转存储器的周转限定时间集合，即设定周转存储器各存储任务的转移时间，其中，所述周转限定时间集合包括多状态下周转数据的限定转移时间，其中多状态为不同存储任务到达周转存储器的原因，如空闲判定状态的数据转移、存储设备长时间超负荷运行的数据转移等，不同的状态对应的周转数据的限定转移时间不同。通过所述周转限定时间集合对所述周转存储器进行存储内容检测，检测周转存储器存储内容对应的周转限定时间先后顺序，基于检测结果的周转限定时间先后顺序生成顺序转移任务。最后，通过顺序转移任务执行所述周转存储器内的临时存储内容转移。实现对周转存储器的动态存储转移，避免不同状态下的异常情况发生，导致数据损毁。
本申请实施例提供的方法S67还包括：
S678：设定内部存储调整的初始优先级分配权重；
S679：通过所述初始优先级分配权重对所述顺序转移任务和所述迁移评价结果进行逐个任务的任务加权比对；
S680：根据加权比对结果确定内存存储调整的任务顺序。
具体的，设定内部存储调整的初始优先级分配权重，即不同状态下的内部存储调整即各存储器之间的数据转存，存在一定的优先级权重。通过初始优先级分配权重对所述顺序转移任务和所述迁移评价结果进行逐个任务的任务加权比对，即按照顺序转移任务的排序进行优先级权重计算，并根据迁移评价结果中的调用频率进行权重计算，获取权重计算结果，并进行比对排序。最后，将加权比对结果确定内存存储调整的任务顺序，进而实现按照数据的权重级别进行存储任务的转移排序。
如图3所示，本申请实施例提供的方法S60还包括：
S70：基于所述存储需求信息进行存储重要程度判定；
S71：当确认所述待存储数据为重要存储数据时，则对所述待存储数据执行并行同步存储控制；
S72：当任意并行同步存储中的任一存储任务存储校验完成后，则删除另一存储任务。
具体的，基于存储需求信息进行存储重要程度判定，判定存储需求信息的重要程度等级。当存储需求信息的重要程度等级满足预设重要度等级阈值时，则待存储数据为重要存储数据，进而对所述待存储数据执行并行同步存储控制，即对待存储数据进行多个存储器同步存储控制。当任意并行同步存储中的任一存储任务存储校验完成后，则删除另一存储任务。
本发明实施例所提供的技术方案，通过检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器。读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果。通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息。通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果。通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果。通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储。通过对大容量存储设备内部分布式存储器在数据存储时的智能化管理和匹配，提高了数据存储的速度和效率。解决了现有技术中大容量存储设备数据存储控制方法智能化较低，导致数据存储效率低，存储进度缓慢的技术问题。
实施例
基于与前述实施例中一种大容量存储数据的分布控制方法同样发明构思，本发明还提供了一种大容量存储数据的分布控制方法的系统，系统可以由硬件和/或软件的方式来实现，一般可集成于电子设备中,用于执行本发明任意实施例所提供的方法。如图4所示，所述系统与交互读取单元通信连接，所述系统包括：
存储状态获取模块11，用于检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；
任务评价结果适配模块12，用于读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；
待存储数据信息获取模块13，用于通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息；
第一匹配分析结果获取模块14，用于通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果；
第二匹配分析结果获取模块15，用于通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；
数据存储模块16，用于通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储。
进一步地，所述数据存储模块16还用于：
获得存储设备的设备实时状态信息；
将所述即存存储任务和所述存储任务进行任务合并，通过所述设备实时状态信息对任务合并结果进行并发存储源执行分析，获得存储约束信息；
通过所述存储约束信息对所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合。
进一步地，所述数据存储模块16还用于：
设定空闲判定阈值；
通过所述空闲判定阈值对所述存储设备进行空闲状态判定；
当判定所述存储设备处于空闲状态时，则对已存数据执行迁移评价，其中，迁移评价指标包括调用频率、预约调用时限；
通过迁移评价结果对所述存储器集合进行内部数据存储迁移。
进一步地，所述数据存储模块16还用于：
通过所述第一匹配分析结果和所述第二匹配分析结果进行任务并发执行负荷分析；
当任意时间节点的负荷分析结果满足预设负荷阈值时，则生成周转调用指令；
通过所述周转调用指令重新进行任务分配，将常规存储器的存储任务调整为周转存储器的存储任务，并生成附加转存指令；
基于所述存储设备的空闲状态判定结果和所述附加转存指令控制对所述周转存储器的存储内容进行转存处理。
进一步地，所述数据存储模块16还用于：
设定所述周转存储器的周转限定时间集合，其中，所述周转限定时间集合包括多状态下周转数据的限定转移时间；
通过所述周转限定时间集合对所述周转存储器进行存储内容检测，基于检测结果生成顺序转移任务；
通过所述顺序转移任务执行所述周转存储器内的临时存储内容转移。
进一步地，所述数据存储模块16还用于：
设定内部存储调整的初始优先级分配权重；
通过所述初始优先级分配权重对所述顺序转移任务和所述迁移评价结果进行逐个任务的任务加权比对；
根据加权比对结果确定内存存储调整的任务顺序。
进一步地，所述数据存储模块16还用于：
基于所述存储需求信息进行存储重要程度判定；
当确认所述待存储数据为重要存储数据时，则对所述待存储数据执行并行同步存储控制；
当任意并行同步存储中的任一存储任务存储校验完成后，则删除另一存储任务。
所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例
图5为本发明实施例三提供的电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备的框图。图5显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图5所示，该电子设备包括处理器31、存储器32、输入装置33及输出装置34；电子设备中处理器31的数量可以是一个或多个，图5中以一个处理器31为例，电子设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种大容量存储数据的分布控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述一种大容量存储数据的分布控制方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种大容量存储数据的分布控制方法，其特征在于，所述方法应用于分布控制系统，所述分布控制系统与交互读取单元通信连接，所述方法包括：
检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；
读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；
通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息，所述待存储数据的基础存储信息包括数据量大小、数据重要程度，所述存储需求信息为存储任务限定完成时间、任务紧急程度；
通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果，其中，所述即存存储表示即将要进行存储的存储任务信息，即处于等待状态的存储任务信息；
通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；
通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储；
通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，包括：
获得存储设备的设备实时状态信息；
将所述即存存储任务和所述存储任务进行任务合并，通过所述设备实时状态信息对任务合并结果进行并发存储源执行分析，获得存储约束信息；
通过所述存储约束信息对所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
设定空闲判定阈值；
通过所述空闲判定阈值对所述存储设备进行空闲状态判定；
当判定所述存储设备处于空闲状态时，则对已存数据执行迁移评价，其中，迁移评价指标包括调用频率、预约调用时限；
通过迁移评价结果对所述存储器集合进行内部数据存储迁移。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
通过所述第一匹配分析结果和所述第二匹配分析结果进行任务并发执行负荷分析；
当任意时间节点的负荷分析结果满足预设负荷阈值时，则生成周转调用指令；
通过所述周转调用指令重新进行任务分配，将常规存储器的存储任务调整为周转存储器的存储任务，并生成附加转存指令；
基于所述存储设备的空闲状态判定结果和所述附加转存指令控制对所述周转存储器的存储内容进行转存处理。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
设定所述周转存储器的周转限定时间集合，其中，所述周转限定时间集合包括多状态下周转数据的限定转移时间；
通过所述周转限定时间集合对所述周转存储器进行存储内容检测，基于检测结果生成顺序转移任务；
通过所述顺序转移任务执行所述周转存储器内的临时存储内容转移。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
设定内部存储调整的初始优先级分配权重；
通过所述初始优先级分配权重对所述顺序转移任务和所述迁移评价结果进行逐个任务的任务加权比对；
根据加权比对结果确定内存存储调整的任务顺序。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述存储需求信息进行存储重要程度判定；
当确认所述待存储数据为重要存储数据时，则对所述待存储数据执行并行同步存储控制；
当任意并行同步存储中的任一存储任务存储校验完成后，则删除另一存储任务。
7.一种大容量存储数据的分布控制系统，其特征在于，所述系统与交互读取单元通信连接，所述系统包括：
存储状态获取模块，用于检查存储器集合的存储状态，其中，所述存储器集合包括周转存储器和常规存储器；
任务评价结果适配模块，用于读取窗口存储任务，通过所述窗口存储任务和所述存储状态进行所述存储器集合的中各存储器的适配任务评价，获得适配任务评价结果；
待存储数据信息获取模块，用于通过所述交互读取单元进行待存储数据读取，获得待存储数据的基础存储信息和存储需求信息，所述待存储数据的基础存储信息包括数据量大小、数据重要程度，所述存储需求信息为存储任务限定完成时间、任务紧急程度；
第一匹配分析结果获取模块，用于通过所述基础存储信息和所述存储需求信息生成存储任务，通过即存存储任务和所述存储任务进行所述适配任务评价结果的任务存储性能匹配分析，获得第一匹配分析结果，其中，所述即存存储表示即将要进行存储的存储任务信息，即处于等待状态的存储任务信息；
第二匹配分析结果获取模块，用于通过即存存储任务和所述存储任务进行所述适配任务评价结果的存储时限匹配分析，获得第二匹配分析结果；
数据存储模块，用于通过所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合，输出所述待存储数据的存储控制结果，通过所述存储控制结果执行所述待存储数据的数据存储；
所述数据存储模块还用于：
获得存储设备的设备实时状态信息；
将所述即存存储任务和所述存储任务进行任务合并，通过所述设备实时状态信息对任务合并结果进行并发存储源执行分析，获得存储约束信息；
通过所述存储约束信息对所述第一匹配分析结果和所述第二匹配分析结果进行匹配整合。
8.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至6任一项所述的一种大容量存储数据的分布控制方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的一种大容量存储数据的分布控制方法。
CN202310901687.5A 2023-07-21 2023-07-21 一种大容量存储数据的分布控制方法及系统 Active CN116627356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310901687.5A CN116627356B (zh) 2023-07-21 2023-07-21 一种大容量存储数据的分布控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310901687.5A CN116627356B (zh) 2023-07-21 2023-07-21 一种大容量存储数据的分布控制方法及系统

Publications (2)

Publication Number Publication Date
CN116627356A CN116627356A (zh) 2023-08-22
CN116627356B true CN116627356B (zh) 2023-11-14

Family

ID=87602909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310901687.5A Active CN116627356B (zh) 2023-07-21 2023-07-21 一种大容量存储数据的分布控制方法及系统

Country Status (1)

Country Link
CN (1) CN116627356B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116956363B (zh) * 2023-09-20 2023-12-05 微网优联科技(成都)有限公司 一种基于云电脑技术的数据管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347675A (zh) * 2019-06-05 2019-10-18 阿里巴巴集团控股有限公司 一种数据存储方法及装置
CN113297162A (zh) * 2020-12-09 2021-08-24 苏州律点信息科技有限公司 一种基于云计算的数据存储方法及装置
CN113438110A (zh) * 2021-06-23 2021-09-24 曙光信息产业(北京)有限公司 一种集群性能的评价方法、装置、设备及存储介质
CN115686346A (zh) * 2021-07-29 2023-02-03 腾讯科技（深圳）有限公司 一种数据存储方法、设备及计算机可读存储介质
CN115840543A (zh) * 2023-02-28 2023-03-24 浪潮电子信息产业股份有限公司 一种数据分层存储方法、装置、设备及存储介质
CN115952544A (zh) * 2023-01-10 2023-04-11 青岛谦和祥瑞智能科技有限公司 一种基于大数据的智能存储系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347675A (zh) * 2019-06-05 2019-10-18 阿里巴巴集团控股有限公司 一种数据存储方法及装置
CN113297162A (zh) * 2020-12-09 2021-08-24 苏州律点信息科技有限公司 一种基于云计算的数据存储方法及装置
CN113438110A (zh) * 2021-06-23 2021-09-24 曙光信息产业(北京)有限公司 一种集群性能的评价方法、装置、设备及存储介质
CN115686346A (zh) * 2021-07-29 2023-02-03 腾讯科技（深圳）有限公司 一种数据存储方法、设备及计算机可读存储介质
CN115952544A (zh) * 2023-01-10 2023-04-11 青岛谦和祥瑞智能科技有限公司 一种基于大数据的智能存储系统
CN115840543A (zh) * 2023-02-28 2023-03-24 浪潮电子信息产业股份有限公司 一种数据分层存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116627356A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110727512B (zh) 集群资源调度方法、装置、设备及储存介质
CN116627356B (zh) 一种大容量存储数据的分布控制方法及系统
US20070195356A1 (en) Job preempt set generation for resource management
CN113228574A (zh) 计算资源调度方法、调度器、物联网系统和计算机可读介质
CN109150759B (zh) 一种渐进式非阻塞机会资源预留方法及系统
CN112650449B (zh) 缓存空间的释放方法、释放系统、电子设备及存储介质
CN113553175A (zh) 面向交通数据流的最优排序算法选择方法
CN112948113A (zh) 一种集群资源管理调度方法、装置、设备及可读存储介质
CN117234733A (zh) 一种分布式系统任务分配方法、系统、存储介质及设备
CN116820729A (zh) 离线任务调度方法、装置及电子设备
CN111143063A (zh) 任务的资源预约方法及装置
CN116881003A (zh) 资源分配方法、装置、服务设备及存储介质
CN115203177B (zh) 一种分布式数据存储系统及存储方法
CN110928649A (zh) 资源调度的方法和装置
CN110851286B (zh) 线程管理方法、装置、电子设备及存储介质
CN107832265A (zh) 基于状态感知的desktop的CPU负载预测方法
CN116450328A (zh) 内存分配方法、装置、计算机设备和存储介质
CN114489970A (zh) Kubernetes中利用Coscheduling插件实现队列排序的方法及系统
CN112540842A (zh) 动态调整系统资源的方法及装置
CN115686803B (zh) 一种调度策略动态加载的计算任务管理系统、方法和装置
CN112685158B (zh) 一种任务调度方法、装置、电子设备及存储介质
CN116431327B (zh) 一种任务限流处理方法及堡垒机
CN117492918A (zh) 一种容器迁移处理方法及装置
CN115391043A (zh) 一种应用创建方法、装置、设备及计算机可读存储介质
CN117591256A (zh) 自动驾驶任务调度方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant