CN116956363B - 一种基于云电脑技术的数据管理方法及系统 - Google Patents

一种基于云电脑技术的数据管理方法及系统 Download PDF

Info

Publication number
CN116956363B
CN116956363B CN202311216146.5A CN202311216146A CN116956363B CN 116956363 B CN116956363 B CN 116956363B CN 202311216146 A CN202311216146 A CN 202311216146A CN 116956363 B CN116956363 B CN 116956363B
Authority
CN
China
Prior art keywords
data
storage
account
reading
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311216146.5A
Other languages
English (en)
Other versions
CN116956363A (zh
Inventor
梁邦领
刘梦雅
曾毅
王路明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microgrid Union Technology Chengdu Co ltd
Original Assignee
Microgrid Union Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microgrid Union Technology Chengdu Co ltd filed Critical Microgrid Union Technology Chengdu Co ltd
Priority to CN202311216146.5A priority Critical patent/CN116956363B/zh
Publication of CN116956363A publication Critical patent/CN116956363A/zh
Application granted granted Critical
Publication of CN116956363B publication Critical patent/CN116956363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于云电脑技术的数据管理方法及系统,属于数据处理领域,其中方法包括:连接云电脑的电脑登录账户,进行账户等级读取,生成初始数据管理约束;对账户进行登录数据的数据交互读取,构建已存储数据调用标签;解析账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储;读取账户的预约数据,进行预约解析,根据解析结果匹配转移存储器;进行预约数据的转移存储。本申请解决了现有云计算数据管理技术管理效率低下的技术问题,达到了实现云计算数据的自动精确分类、高效存储和智能管理的技术效果。

Description

一种基于云电脑技术的数据管理方法及系统
技术领域
本发明涉及数据处理领域,具体涉及一种基于云电脑技术的数据管理方法及系统。
背景技术
随着云计算技术的发展,云存储的数据量呈爆炸式增长。现有的云计算数据管理技术主要依靠制定的固定分类和存储规则对数据进行分类和管理,这种管理方式效率低下,无法保证数据分类的准确性和实效性,也无法适应数据增长的速度,严重制约了云计算数据资源的利用率和价值发掘。
发明内容
本申请通过提供了一种基于云电脑技术的数据管理方法及系统,旨在解决现有云计算数据管理技术管理效率低下的技术问题。
鉴于上述问题,本申请提供了一种基于云电脑技术的数据管理方法及系统。
本申请公开的第一个方面,提供了一种基于云电脑技术的数据管理方法,该方法包括:连接云电脑的电脑登录账户,对账户进行账户等级读取,生成初始数据管理约束;对账户进行登录数据的数据交互读取,构建账户的已存储数据调用标签;解析账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;通过已存储数据调用标签对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储;读取账户的预约数据,基于预约数据进行预约解析,根据解析结果匹配转移存储器;根据转移存储器进行预约数据的转移存储。
本申请公开的另一个方面,提供了一种基于云电脑技术的数据管理系统,该系统包括:管理约束生成模块,用于连接云电脑的电脑登录账户,对账户进行账户等级读取,生成初始数据管理约束;数据交互读取模块,用于对账户进行登录数据的数据交互读取,构建账户的已存储数据调用标签;存储类型聚类模块,用于解析账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;数据分类存储模块,用于通过已存储数据调用标签对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储;数据预约解析模块,用于读取账户的预约数据,基于预约数据进行预约解析,根据解析结果匹配转移存储器;数据转移存储模块,用于根据转移存储器进行预约数据的转移存储。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了连接云电脑的电脑登录账户,对账户进行账户等级读取,生成初始数据管理约束,为后续的数据管理提供基础;对账户进行登录数据的数据交互读取,构建账户的已存储数据调用标签,通过解析账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果,实现了对存储数据的分类识别与管理;通过已存储数据调用标签对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储,实现了存储数据高效准确的分类存储;读取账户的预约数据,基于预约数据进行预约解析,根据解析结果匹配转移存储器;根据转移存储器进行预约数据的转移存储,实现预约数据的准确转移与存储的技术方案,解决了现有云计算数据管理技术管理效率低下的技术问题,达到了实现云计算数据的自动精确分类、高效存储和智能管理的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种基于云电脑技术的数据管理方法可能的流程示意图;
图2为本申请实施例提供了一种基于云电脑技术的数据管理方法中进行已存储数据的分类存储可能的流程示意图;
图3为本申请实施例提供了一种基于云电脑技术的数据管理方法中进行临时存储器内的存储数据转移可能的流程示意图;
图4为本申请实施例提供了一种基于云电脑技术的数据管理系统可能的结构示意图。
附图标记说明:管理约束生成模块11,数据交互读取模块12,存储类型聚类模块13,数据分类存储模块14,数据预约解析模块15,数据转移存储模块16。
具体实施方式
本申请提供的技术方案总体思路如下:
本申请实施例提供了一种基于云电脑技术的数据管理方法及系统。首先,连接云电脑的电脑登录账户,对账户进行账户等级读取,生成初始数据管理约束,为后续的数据管理提供基础。其次,对账户进行登录数据的数据交互读取,构建账户的已存储数据调用标签,通过解析账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果,实现了对存储数据的分类识别与管理。再次,通过已存储数据调用标签对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储,实现了存储数据高效准确的分类存储。最后,读取账户的预约数据,基于预约数据进行预约解析,根据解析结果匹配转移存储器;根据转移存储器进行预约数据的转移存储,实现预约数据的准确转移与存储。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一:
如图1所示,本申请实施例提供了一种基于云电脑技术的数据管理方法,该方法包括:
步骤S100:连接云电脑的电脑登录账户,对所述账户进行账户等级读取,生成初始数据管理约束;
具体而言,云计算平台提供的云计算资源按照等级划分,不同等级的云计算资源具有不同的计算性能、存储容量和网络带宽等。为了对用户数据进行分类管理,先读取用户的账户等级信息,该信息表征用户的云计算资源的等级,从而确定用户数据管理的初始约束。
用户在云计算平台注册并定制一定等级的云计算资源,云计算平台会根据用户需求为用户分配标识用户账户等级的账户信息。在进行用户数据管理时,先读取用户账户的账户等级信息,然后,根据账户等级信息,确定用户购买的云计算资源的性能和容量,从而生成用户数据管理的初始约束,如用户可使用的存储空间大小、网络带宽、每日访问频率限制等,有助于对用户数据进行分类存储和访问控制。
通过连接用户的云计算账户并读取账户等级信息的方式,为用户数据的后续管理提供了基本的约束和参考依据。不同等级的用户账户对应不同的初始数据管理约束,有助于云计算平台针对不同用户提供定制化的数据管理服务。
步骤S200:对所述账户进行登录数据的数据交互读取,构建所述账户的已存储数据调用标签;
具体而言,为了对用户数据进行分类管理,除了读取用户账户等级信息外,还需要分析用户与存储数据的交互情况,以构建用户数据的调用标签。
云计算平台记录用户登录及访问存储数据的相关信息,如用户访问某条存储数据的时间、频率等。云计算平台通过读取这些登录数据交互信息,可以检测到用户调用和访问存储数据的情况。根据检测结果,可构建用户存储数据的调用标签,调用标签至少包括数据调用频率和数据重要程度两个方面。其中,数据调用频率通过记录用户访问某条存储数据的时间和次数计算得到,调用频率越高的数据,表明其重要程度越高,应该存储在性能更高、更易访问的存储介质中;数据重要程度由用户在存储数据时主观指定,也可以通过分析用户实际访问行为方式计算得出,重要程度高的数据应存储在性能更高、更耐久的存储介质中,并备份多份以防数据丢失。
通过构建用户存储数据的调用标签,为下一步对用户数据进行分类存储提供依据。调用标签综合反映用户数据的重要性特征,云计算平台据此可选择合适的存储介质来存储特定数据,为用户提供分类而精细的数据管理服务。
步骤S300:解析所述账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;
具体而言,为了进一步对用户数据进行分类管理,解析用户账户关联的全部存储数据,并根据数据属性进行类型聚类,获得聚类结果。
首先,读取用户账户关联的全部存储数据,包括用户账户下的所有存储空间、存储对象、数据库表、文件等,获得用户存储的全部原始数据。然后,对每个存储数据,云计算平台分析其格式、内容、元数据等属性信息;如区分数据库表和文件、XML数据和JSON数据的区别,分析文件扩展名区分文本文件、图片文件、视频文件等,分析文件元数据中的MIME类型等。接着,将具有相同或相似属性的存储数据分类为一类,如所有数据库表分类为结构化数据,所有文本文件分类为非结构化数据中的文本类,所有图片文件分类为非结构化数据中的图像类,以此类推。随后,统计每个类型的数据有多少,计算每个类型的数据所占的百分比,获得类型聚类的结果,如60%为结构化数据,20%为文本文件,15%为视频文件,5%为音频文件等。同时,随着用户后续向账户中存储更多数据,云计算平台需要持续分析新存储数据的属性,并将其分类到相应的类别,同时更新各类型数据的统计结果,使类型聚类结果保持最新和准确。
通过解析用户账户的关联存储数据,分析每个存储数据的属性,根据属性信息将其分类到相应的类别,并通过统计不同类型数据的数量得出类型聚类的结果,可以准确理解用户存储的全部数据情况,从而为提供分类精细化的数据管理服务奠定基础。
步骤S400:通过所述已存储数据调用标签对所述类型聚类结果进行聚类分割,根据聚类分割结果和所述初始数据管理约束执行已存储数据的分类存储;
具体而言,获得用户存储数据的类型聚类结果后,需要进一步根据数据调用标签对各类型数据进行划分,得到数据的聚类分割结果。然后根据聚类分割结果以及初始的管理约束,选择最优方案存储不同类别的数据。
首先,分析调用标签,将调用频率高和重要程度高的数据分类为热数据和要素数据;调用频率和重要程度一般的数据分类为一般数据;调用频率低和重要程度低的数据分类为冷数据。然后,根据类型聚类结果,进一步将不同类型的数据划分到热数据、要素数据、一般数据和冷数据等类别。如频繁访问的数据库表数据划分为热数据;重要的合同文件划分为要素数据;日常的文本文件划分为一般数据;较旧的日志文件划分为冷数据。随后,参考用户的初始数据管理约束,如存储空间大小、网络带宽、访问频率限制等,选择最合适的存储方案对各类别数据进行分类存储。例如,存储空间较大、访问频率较高的数据,如热数据,存储在高性能云数据库中;安全性和可靠性要求较高的数据,如要素数据,存储在对象存储中,并备份到本地;成本敏感但存储需求一般的数据,如一般数据,存储在云硬盘中;存储需求较大但很少访问的数据,如冷数据,存储在成本最低的归档存储中。同时,持续监控用户的数据调用情况和存储需求,对数据的类别划分和存储方案进行动态调整,使分类存储方案始终达到最优。如某些冷数据被频繁访问,应将其划分为热数据并迁移至云数据库;某些要素数据的重要程度下降,可以取消本地备份等。
通过调用标签、类型聚类结果和初始管理约束结合,实现对用户全部存储数据的多维分类和存储管理。同时,随着数据特征和存储需求的变化,及时调整类别划分和存储方案,能确保分类存储方案的持续最优,为用户提供高度定制化的数据管理方案。
步骤S500:读取所述账户的预约数据,基于所述预约数据进行预约解析,根据解析结果匹配转移存储器;
具体而言,为了进一步优化数据分类存储,云计算平台对用于账户的预约数据进行读取,并对预约数据进行解析,并根据解析结果选择对应的转移存储介质。
首先,读取用户账户的预约数据,如用户通过云计算平台控制台或数据管理系统的API提交的数据迁移申请,数据归档申请或数据删除申请等。这些申请表明用户对存储数据的管理意图。然后,对预约数据进行解析,理解用户的管理意图。如数据迁移申请表明用户需要将某些存储数据从当前存储介质迁移到另一存储介质;数据归档申请表明用户需要将某些不频繁访问的数据归档至长期低成本存储;数据删除申请表明用户需要将某些存储数据删除。接着,根据解析结果选择匹配的转移存储器。如对数据迁移申请,选择将源数据存储的介质作为转出存储器,用户申请迁移至的存储介质作为转入存储器;对数据归档申请,选择正常存储作为转出存储器,归档存储作为转入存储器;对数据删除申请,选择需要删除数据的存储介质作为转出存储器。
通过分析用户预约数据中的管理意图,选择匹配的转移存储器进行数据的迁移、归档或删除,从而实现通过用户意图驱动,提供高度自动化的个性化数据管理服务。
步骤S600:根据所述转移存储器进行所述预约数据的转移存储。
具体而言,根据确定的转移存储器,如转出存储器和转入存储器,读取需要转移的存储数据。如需要将数据从云硬盘转移至对象存储,则读取云硬盘中对应的存储数据;需要将数据从对象存储转移至归档存储,则读取对象存储中的存储数据。随后,启动数据转移过程,将存储数据从转出存储器转移至转入存储器。在数据迁移完成后,对转出存储器中对应的数据进行删除或移除,释放存储资源。如从云硬盘向对象存储迁移数据后,从云硬盘中删除迁移的数据;从对象存储向归档存储归档数据后,从对象存储中移除归档的数据条目。随后,更新数据信息,在转入存储器中对应存储数据的元数据信息中标注数据来源、迁移时间等信息,方便数据生命周期的管理和跟踪。同时,持续监控存储数据的访问情况,如果转移至归档存储的数据再次被频繁访问,对其进行回溯,将数据从归档存储中检索出来,并存储到更适合频繁访问的存储介质中,如对象存储或云数据库中。
通过基于选择的转移存储器,对相应存储数据进行转移存储操作,实现用户预约的数据管理任务,提供自动化的数据迁移和生命周期管理功能,最大限度地减轻用户管理成本,满足对数据生命周期的个性化管理需求。
进一步的,如图2所示,本申请实施例还包括:
步骤S410:读取云端存储器的存储器信息,依据所述存储器信息进行存储器等级重构;
步骤S420:通过所述初始数据管理约束进行重构后的存储器等级匹配,获得匹配结果;
步骤S430:对所述账户进行数据的存储占用识别,生成占用约束数据;
步骤S440:依据所述占用约束数据对所述匹配结果进行宽容扩充,根据宽容扩充结果进行已存储数据的分类存储。
具体而言,云计算平台根据存储器信息对存储介质进行等级重构,并通过初始管理约束和数据占用情况进行存储器匹配,选择最优的存储方案对用户数据进行分类存储。
首先,云计算平台收集云数据库、对象存储、云硬盘、归档存储等各存储介质的详细信息,包括各存储的性能指标、容量信息、成本参数及其他介质属性。其中,性能指标包括读写吞吐量、IOPS、延迟等;容量信息为单位成本支持的最大存储容量;成本参数包括存储、网络、读写请求的单价;其他约束包括数据备份策略、最大文件大小、访问频率限制等。随后,根据性能指标对存储介质进行高、中、低等级划分。如高性能存储(云数据库)、中性能存储(对象存储)、低性能存储(云硬盘、归档存储)。接着,根据容量信息和成本参数进一步划分存储等级。如高容量/低成本存储(归档存储)、中容量/中成本存储(云硬盘)、低容量/高成本存储(对象存储)。然后,根据其他约束信息补充划分存储器等级。如考虑数据备份策略,本地硬盘可以划分为应用数据备份等级;考虑访问频率,对象存储可以划分为高频存储等级和一般存储等级。最终重构出包括高性能存储等级、高频存储等级、高安全存储等级、大容量存储等级、低成本归档存储等级等不同等级的存储器等级体系。
之后,根据用户数据管理的初始约束,如用户购买的云计算资源能力、用户合同约定的服务指标等,与重构后的存储器等级进行匹配,选择满足初始约束的存储方案。随后,读取用户账户下所有的存储数据,包括云数据库中的表/行数据、对象存储和云硬盘中的文件、归档存储中的归档对象等;分析每个存储数据占用的存储空间大小,其中,对结构化数据,统计表和行的数据量;对非结构化数据,统计每个文件的大小。接着,对存储数据按空间占用进行排序,生成占用大小排序列表。列表中靠前的存储数据占用空间较大。然后,根据列表中前几名的存储数据占用大小,确定用户账户对存储容量的整体占用需求。如列表前5名的存储数据即占用总空间的80%,则用户对大容量存储的需求较大。如果单个存储数据的大小远超平均值,也表明用户对大文件存储或海量数据存储的需求较大。如最大的单个文件占总空间的50%,则用户对超大文件存储的支持较为重要。综合占用大小排序列表和单文件占用情况,生成用户数据存储占用的约束数据。
然后,根据用户数据占用的约束数据,判断用户对大容量存储、海量数据存储以及超大文件存储的需求。如需求较大,则需要对获得的存储器匹配结果进行扩充,选择更高等级的存储方案,以满足用户的实际存储需求。如果用户对超大文件存储的需求较大,则选择支持较大单文件存储的存储介质,如对象存储,作为存储方案的扩充选项。如果用户对海量数据存储的需求较大,则选择更大容量的存储介质,如归档存储,作为扩充选项。同时,根据存储约束条件,过滤扩充选项,选择符合条件的存储介质。如需要支持较大文件存储,且成本敏感,则过滤掉云数据库等高端存储方案,选择对象存储作为扩充选项。继而,将扩充的存储选项融入到获得的存储器匹配结果中,构成宽容扩充的存储匹配方案。例如,对象存储作为主要存储扩展方案,云硬盘作为次要方案融入原有结果。最后,根据宽容扩充后的存储匹配方案,选择最优的存储介质对用户数据进行分类存储。如大部分数据存储到对象存储,成本较高和访问频率较大的数据存储到云数据库,归档数据存储到归档存储等。
通过读取存储器信息重构存储器等级、比较初始约束获得匹配结果、识别数据占用生成占用信息、根据占用信息扩充匹配结果,可以选择最适合用户实际数据存储占用与访问特征的方案进行分类存储,实现数据的精细化的存储管理,为用户提供高度个性化的存储服务。
进一步的,本申请实施例还包括:
步骤S610:读取所述云端存储器的存储负荷,生成负荷存储约束;
步骤S620:读取分类存储的存储进度数据,并依据所述存储进度数据和所述负荷存储约束生成临时存储响应;
步骤S630:基于所述临时存储响应和所述存储负荷匹配临时存储器;
步骤S640:将带有临时存储响应标识的存储数据存储至所述临时存储器。
具体而言,通过监测云端存储器的存储负荷,并根据分类存储进度生成临时存储响应,选择临时存储器进行数据溢出存储,防止存储负荷过重。
首先,持续监测各存储介质(云数据库、对象存储、云硬盘等)的存储负荷,如存储利用率、带宽利用率、IOPS利用率等,当某存储介质的负荷超过预定阈值,生成负荷存储约束,表明该存储介质存在存储压力或风险。接着,读取用户存储数据分类存储的进度,如30%的数据已存储到对象存储,20%的数据已存储到云数据库。如果对象存储存在存储压力,则该进度数据表明后续还有较多数据需要存储到对象存储。根据进度数据和对象存储的负荷存储约束,生成临时存储响应,建议对对象存储的数据进行临时溢出存储。
然后,云计算平台根据临时存储响应,选择其他闲余存储介质作为临时存储器进行数据溢出存储,如将部分对象存储数据临时存储到云硬盘或归档存储。选择的临时存储器需要满足对超额数据提供足够的存储空间和性能。随后,将数据存入临时存储器的数据带上标识,表明数据临时存储在该临时存储器中,当对象存储的存储负荷降低至正常水平,云计算平台自动迁移临时存储的数据至对象存储,释放临时存储器资源。
通过及时监测各存储介质的负荷变化,动态选择闲余存储介质作为临时存储器,将超额数据进行溢流存储,有效防止某一存储介质的存储压力过大,保证整体存储平台的性能稳定。同时,数据的临时存储是透明的,不需要用户参与或操作,云平台会在适当时候自动迁移数据至正规存储位置,不影响用户的数据使用和管理,提高用户体验。
进一步的,如图3所示,本申请实施例还包括:
步骤S651:对所述云端存储器进行连续负荷监测,生成监测参考数据;
步骤S652:读取所述云端存储器的历史存储数据,通过所述历史存储数据生成辅助参考数据;
步骤S653:基于所述监测参考数据和所述辅助参考数据进行所述云端存储器的闲时预测,生成闲时预测结果;
步骤S654:通过所述闲时预测结果进行所述临时存储器内的存储数据转移。
具体而言,定期检索云端存储器的使用状态,如当前存储使用量、输入/输出流量等。这些使用状态代表云端存储器的实时存储负荷,系统定期(如每隔1分钟)检索一次云端存储器的使用状态,并保存这些监测数据,构成监测参考数据。
云端存储器会保留一定时间范围内的历史使用数据,系统可以直接读取这些历史存储数据。例如可读取最近1个月内每天的存储使用量、流量等,以生成每日存储使用周期曲线,预测存储负荷周期变化。然后,根据云端存储器的历史存储数据,有针对性地分析这些数据以生成不同类型的辅助参考数据。例如,根据历史负荷周期曲线,判断存储负荷变化周期;获取用户访问热点,判断用户访问高峰时段;比较实时存储负荷是否处于高负荷状态等。
然后,分析实时监测参考数据,判断实时监测参考数据是否处于辅助参考数据中的额低负荷状态。如果实时存储负荷较低,那么当前时间段为是云存储器的闲时段,得到闲时预测结果。最后,在所预测的云端存储器闲时期,将部分存储数据从云端存储器迁移至临时存储器,以缓解云端存储器的存储空间,达到负荷均衡的目的。
通过充分考虑云端存储器的历史使用情况,准确预测出云端存储器的闲时期,并在这段时间内选择将数据迁移至临时存储器,有效减小了云端存储器的存储压力,改善了系统的整体性能。
进一步的,本申请实施例还包括:
步骤S210:构建标准时间轴,根据数据交互读取结果进行存储数据的调用检测,生成调用检测结果;
步骤S220:依据所述标准时间轴生成所述调用检测结果的时间关联;
步骤S230:通过所述时间关联进行所述调用检测结果的频率加权计算,生成调用频率数据;
步骤S240:将所述调用频率数据作为所述已存储数据调用标签。
具体而言,首先,建立一组固定的时间点或时间段作为标准时间轴。例如,对存储数据调用过程中的总时间进行均匀划分,如划分为每天早上、中午、晚上等时间段,每个时间段作为一个标准时间轴的时间段。然后,分析存储数据的历史访问日志,检测在每个标准时间轴的时间段内,存储数据的访问次数,生成调用检测结果。
然后,采用移动窗口的方式,统计标准时间轴上多个相邻时间点或时间段内的调用情况,如最近前后4个时间段的调用次数的平均值,作为某时间段的调用检测结果的时间关联结果。随后,对调用检测结果进行频率加权计算,即根据不同时间轴的重要性设置不同的权重,与时间轴上的调用频率进行加权运算,生成存储数据的调用频率分布数据,以更加准确地反映存储资源的实际调用情况,为存储资源的调度优化等提供支撑数据依据。最后,将得到的存储数据调用频率数据,确定为相应存储数据被调用的标签,用于表示存储数据的调用热度特征。
通过构建标准时间轴,生成存储数据调用检测结果与时间的关联,并进行频率加权计算,最终确定存储数据调用标签,实现基于存储数据调用频率的存储数据调用标签生成。
进一步的,本申请实施例还包括:
步骤S251:根据数据交互读取结果进行存储数据的数据安全等级读取,构建安全等级标签;
步骤S252:解析所述数据交互读取结果,构建存储数据之间的存储和调用关联,通过存储和调用关联构建关联标签;
步骤S253:获得存储数据的数据大小标签,通过所述调用频率数据、所述安全等级标签、所述关联标签和所述大小标签构建所述已存储数据调用标签。
具体而言,首先,收集各存储设备之间的读写交互信息,这些信息反映存储数据之间的关联强度。例如,记录某时间段内某存储设备读写其他存储设备的数据量、频率等。然后,分析这些交互信息,判断存储数据的重要性和敏感性。例如,如果某存储数据频繁与关键业务数据交互,其安全等级较高;如果某存储数据很少与其他数据交互,其安全等级较低。接着,根据重要性和敏感性,将存储数据划分为不同的安全等级,如“高”“中”“低”三个等级。其中,“高”表示数据敏感且重要,“中”表示数据一般,“低”表示数据不太敏感和重要。同时,为不同安全等级的存储数据打上对应的安全等级标签。例如,将安全等级为“高”的存储数据打上标签“H”;将安全等级为“中”的存储数打上标签“M”;将安全等级为“低”的存储数据打上标签“L”。
然后,构建存储数据之间的存储和调用关联。例如,统计不同存储设备之间读写操作的次数和数据量,设备之间的读写次数和数据量越高,表示这两个存储设备之间的数据关联越强。如果两个存储设备在固定的时间周期内有较高频次的读写交互,表明它们之间存在较强的关联。例如,每天早上8点到中午12点之间,存储设备A和B有大量数据交互,那么在这个时间段内,A和B之间的数据关联较强。同时,判断读写操作中的数据类型。如果两个存储设备在一段时间内交互的大部分数据属于同一类型(如结构化数据、非结构化数据等),那么它们之间的数据关联较强。分析调用链路中的存储设备。如果多个存储设备频繁出现在同一个调用链路中,被相同的服务或应用程序调用,那么它们之间的关联较强。考虑存储的数据主题或属性。如果两个存储设备保存的数据主题或属性比较接近(如用户数据、订单数据等),那么它们之间的数据关联较强。通过统计读写次数和数据量、分析读写时间周期性、判断数据类型、解析调用链路、考虑数据主题等手段,判断不同存储设备之间的数据关联,并据此构建关联标签。例如,关联最强的两个存储设备打上标签“HH”;其次是“HM”“ML”;最弱的是“LL”。这些标签反映存储数据之间的关联强弱,为存储资源的管理提供依据。
接着,统计存储操作的读写数据量,如果一个存储设备在一段时间内读写的数据量很大,例如超过TB级别,那么该存储设备中数据的大小标签应为“超大”;如果数据量在GB级别,标签为“大”;MB级别为“中”;KB级别为“小”。最后,将存储数据的数据大小标签、调用频率数据、安全等级标签、关联标签作为已存储数据的调用标签,从多个维度反映存储数据的特征,为存储体系结构的优化提供参考依据。
通过从安全等级、关联性和大小多维度构建存储数据的标签,能够更加准确地表示存储数据之间的内在联系和特征,有利于存储体系结构的优化,为存储资源的调度、数据迁移等提供参考,从而实现存储体系结构的高效运作。
进一步的,本申请实施例还包括:
步骤S710:配置数据传输的中断保护;
步骤S720:当任意存储数据传输中断时,基于所述中断保护确定回溯区间;
步骤S730:依据所述回溯区间进行中断存储数据的存储再连接。
具体而言,为保证存储数据传输的高可靠性,优选地配置数据传输的中断保护机制。在任意存储数据传输中断时,综合检查点信息和容错间隔信息确定回溯区间。例如,最近检查点距离中断时刻为T1秒,容错间隔为每5秒一个检查点。那么可以将回溯区间设置为max(T1,5)秒,即取T1秒和5秒的最大值。在此情况下,中断前max(T1,5)秒内的存储数据传输需要重新进行。接着,回溯到上一次检查点或者容错间隔开始位置。例如,如果回溯区间确定为中断前10秒,那么需要回溯到中断前10秒的位置,作为存储数据重新传输的开始点。随后,从确定的开始点重新进行存储数据传输。同时,在重新传输的过程中,继续采用检查点机制和容错机制进行容错。例如,每5秒设置一个检查点,若在重新传输过程中再次出现中断,那么根据新的检查点和容错间隔计算新的回溯区间,再从新的回溯区间开始重新进行存储数据传输。重新传输完成后,存储系统恢复正常工作。此时成功完成中断存储数据传输的恢复,确保了存储数据的高可靠性。
通过在数据传输过程中设置中断保护机制、回溯区间和存储数据再连接,可以有效保证任意中断事件下存储数据的完整性,从而提高数据传输的稳定性和可靠性,提升数据管理的安全性。
综上所述,本申请实施例所提供的一种基于云电脑技术的数据管理方法具有如下技术效果:
连接云电脑的电脑登录账户,对账户进行账户等级读取,生成初始数据管理约束,为针对账户进行针对性分类存储提供基础;对账户进行登录数据的数据交互读取,构建账户的已存储数据调用标签,为存储数据的分类识别与管理提供依据;解析账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果,实现对存储数据的分类管理;通过已存储数据调用标签对类型聚类结果进行聚类分割,根据聚类分割结果和初始数据管理约束执行已存储数据的分类存储,实现存储数据的精准分类;读取账户的预约数据,基于预约数据进行预约解析,根据解析结果匹配转移存储器,为预约数据的转移存储提供基础;根据转移存储器进行预约数据的转移存储,实现预约数据的转移存储,达到了实现云计算数据的自动精确分类、高效存储和智能管理的技术效果。
实施例二:
基于与前述实施例中一种基于云电脑技术的数据管理方法相同的发明构思,如图4所示,本申请实施例提供了一种基于云电脑技术的数据管理系统,该系统包括:
管理约束生成模块11,用于连接云电脑的电脑登录账户,对所述账户进行账户等级读取,生成初始数据管理约束;
数据交互读取模块12,用于对所述账户进行登录数据的数据交互读取,构建所述账户的已存储数据调用标签;
存储类型聚类模块13,用于解析所述账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;
数据分类存储模块14,用于通过所述已存储数据调用标签对所述类型聚类结果进行聚类分割,根据聚类分割结果和所述初始数据管理约束执行已存储数据的分类存储;
数据预约解析模块15,用于读取所述账户的预约数据,基于所述预约数据进行预约解析,根据解析结果匹配转移存储器;
数据转移存储模块16,用于根据所述转移存储器进行所述预约数据的转移存储。
进一步的,数据分类存储模块14包括以下执行步骤:
读取云端存储器的存储器信息,依据所述存储器信息进行存储器等级重构;
通过所述初始数据管理约束进行重构后的存储器等级匹配,获得匹配结果;
对所述账户进行数据的存储占用识别,生成占用约束数据;
依据所述占用约束数据对所述匹配结果进行宽容扩充,根据宽容扩充结果进行已存储数据的分类存储。
进一步的,数据转移存储模块16包括以下执行步骤:
读取所述云端存储器的存储负荷,生成负荷存储约束;
读取分类存储的存储进度数据,并依据所述存储进度数据和所述负荷存储约束生成临时存储响应;
基于所述临时存储响应和所述存储负荷匹配临时存储器;
将带有临时存储响应标识的存储数据存储至所述临时存储器。
进一步的,数据转移存储模块16还包括以下执行步骤:
对所述云端存储器进行连续负荷监测,生成监测参考数据;
读取所述云端存储器的历史存储数据,通过所述历史存储数据生成辅助参考数据;
基于所述监测参考数据和所述辅助参考数据进行所述云端存储器的闲时预测,生成闲时预测结果;
通过所述闲时预测结果进行所述临时存储器内的存储数据转移。
进一步的,数据交互读取模块12包括以下执行步骤:
构建标准时间轴,根据数据交互读取结果进行存储数据的调用检测,生成调用检测结果;
依据所述标准时间轴生成所述调用检测结果的时间关联;
通过所述时间关联进行所述调用检测结果的频率加权计算,生成调用频率数据;
将所述调用频率数据作为所述已存储数据调用标签。
进一步的,数据交互读取模块12还包括以下执行步骤:
根据数据交互读取结果进行存储数据的数据安全等级读取,构建安全等级标签;
解析所述数据交互读取结果,构建存储数据之间的存储和调用关联,通过存储和调用关联构建关联标签;
获得存储数据的数据大小标签,通过所述调用频率数据、所述安全等级标签、所述关联标签和所述大小标签构建所述已存储数据调用标签。
进一步的,本申请实施例还包括数据传输保护模块,该数据传输保护模块包括以下执行步骤:
配置数据传输的中断保护;
当任意存储数据传输中断时,基于所述中断保护确定回溯区间;
依据所述回溯区间进行中断存储数据的存储再连接。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (5)

1.一种基于云电脑技术的数据管理方法,其特征在于,所述方法包括:
连接云电脑的电脑登录账户,对所述账户进行账户等级读取,生成初始数据管理约束;
对所述账户进行登录数据的数据交互读取,构建所述账户的已存储数据调用标签;
解析所述账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;
通过所述已存储数据调用标签对所述类型聚类结果进行聚类分割,根据聚类分割结果和所述初始数据管理约束执行已存储数据的分类存储;
读取所述账户的预约数据,基于所述预约数据进行预约解析,根据解析结果匹配转移存储器;
根据所述转移存储器进行所述预约数据的转移存储;
其中,所述方法还包括:
读取云端存储器的存储器信息,依据所述存储器信息进行存储器等级重构;
通过所述初始数据管理约束进行重构后的存储器等级匹配,获得匹配结果;
对所述账户进行数据的存储占用识别,生成占用约束数据;
依据所述占用约束数据对所述匹配结果进行宽容扩充,根据宽容扩充结果进行已存储数据的分类存储;
读取所述云端存储器的存储负荷,生成负荷存储约束;
读取分类存储的存储进度数据,并依据所述存储进度数据和所述负荷存储约束生成临时存储响应;
基于所述临时存储响应和所述存储负荷匹配临时存储器;
将带有临时存储响应标识的存储数据存储至所述临时存储器;
对所述云端存储器进行连续负荷监测,生成监测参考数据;
读取所述云端存储器的历史存储数据,通过所述历史存储数据生成辅助参考数据;
基于所述监测参考数据和所述辅助参考数据进行所述云端存储器的闲时预测,生成闲时预测结果;
通过所述闲时预测结果进行所述临时存储器内的存储数据转移。
2.如权利要求1所述的方法,其特征在于,所述对所述账户进行登录数据的数据交互读取,构建所述账户的已存储数据调用标签,还包括:
构建标准时间轴,根据数据交互读取结果进行存储数据的调用检测,生成调用检测结果;
依据所述标准时间轴生成所述调用检测结果的时间关联;
通过所述时间关联进行所述调用检测结果的频率加权计算,生成调用频率数据;
将所述调用频率数据作为所述已存储数据调用标签。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
根据数据交互读取结果进行存储数据的数据安全等级读取,构建安全等级标签;
解析所述数据交互读取结果,构建存储数据之间的存储和调用关联,通过存储和调用关联构建关联标签;
获得存储数据的数据大小标签,通过所述调用频率数据、所述安全等级标签、所述关联标签和所述大小标签构建所述已存储数据调用标签。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
配置数据传输的中断保护;
当任意存储数据传输中断时,基于所述中断保护确定回溯区间;
依据所述回溯区间进行中断存储数据的存储再连接。
5.一种基于云电脑技术的数据管理系统,其特征在于,用于实施权利要求1-4任意一项所述的一种基于云电脑技术的数据管理方法,所述系统包括:
管理约束生成模块,所述管理约束生成模块用于连接云电脑的电脑登录账户,对所述账户进行账户等级读取,生成初始数据管理约束;
数据交互读取模块,所述数据交互读取模块用于对所述账户进行登录数据的数据交互读取,构建所述账户的已存储数据调用标签;
存储类型聚类模块,所述存储类型聚类模块用于解析所述账户的账户关联存储数据,并根据解析结果进行数据存储的类型聚类,获得类型聚类结果;
数据分类存储模块,所述数据分类存储模块用于通过所述已存储数据调用标签对所述类型聚类结果进行聚类分割,根据聚类分割结果和所述初始数据管理约束执行已存储数据的分类存储;
数据预约解析模块,所述数据预约解析模块用于读取所述账户的预约数据,基于所述预约数据进行预约解析,根据解析结果匹配转移存储器;
数据转移存储模块,所述数据转移存储模块用于根据所述转移存储器进行所述预约数据的转移存储;
数据分类存储模块还包括以下执行步骤:
读取云端存储器的存储器信息,依据所述存储器信息进行存储器等级重构;
通过所述初始数据管理约束进行重构后的存储器等级匹配,获得匹配结果;
对所述账户进行数据的存储占用识别,生成占用约束数据;
依据所述占用约束数据对所述匹配结果进行宽容扩充,根据宽容扩充结果进行已存储数据的分类存储;
数据转移存储模块还包括以下执行步骤:
读取所述云端存储器的存储负荷,生成负荷存储约束;
读取分类存储的存储进度数据,并依据所述存储进度数据和所述负荷存储约束生成临时存储响应;
基于所述临时存储响应和所述存储负荷匹配临时存储器;
将带有临时存储响应标识的存储数据存储至所述临时存储器;
对所述云端存储器进行连续负荷监测,生成监测参考数据;
读取所述云端存储器的历史存储数据,通过所述历史存储数据生成辅助参考数据;
基于所述监测参考数据和所述辅助参考数据进行所述云端存储器的闲时预测,生成闲时预测结果;
通过所述闲时预测结果进行所述临时存储器内的存储数据转移。
CN202311216146.5A 2023-09-20 2023-09-20 一种基于云电脑技术的数据管理方法及系统 Active CN116956363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311216146.5A CN116956363B (zh) 2023-09-20 2023-09-20 一种基于云电脑技术的数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311216146.5A CN116956363B (zh) 2023-09-20 2023-09-20 一种基于云电脑技术的数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN116956363A CN116956363A (zh) 2023-10-27
CN116956363B true CN116956363B (zh) 2023-12-05

Family

ID=88453285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311216146.5A Active CN116956363B (zh) 2023-09-20 2023-09-20 一种基于云电脑技术的数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN116956363B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240837A (zh) * 2018-09-11 2019-01-18 四川长虹电器股份有限公司 一种通用云存储服务api的构建方法
CN115344505A (zh) * 2022-08-01 2022-11-15 江苏华存电子科技有限公司 一种基于感知分类的内存访问方法
CN115660592A (zh) * 2022-10-31 2023-01-31 苏州贝瑞斯曼信息科技有限公司 一种对接图文数据智能优化管理方法及系统
CN115809229A (zh) * 2022-12-21 2023-03-17 云赛智联股份有限公司 一种基于多维数据属性的评估管理方法及系统
WO2023093194A1 (zh) * 2021-11-24 2023-06-01 华为云计算技术有限公司 一种云监控方法和云管理平台
CN116366364A (zh) * 2023-04-21 2023-06-30 甘肃柏隆电子商务科技有限责任公司 一种用于云电脑的终端数据处理方法及系统
CN116610735A (zh) * 2023-05-17 2023-08-18 江苏华存电子科技有限公司 一种数据存储的智能管理方法及系统
CN116628451A (zh) * 2023-05-31 2023-08-22 江苏华存电子科技有限公司 一种待处理信息的高速解析方法
CN116627356A (zh) * 2023-07-21 2023-08-22 江苏华存电子科技有限公司 一种大容量存储数据的分布控制方法及系统
CN116643704A (zh) * 2023-06-16 2023-08-25 北京天融信网络安全技术有限公司 存储管理方法、装置、电子设备及存储介质
CN116723131A (zh) * 2023-08-10 2023-09-08 微网优联科技(成都)有限公司 Ipc网络摄像头传输性能监测方法及系统
CN116775972A (zh) * 2023-06-30 2023-09-19 深圳市世迦科技有限公司 基于信息技术的远端资源整理服务方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140325151A1 (en) * 2013-04-25 2014-10-30 Xerox Corporation Method and system for dynamically managing big data in hierarchical cloud storage classes to improve data storing and processing cost efficiency
US11216202B1 (en) * 2020-06-26 2022-01-04 Accenture Global Solutions Limited System of selecting and optimizing resources for cloud block storage volume

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240837A (zh) * 2018-09-11 2019-01-18 四川长虹电器股份有限公司 一种通用云存储服务api的构建方法
WO2023093194A1 (zh) * 2021-11-24 2023-06-01 华为云计算技术有限公司 一种云监控方法和云管理平台
CN115344505A (zh) * 2022-08-01 2022-11-15 江苏华存电子科技有限公司 一种基于感知分类的内存访问方法
CN115660592A (zh) * 2022-10-31 2023-01-31 苏州贝瑞斯曼信息科技有限公司 一种对接图文数据智能优化管理方法及系统
CN115809229A (zh) * 2022-12-21 2023-03-17 云赛智联股份有限公司 一种基于多维数据属性的评估管理方法及系统
CN116366364A (zh) * 2023-04-21 2023-06-30 甘肃柏隆电子商务科技有限责任公司 一种用于云电脑的终端数据处理方法及系统
CN116610735A (zh) * 2023-05-17 2023-08-18 江苏华存电子科技有限公司 一种数据存储的智能管理方法及系统
CN116628451A (zh) * 2023-05-31 2023-08-22 江苏华存电子科技有限公司 一种待处理信息的高速解析方法
CN116643704A (zh) * 2023-06-16 2023-08-25 北京天融信网络安全技术有限公司 存储管理方法、装置、电子设备及存储介质
CN116775972A (zh) * 2023-06-30 2023-09-19 深圳市世迦科技有限公司 基于信息技术的远端资源整理服务方法和系统
CN116627356A (zh) * 2023-07-21 2023-08-22 江苏华存电子科技有限公司 一种大容量存储数据的分布控制方法及系统
CN116723131A (zh) * 2023-08-10 2023-09-08 微网优联科技(成都)有限公司 Ipc网络摄像头传输性能监测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"On Service Level Agreement Assurance in Cloud Computing Data Centers";Abdallah等;2016 IEEE 9th International Conference on Cloud Computing;921-926 *
云计算时代计算机网络存储系统研究与设计;胡劭强;;信息与电脑(理论版)(第17期);第28-29页 *
胡劭强 ; .云计算时代计算机网络存储系统研究与设计.信息与电脑(理论版).2015,(第17期),第28-29页. *

Also Published As

Publication number Publication date
CN116956363A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN102473134B (zh) 虚拟硬盘的管理服务器及管理方法、管理程序
CN101218557B (zh) 用于存储器迁移的系统和方法
US20070078972A1 (en) Computer-readable recording medium with system managing program recorded therein, system managing method and system managing apparatus
JP2003186564A (ja) ストレージリソース測定システム
EP2026184B1 (en) Device, method, and program for selecting data storage destination from a plurality of tape recording devices
CN101443761A (zh) 对文件系统的支持qos的生命周期管理
JP2012079199A (ja) 情報処理装置、テープ装置、およびプログラム
JP2001067187A (ja) ストレージサブシステム及びその制御方法
CN103106152A (zh) 基于层次存储介质的数据调度方法
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
US11954128B2 (en) Query alerts generation for virtual warehouse
Hsu et al. A novel automated cloud storage tiering system through hot-cold data classification
CN110727406A (zh) 一种数据存储调度方法及装置
CN111443867B (zh) 一种数据存储方法、装置、设备及存储介质
CN109947730A (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN107480281B (zh) 一种异构文件系统之间的统一视图的构建方法
US20230334052A1 (en) Dynamic Query Allocation to Virtual Warehouses
CN116956363B (zh) 一种基于云电脑技术的数据管理方法及系统
CN105068757A (zh) 一种基于文件语义和系统实时状态的冗余数据去重方法
CN112433888A (zh) 数据处理方法及装置、存储介质和电子设备
CN112306406A (zh) 智能存储自动分级的方法、装置、存储介质及电子设备
US11914595B2 (en) Virtual warehouse query monitoring and reporting
CN112817987A (zh) 访问分布式存储集群的方法及装置、设备、存储介质
CN113296596A (zh) 记录信息量的方法及其系统
WO2019196595A1 (zh) 管理应用程序的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant