CN117435144A - 一种数据中心智能化数据分级安全管理方法及系统 - Google Patents

一种数据中心智能化数据分级安全管理方法及系统 Download PDF

Info

Publication number
CN117435144A
CN117435144A CN202311753720.0A CN202311753720A CN117435144A CN 117435144 A CN117435144 A CN 117435144A CN 202311753720 A CN202311753720 A CN 202311753720A CN 117435144 A CN117435144 A CN 117435144A
Authority
CN
China
Prior art keywords
priority data
metadata
data
frequency
grading device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311753720.0A
Other languages
English (en)
Other versions
CN117435144B (zh
Inventor
李峰
袁俊杰
程依诺
尚华玲
安恩庆
程志忠
吴涛
张洪铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yuntian Safety Technology Co ltd
Original Assignee
Shandong Yuntian Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yuntian Safety Technology Co ltd filed Critical Shandong Yuntian Safety Technology Co ltd
Priority to CN202311753720.0A priority Critical patent/CN117435144B/zh
Publication of CN117435144A publication Critical patent/CN117435144A/zh
Application granted granted Critical
Publication of CN117435144B publication Critical patent/CN117435144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机应用技术领域,具体地说,涉及一种数据中心智能化数据分级安全管理方法及系统,在向元数据分级装置发送第一优先级数据后,将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,使得第一次遍历事件的遍历频率与元数据分级装置基于当前空闲空间管理第一优先级数据得到运算结果的加载时长相对应。本发明提高通过第一次遍历事件即可采集所述元数据分级装置管理所述第一优先级数据的结果的概率,有利于减少对元数据分级装置的遍历频率,避免了元数据分级装置为了回应遍历事件而占用过多运算资源的问题,使得元数据分级装置的运算资源可以主要用于处理所述第一优先级数据,从而实现提升元数据分级装置的运行效率的目的。

Description

一种数据中心智能化数据分级安全管理方法及系统
技术领域
本说明书涉及计算机应用技术领域,具体地说,涉及计算机应用技术领域下的遍历技术,更具体地说,涉及一种数据中心智能化数据分级安全管理方法及系统。
背景技术
随着计算机技术的发展,各式各样的数据得以被利用在生产中带来社会效益,这些数据可以称之为数据资产(Data As元数据分级装置t),数据资产是指由组织(政府机构、企事业单位等)合法拥有或控制的数据资源,以电子或其他方式记录,例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据,可进行计量或交易,能直接或间接带来经济效益和社会效益。
目前,主要是通过整理历史数据后,人工标注安全分类分级,不仅效率较低,对分类标准理解各异,不能保证分类分级的准确性。
在另一种方法中,可以将复合对象内的所有对象的元数据存储在单个元数据对象中,该元数据对象被存储在分级存储器体系中。因此,该元数据对象包含针对该复合对象内的对象(一般是文件或目录)的属性和位置索引。该索引信息被存储在该元数据对象中并且与该复合对象相关联,因此该元数据不需要数据库空间。可以在存储该复合对象的时候创建该元数据对象,或者如果该复合对象已经内嵌了描述其内容的信息则可以通过在存储该复合对象之后扫描该复合对象的内容来创建该元数据对象。这种方法的缺点是对各个元数据对象记录项的访问会非常慢。
因此,在本技术领域中需要改进的数据中心智能化数据分级安全管理,以降低数据库大小并且提供更快的查询响应时间。
发明内容
本说明书实施例提供了一种数据中心智能化数据分级安全管理方法及系统,通过优化数据中心智能化数据分级安全管理方法,减少对元数据分级装置的遍历频率,减少遍历事件过度占用元数据分级装置的运算资源的情况,实现提升元数据分级装置的运行效率的目的。
为实现上述技术目的,本说明书实施例提供了如下技术方案:
第一方面,本说明书的一个实施方式提供了一种数据中心智能化数据分级安全管理方法,其特征在于,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,所述数据中心智能化数据分级安全管理方法包括:
响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据;
将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果。
在一个实施方式中,所述将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率包括:
根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长;所述预测加载时长用于表征所述元数据分级装置管理所述第一优先级数据所需的预计频率;
将所述预测加载时长作为所述第一预设频率;
所述映射表存储有所述第一优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系,所述第一优先级数据的预测占用空间包括所述第一优先级数据的场景标签以及与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,历史第一优先级数据记录所述元数据分级装置的当前空闲空间的过程包括:
获取所述元数据分级装置管理所述历史第一优先级数据的检测加载时长;
根据所述历史第一优先级数据的检测信息,搜索所述映射表,以采集与所述历史第一优先级数据的检测信息相匹配的所述第一优先级数据的预测占用空间;
将与搜索采集的所述第一优先级数据的预测占用空间对应的所述元数据分级装置的空闲空间,作为所述元数据分级装置的当前空闲空间;
所述历史第一优先级数据的检测信息包括所述元数据分级装置管理所述历史第一优先级数据的检测加载时长以及所述历史第一优先级数据的场景标签。
在一个实施方式中,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若记录频率在规定频率内,则进入根据历史第一优先级数据记录的所述频率参数,搜索映射表的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率;
若所述记录频率在所述规定频率之外,则将预设空闲空间作为所述元数据分级装置的当前空闲空间,根据所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤。
在一个实施方式中,在所述记录频率在所述规定频率之外的情况下,所述数据中心智能化数据分级安全管理方法还包括:
记录所述元数据分级装置管理所述第一优先级数据的检测加载时长,根据所述第一优先级数据的检测信息,搜索所述映射表,以采集与所述第一优先级数据的检测信息对应的所述元数据分级装置的空闲空间;所述第一优先级数据的检测信息包括所述元数据分级装置管理所述第一优先级数据的检测加载时长以及所述第一优先级数据的场景标签;
利用搜索采集的所述元数据分级装置的空闲空间,更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
利用所述元数据分级装置管理完毕所述第一优先级数据的频率更新所述记录频率。
在一个实施方式中,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则将与所述第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率。
在一个实施方式中,所述数据中心智能化数据分级安全管理方法还包括:
获取多条所述第一优先级数据的管理日志,所述第一优先级数据的管理日志包括所述元数据分级装置管理所述第一优先级数据的检测加载时长、与所述第一优先级数据对应的预测加载时长以及与所述预测加载时长对应的所述元数据分级装置的空闲空间;
根据多条所述第一优先级数据的管理日志,更新所述映射表。
在一个实施方式中,所述根据多条所述第一优先级数据的管理日志,更新所述映射表;
若多条所述第一优先级数据的管理日志的数量超过预设数量,则在多条所述第一优先级数据的管理日志中,存在超过预设比例的偏离管理日志时,根据多条所述第一优先级数据的偏离管理日志,更新所述映射表;
所述第一优先级数据的偏离管理日志包括:所述第一优先级数据的检测加载时长与所述第一优先级数据对应的预测加载时长的差值绝对值占与所述第一优先级数据对应的预测加载时长的比例大于预设比例的管理日志。
在一个实施方式中,所述第一优先级数据包括非指纹哈希部分;所述映射表包括第一映射表;其中,所述第一映射表中存储有所述第一优先级数据的非密码预测占用空间与所述元数据分级装置的空闲空间的对应关系;所述第一优先级数据的非密码预测占用空间包括所述第一优先级数据的场景标签以及所述第一优先级数据的非指纹哈希部分的预测加载时长;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长作为与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,所述数据管理中心还包括密码引擎,所述密码引擎用于管理所述第一优先级数据的指纹哈希部分;
所述第一优先级数据还包括指纹哈希部分;所述映射表还包括第二映射表,所述第二映射表中存储有所述第一优先级数据的指纹哈希部分与所述第一优先级数据的指纹哈希部分的预测加载时长的对应关系;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
根据所述第一优先级数据的指纹哈希部分搜索所述第二映射表,以采集所述第一优先级数据的指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长和所述第一优先级数据的指纹哈希部分的预测加载时长之和作为与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,所述数据中心智能化数据分级安全管理方法还包括:
统计目标场景标签的第一优先级数据的连续按时管理频率,所述连续按时管理频率表征在第一次遍历事件中,采集所述元数据分级装置管理所述第一优先级数据的结果的连续频率;
在所述目标场景标签的第一优先级数据的所述连续按时管理频率大于预设频率时,调低所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间。
在一个实施方式中,还包括:
若第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果,则将后续遍历事件的遍历频率设置为第二预设频率,所述第二预设频率小于所述第一预设频率;
统计多次遍历事件的共计加载时长,在所述共计加载时长超过设定加载时长阈值时,停止对所述第一优先级数据的遍历事件。
第二方面,本说明书的一个实施方式提供了一种数据中心智能化数据分级安全管理系统,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,所述数据中心智能化数据分级安全管理系统包括:
优先级数据发送模块,用于响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据;
第一遍历模块,用于将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果。
在一个实施方式中,所述第一遍历模块将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率具体用于:
根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长;所述预测加载时长用于表征预估所述元数据分级装置管理所述第一优先级数据所需的频率,所述第一优先级数据的预测占用空间包括所述第一优先级数据的场景标签以及与所述第一优先级数据对应的预测加载时长;
将所述预测加载时长作为所述第一预设频率;
所述映射表存储有所述第一优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系。
在一个实施方式中,所述第一遍历模块还用于获取历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
历史第一优先级数据记录所述元数据分级装置的当前空闲空间的过程包括:
获取所述元数据分级装置管理所述历史第一优先级数据的检测加载时长;
根据所述历史第一优先级数据的检测信息,搜索所述映射表,以采集与所述历史第一优先级数据的检测信息相匹配的所述第一优先级数据的预测占用空间;
将与搜索采集的所述第一优先级数据的预测占用空间对应的所述元数据分级装置的空闲空间,作为所述元数据分级装置的当前空闲空间;
所述历史第一优先级数据的检测信息包括所述元数据分级装置管理所述历史第一优先级数据的检测加载时长以及所述历史第一优先级数据的场景标签。
在一个实施方式中,还包括:频率判断模块;其中,
所述频率判断模块,用于若记录频率在规定频率内,则触发所述第一遍历模块;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率;
若所述记录频率在所述规定频率之外,则将预设空闲空间作为所述元数据分级装置的当前空闲空间,根据所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长,并触发所述第一遍历模块管理将所述预测加载时长作为所述第一预设频率的步骤。
在一个实施方式中,在所述记录频率在所述规定频率之外的情况下,所述数据中心智能化数据分级安全管理系统还包括:
空闲空间更新模块,用于记录所述元数据分级装置管理所述第一优先级数据的检测加载时长,根据所述第一优先级数据的检测信息,搜索所述映射表,以采集与所述第一优先级数据的检测信息对应的所述元数据分级装置的空闲空间;所述第一优先级数据的检测信息包括所述元数据分级装置管理所述第一优先级数据的检测加载时长以及所述第一优先级数据的场景标签;
利用搜索采集的所述元数据分级装置的空闲空间,更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
利用所述元数据分级装置管理完毕所述第一优先级数据的频率更新所述记录频率。
在一个实施方式中,所述第一遍历模块根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还用于:
若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则将与所述第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,并管理将所述预测加载时长作为所述第一预设频率的步骤。
在一个实施方式中,所述数据中心智能化数据分级安全管理系统还包括:
表格更新模块,用于获取多条所述第一优先级数据的管理日志,所述第一优先级数据的管理日志包括所述元数据分级装置管理所述第一优先级数据的检测加载时长、与所述第一优先级数据对应的预测加载时长以及与所述预测加载时长对应的所述元数据分级装置的空闲空间;
根据多条所述第一优先级数据的管理日志,更新所述映射表。
在一个实施方式中,所述第一优先级数据包括非指纹哈希部分;所述映射表包括第一映射表;其中,所述第一映射表中存储有所述第一优先级数据的非密码预测占用空间与所述元数据分级装置的空闲空间的对应关系;所述第一优先级数据的非密码预测占用空间包括所述第一优先级数据的场景标签以及所述第一优先级数据的非指纹哈希部分的预测加载时长;
所述第一遍历模块,根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长具体用于:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长作为与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,所述第一优先级数据还包括指纹哈希部分;所述映射表还包括第二映射表,所述第二映射表中存储有所述第一优先级数据的指纹哈希部分与所述第一优先级数据的指纹哈希部分的预测加载时长的对应关系;
所述第一遍历模块根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长具体用于:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
根据所述第一优先级数据的指纹哈希部分搜索所述第二映射表,以采集所述第一优先级数据的指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长和所述第一优先级数据的指纹哈希部分的预测加载时长之和作为与所述第一优先级数据对应的预测加载时长。
谨慎调优模块,用于统计目标场景标签的第一优先级数据的连续按时管理频率,所述连续按时管理频率表征在第一次遍历事件中,采集所述元数据分级装置管理所述第一优先级数据的结果的连续频率;
在所述目标场景标签的第一优先级数据的所述连续按时管理频率大于预设频率时,调低所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间。
在一个实施方式中,所述数据中心智能化数据分级安全管理系统还包括:
第二遍历模块,用于若第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果,则将后续遍历事件的遍历频率设置为第二预设频率,所述第二预设频率小于所述第一预设频率;
统计多次遍历事件的共计加载时长,在所述共计加载时长超过设定加载时长阈值时,停止对所述第一优先级数据的遍历事件。
从上述技术方案可以看出,本说明书实施例提供的数据中心智能化数据分级安全管理方法在向元数据分级装置发送第一优先级数据后,将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,且所述第一预设频率与频率参数对应,所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签,使得针对所述元数据分级装置的第一次遍历事件的频率可以与元数据分级装置的当前空闲空间以及第一优先级数据的场景标签相匹配,则可使得第一次遍历事件的遍历频率与元数据分级装置基于当前空闲空间管理第一优先级数据得到运算结果的加载时长相对应。如此,可以提高通过第一次遍历事件即可采集所述元数据分级装置管理所述第一优先级数据的结果的概率,有利于减少对元数据分级装置的遍历频率,避免了元数据分级装置为了回应遍历事件而占用过多运算资源的问题,使得元数据分级装置的运算资源可以主要用于处理所述第一优先级数据,从而实现提升元数据分级装置的运行效率的目的。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图采集其他的附图。
图1为本说明书的一个实施方式提供的一种数据中心智能化数据分级安全管理方法的流程示意图;
图2为本说明书的一个实施方式提供的一种数据中心智能化数据分级安全管理系统的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所采集的所有其他实施例,都属于本说明书保护的范围。
客户端应用在向元数据分级装置发送相应的优先级数据后,由于元数据分级装置的架构特点,使得元数据分级装置在管理优先级数据指示的相关运算后,不会主动通知客户端应用来获取运算结果,而是需要主处理器核在遍历模式下通过遍历的方式询问元数据分级装置是否已经管理完毕相关运算,在元数据分级装置管理完毕优先级数据的相关运算后,主处理器核才能读取运算结果。
但由于元数据分级装置的架构特殊性,传统的遍历频率调整策略并不适用,为了规定地管理和处理系统中的任务、控制响应频率和实时性,有必要优化针对元数据分级装置的数据中心智能化数据分级安全管理方法,以优化元数据分级装置的处理效率。
其中,固定频率间隔遍历简单易实现,适用于对实时性要求不高的场景,在固定的频率间隔内搜索任务的管理结果,不考虑任务状态的实时变化,会导致不必要的搜索延迟和网络流量,无法根据事件的检测管理情况调整搜索频率。
指数退避遍历随着任务管理的进行,逐级增加遍历频率间隔,减少不必要的遍历请求,但是在事件刚开始时会有较高的搜索频率,需要较长频率才能获取到结果。
自适应延迟算法中将命令开始管理频率到完成管理的之间间隔作为响应频率。在自适应延迟算法中下一次遍历的延迟频率是不确定的,这可能导致系统在某些情况下延迟较长,从而影响用户体验和实时性要求较高的应用。自适应延迟的效果取决于调整算法的选择和优化。选择合适的算法以及调整参数的方式和频率是关键因素。不恰当的算法选择或参数调整可能导致遍历延迟频率的不合理变化或系统性能下降。
随机间隔遍历通过随机选择频率间隔,可以避免同时发起大量搜索请求,减少系统空闲空间和网络流量,但是随机的遍历间隔可能导致不稳定的管理效果,过于频繁或过于稀疏的遍历可能都不利于任务的管理和系统的性能。
最大搜索频率可以避免无限循环或长频率的等待,提供遍历事件的安全性和控制,但是如果事件需要较长频率才能完成,可能需要进行多次搜索才能获取结果,导致较长的等待频率。
为了设计与元数据分级装置及其管理的优先级数据相匹配的数据中心智能化数据分级安全管理方法,发明人通过研究传统遍历策略和元数据分级装置的特性发现,元数据分级装置随着管理任务状态的变化,其空闲空间也会相应发生改变,这会影响优先级数据的运算效率,从而影响优先级数据在元数据分级装置中管理所需消耗的时长,如果将对元数据分级装置的第一次遍历事件的遍历频率与元数据分级装置的当前空闲空间建立对应关系,则可使得第一次遍历事件的遍历频率与元数据分级装置基于当前空闲空间管理优先级数据得到运算结果的时长相对应,从而提高通过第一次遍历事件即可采集所述元数据分级装置管理所述第一优先级数据的结果的概率,有利于减少对元数据分级装置的遍历频率,避免了元数据分级装置为了回应遍历事件而占用过多运算资源的问题,使得元数据分级装置的运算资源可以主要用于处理所述第一优先级数据,从而实现提升元数据分级装置的运行效率的目的。
此外,发明人通过研究还发现,发送给元数据分级装置的优先级数据场景标签不同,也可能导致元数据分级装置管理优先级数据的加载时长不同,为了使得第一次遍历事件的频率设置的更加贴近元数据分级装置管理优先级数据的检测加载时长,可以建立所述优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系的映射表,其中的优先级数据的预测占用空间可以包括优先级数据的场景标签以及优先级数据的预测加载时长,并通过优先级数据场景标签以及历史优先级数据记录元数据分级装置的当前空闲空间搜索该映射表以采集与优先级数据对应的预测加载时长,将该预测加载时长作为第一次遍历事件的频率,则可使得第一次遍历事件的频率设置的更加贴近元数据分级装置管理优先级数据的检测加载时长,从而提高通过第一次遍历事件即可采集所述元数据分级装置管理所述第一优先级数据的结果的概率。
进一步的,发明人还提出了针对映射表的动态调整方案以及遍历策略的保守调优方案。
基于上述构思,发明人提出了一种数据中心智能化数据分级安全管理方法,下面将结合附图对本说明书实施方式提供的数据中心智能化数据分级安全管理方法进行示例性描述。
示例性方法
本说明书的一些实施方式对所述数据中心智能化数据分级安全管理方法进行示例性说明,如图1所示,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,所述数据中心智能化数据分级安全管理方法包括:
S101:响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据。
针对所述元数据分级装置的请求可以是运行于所述数据管理中心的第二处理器核上的应用程序向元数据分级装置发出的请求,该请求可以是请求元数据分级装置管理与安全相关的运算,这些运算包括但不限于加密运算、解密运算、安全认证运算等等。
S102:将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果。
由于元数据分级装置的物理隔离和运算特性等因素,使得元数据分级装置在管理所述第一优先级数据指示的相关运算后,并不会向第二处理器核上发出第一优先级数据的应用程序发出反馈消息,这就要求运行于第二处理器核上的应用程序在发出第一优先级数据后,需要以遍历的方式搜索元数据分级装置管理第一优先级数据指示的相关运算的状态(即是否管理完毕),并在元数据分级装置采集相关运算的管理结果后,相关应用程序从所述元数据分级装置中采集该管理结果。
因此,在本实施方式提供的数据中心智能化数据分级安全管理方法中,在向元数据分级装置发出第一优先级数据后,即可管理设定第一次遍历事件的频率的步骤,第一次遍历事件可以是指发出第一优先级数据后,向元数据分级装置第一次进行的遍历事件。第一次遍历事件的频率可以是指在发出第一优先级数据后,到管理所述第一次遍历事件之间的频率。不难理解的是,若能在第一次遍历事件后,即可搜索到元数据分级装置管理所述第一优先级数据的结果能够较大程度地节省对数据管理中心的软硬件资源的占用。但是如前文所述,由于第一优先级数据的管理速度与元数据分级装置的当前空闲空间相关,且由于元数据分级装置可管理的第一优先级数据的场景标签多样,不同场景标签的第一优先级数据在元数据分级装置中的管理速度也各不相同,因此,有必要将第一次遍历事件的频率设置为与频率参数对应的第一预设频率,从而使得针对所述元数据分级装置的第一次遍历事件的频率可以与元数据分级装置的当前空闲空间以及第一优先级数据的场景标签相匹配,则可使得第一次遍历事件的遍历频率与元数据分级装置基于当前空闲空间管理第一优先级数据得到运算结果的加载时长相对应。如此,可以提高通过第一次遍历事件即可采集所述元数据分级装置管理所述第一优先级数据的结果的概率,有利于减少对元数据分级装置的遍历频率,避免了元数据分级装置为了回应遍历事件而占用过多运算资源的问题,使得元数据分级装置的运算资源可以主要用于处理所述第一优先级数据,从而实现提升元数据分级装置的运行效率的目的。
在本说明书的一个实施方式中,提供了一种设置第一次遍历事件的频率的可行方式,具体地,所述将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率包括:
根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长;所述预测加载时长用于表征所述元数据分级装置管理所述第一优先级数据所需的预计频率;
将所述预测加载时长作为所述第一预设频率;
所述映射表存储有所述第一优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系,所述第一优先级数据的预测占用空间包括所述第一优先级数据的场景标签以及与所述第一优先级数据对应的预测加载时长。
在本实施方式中,提供了一种可行的确定所述第一预设频率的方式。历史第一优先级数据可以是指已经被元数据分级装置管理完毕的第一优先级数据。所述历史第一优先级数据记录所述频率参数可以是指在所述历史第一优先级数据的发出和管理过程中,记录所述频率参数。所述频率参数的记录过程可以包括:在历史第一优先级数据的发出和管理过程中,第二处理器核或运行于第二处理器核上的应用程序可以记录历史第一优先级数据的场景标签以及历史第一优先级数据的检测加载时长,根据记录的上述信息可以在映射表中找到与上述信息对应的元数据分级装置的空闲空间,找到的元数据分级装置的空闲空间可以认为是元数据分级装置的当前空闲空间,将找到的该元数据分级装置的当前空闲空间与所述历史第一优先级数据的场景标签作为所述频率参数进行记录即可。
在一个可行的实施方式中,每条第一优先级数据被所述元数据分级装置管理完毕后都会记录一个所述频率参数;在其他的实施方式中,多条第一优先级数据被所述元数据分级装置管理完毕后,多条第一优先级数据中的任意一条或特定的一条第一优先级数据会记录一个所述频率参数,本说明书对此并不做限定,具体视检测情况而定。
不难理解的是,在所述映射表中,存储着预测占用空间与元数据分级装置的空闲空间的对应关系,而预测占用空间包括第一优先级数据的场景标签以及与第一优先级数据对应的预测加载时长,即所述映射表中可以存储有第一优先级数据的场景标签、第一优先级数据对应的预测加载时长以及元数据分级装置的空闲空间这三者的对应关系,在知道其中的任意两者之后,即可通过搜索该映射表得到第三者。例如,在知道了预测占用空间后,可以根据预测占用空间从映射表中查找得到与预测占用空间对应的空闲空间;而在知道了第一优先级数据的场景标签以及元数据分级装置的空闲空间后,可以根据这两项信息查找与这两项信息对应的第一优先级数据的预测加载时长。
在历史第一优先级数据记录所述元数据分级装置的当前空闲空间的场景中,可以将记录的历史第一优先级数据的检测加载时长作为历史第一优先级数据的预测加载时长,在映射表中查找与历史第一优先级数据的场景标签以及记录的历史第一优先级数据的检测加载时长对应的元数据分级装置的空闲空间作为所述元数据分级装置的当前空闲空间。
即在本说明书的一个实施方式中,历史第一优先级数据记录所述元数据分级装置的当前空闲空间的过程包括:
获取所述元数据分级装置管理所述历史第一优先级数据的检测加载时长;
根据所述历史第一优先级数据的检测信息,搜索所述映射表,以采集与所述历史第一优先级数据的检测信息相匹配的所述第一优先级数据的预测占用空间;
将与搜索采集的所述第一优先级数据的预测占用空间对应的所述元数据分级装置的空闲空间,作为所述元数据分级装置的当前空闲空间;
所述历史第一优先级数据的检测信息包括所述元数据分级装置管理所述历史第一优先级数据的检测加载时长以及所述历史第一优先级数据的场景标签。
所述映射表可以通过标定的方式构建,例如设置元数据分级装置在不同空闲空间下管理不同场景标签的第一优先级数据,并记录相应的检测加载时长,即可将记录的检测加载时长作为预测加载时长记录形成所述映射表,具体的构建方式可以参考下文中的相关描述。
在本实施方式中,通过历史第一优先级数据记录的所述频率参数搜索映射表的方式,可以方便快捷地采集与所述第一优先级数据对应的预测加载时长,有利于快速确定所述第一预设频率,从而有利于缩短数据中心智能化数据分级安全管理方法的管理加载时长,提升所述数据中心智能化数据分级安全管理方法的管理效率。
为了避免由于历史第一优先级数据记录的频率参数的频率点距离当前频率较长,而导致频率参数中的元数据分级装置的当前空闲空间不能较好地表征元数据分级装置的检测空闲空间的问题,在本说明书的一个实施方式中,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若记录频率在规定频率内,则进入根据历史第一优先级数据记录的所述频率参数,搜索映射表的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率;
若所述记录频率在所述规定频率之外,则将预设空闲空间作为所述元数据分级装置的当前空闲空间,根据所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤。
在本实施方式中,引入了历史第一优先级数据对应的记录频率与规定频率的比对,若历史第一优先级数据对应的记录频率在规定频率内,则可认为历史第一优先级数据记录所述频率参数的频率点距离当前频率较近,元数据分级装置的检测空闲空间与所述元数据分级装置在记录频率时的空闲空间(即所述历史第一优先级数据记录的所述频率参数中的元数据分级装置的当前空闲空间)相比并未发生较大变化,可以认为所述历史第一优先级数据记录的频率参数中的元数据分级装置的当前空闲空间可以表征所述元数据分级装置在当前状态下的检测空闲空间,在这种情况下,可以进入根据历史第一优先级数据记录的所述频率参数,搜索映射表的步骤。
而在历史第一优先级数据对应的记录频率在规定频率之外时,则可认为历史第一优先级数据记录所述频率参数的频率点距离当前频率较远,元数据分级装置的检测空闲空间与所述元数据分级装置在记录频率时的空闲空间(即所述历史第一优先级数据记录的所述频率参数中的元数据分级装置的当前空闲空间)相比,可能发生了较大变化,在这种情况下,可以将预设空闲空间作为所述元数据分级装置的当前空闲空间。所述预设空闲空间可以是根据元数据分级装置的使用情况确定的一个元数据分级装置较大概率的空闲空间,例如可以统计元数据分级装置在使用过程中各个空闲空间的持续频率,将持续频率最长的空闲空间设定为所述预设空闲空间。当然地,在一些实施方式中,也可以根据经验设定所述预设空闲空间。在一个实施方式中,所述预设空闲空间可以是0空闲空间,即所述元数据分级装置的空闲空间为0。本说明书对所述预设空闲空间的具体取值和确定方式并不做限定,具体视检测情况而定。
为了使得后续的第一优先级数据尽快具有记录频率处于规定频率内的频率参数可用,在一个实施方式中,在所述记录频率在所述规定频率之外的情况下,所述数据中心智能化数据分级安全管理方法还包括:
记录所述元数据分级装置管理所述第一优先级数据的检测加载时长,根据所述第一优先级数据的检测信息,搜索所述映射表,以采集与所述第一优先级数据的检测信息对应的所述元数据分级装置的空闲空间;所述第一优先级数据的检测信息包括所述元数据分级装置管理所述第一优先级数据的检测加载时长以及所述第一优先级数据的场景标签;
利用搜索采集的所述元数据分级装置的空闲空间,更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
利用所述元数据分级装置管理完毕所述第一优先级数据的频率更新所述记录频率。
在本实施方式中,在所述记录频率在所述规定频率之外的情况下,记录第一优先级数据的管理情况,并根据该管理情况尽快更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述记录频率,以为后续的第一优先级数据的第一次遍历事件的频率确定提供参考。
为了减少数据管理中心运行所述数据中心智能化数据分级安全管理方法的资源消耗,在本说明书的一个实施方式中,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则将与所述第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率。
为了避免需要针对每条第一优先级数据都进行第一预设频率的计算,降低管理所述数据中心智能化数据分级安全管理方法对所述数据管理中心的负担,使得所述数据中心智能化数据分级安全管理方法能够在一些计算资源较少或管理速度较慢的数据管理中心中运行,在本实施方式中,若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则认为元数据分级装置的空闲空间较为稳定,可以将与第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,而不用进行第一优先级数据对应的预测加载时长的查表事件,有利于降低对数据管理中心的计算资源的要求。
为了使得映射表中的数据更加贴合元数据分级装置的检测运行情况,也为了避免映射表在构建时收集到的数据不准确的问题,在本说明书的一个实施方式中,所述数据中心智能化数据分级安全管理方法还包括:
获取多条所述第一优先级数据的管理日志,所述第一优先级数据的管理日志包括所述元数据分级装置管理所述第一优先级数据的检测加载时长、与所述第一优先级数据对应的预测加载时长以及与所述预测加载时长对应的所述元数据分级装置的空闲空间;
根据多条所述第一优先级数据的管理日志,更新所述映射表。
在本实施方式中,在数据管理中心运行过程中,可以收集多条所述第一优先级数据的管理日志,根据收集的多条管理日志即可更新所述映射表,使得映射表中的数据更加贴近元数据分级装置的检测运行情况,也避免了映射表在构建时收集到的数据不准确,而导致的预测加载时长计算不准确的问题。
在一个实施方式中,所述根据多条所述第一优先级数据的管理日志,更新所述映射表;
若多条所述第一优先级数据的管理日志的数量超过预设数量,则在多条所述第一优先级数据的管理日志中,存在超过预设比例的偏离管理日志时,根据多条所述第一优先级数据的偏离管理日志,更新所述映射表;
所述第一优先级数据的偏离管理日志包括:所述第一优先级数据的检测加载时长与所述第一优先级数据对应的预测加载时长的差值绝对值占与所述第一优先级数据对应的预测加载时长的比例大于预设比例的管理日志。
在本实施方式中,当管理日志的数量累积到一定数量时(即所述管理日志的数量超过预设数量时),可以根据多条管理日志分析映射表中数据的准确性,当发现映射表中的数据不准确时(即存在超过预设比例的偏离管理日志时),则可根据多条所述第一优先级数据的偏离管理日志,更新所述映射表,以保障映射表中的数据的准确性。
对于不同场景标签的第一优先级数据而言,可以根据其是否包括指纹哈希部分大致分为两类,对于第一优先级数据包括非指纹哈希部分的情况,在本说明书的一个实施方式中,所述映射表包括第一映射表;其中,所述第一映射表中存储有所述第一优先级数据的非密码预测占用空间与所述元数据分级装置的空闲空间的对应关系;所述第一优先级数据的非密码预测占用空间包括所述第一优先级数据的场景标签以及所述第一优先级数据的非指纹哈希部分的预测加载时长;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长作为与所述第一优先级数据对应的预测加载时长。
对于第一优先级数据包括指纹哈希部分的情况,在本说明书的一个实施方式中,所述数据管理中心还包括密码引擎,所述密码引擎用于管理所述第一优先级数据的指纹哈希部分;
所述第一优先级数据还包括指纹哈希部分;所述映射表还包括第二映射表,所述第二映射表中存储有所述第一优先级数据的指纹哈希部分与所述第一优先级数据的指纹哈希部分的预测加载时长的对应关系;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
根据所述第一优先级数据的指纹哈希部分搜索所述第二映射表,以采集所述第一优先级数据的指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长和所述第一优先级数据的指纹哈希部分的预测加载时长之和作为与所述第一优先级数据对应的预测加载时长。
密码引擎可以是独立于元数据分级装置的硬件,可以用于管理各类指纹哈希,以管理所述第一优先级数据的指纹哈希部分。
第一映射表的构建过程可以包括:
通过调整元数据分级装置空闲空间统计不同空闲空间下每条第一优先级数据的非指纹哈希部分分别加载时长情况。调整元数据分级装置的空闲空间为0,重复管理第一优先级数据,分别统计每条第一优先级数据非指纹哈希部分的加载时长、,最终将Δx的平均值/>作为该第一优先级数据非指纹哈希部分管理加载时长的基准值。
调整元数据分级装置空闲空间,通过控制并发任务数,限制同时在元数据分级装置上管理的任务数量,从而限制元数据分级装置的空闲空间或是根据目标空闲空间百分比,对元数据分级装置的资源进行限制,如限制内存使用、限制处理能力等,以控制元数据分级装置的空闲空间。在不同的元数据分级装置空闲空间下重复管理上诉事件得到平均值,计算不同空闲空间下/>的增长比例/>,由此计算得到每条第一优先级数据非指纹哈希管理加载时长增加比例M=Δx1/Δx。
在构建第二映射表时,由于指纹哈希部分管理频率主要和密码引擎、密码算法和参与运算长度相关,根据这些关系可以构建出第二映射表。
本说明书的一个实施方式提供了一种在第一优先级数据包括指纹哈希部分时,可行的记录元数据分级装置的空闲空间的过程,该过程可以包括:
上层应用(例如运行于第二处理器核上的应用)向元数据分级装置元数据分级装置发送第一优先级数据,并开始计时,元数据分级装置解析并管理第一优先级数据,若第一优先级数据包括指纹哈希部分,则可将指纹哈希部分发送给密码引擎由密码引擎管理该部分运行,密码引擎管理该部分运算的运算结果以及加载时长△y返回给元数据分级装置,元数据分级装置将管理结果返回给上层应用;上层应用在接收到元数据分级装置的管理结果后,结束计时,得到第一优先级数据的检测加载时长T;此时上层应用可知计算计算△x=T-△y,根据△x和映射表,查表采集元数据分级装置空闲空间,并记录元数据分级装置当前空闲空间,完成记录过程。
为了在特定情况下,合理缩短查表采集的第一预设频率,在本说明书的一个实施方式中,所述数据中心智能化数据分级安全管理方法还包括:
统计目标场景标签的第一优先级数据的连续按时管理频率,所述连续按时管理频率表征在第一次遍历事件中,采集所述元数据分级装置管理所述第一优先级数据的结果的连续频率;
在所述目标场景标签的第一优先级数据的所述连续按时管理频率大于预设频率时,调低所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间。
举例来说,假设在检测管理过程中当第一优先级数据B的检测加载时长为,预测加载时长(或称第一预设频率)为/>;则当/>,表示检测管理第一优先级数据B的过程中元数据分级装置空闲空间比第一优先级数据A管理时的空闲空间大,当/>时则有两种情况,管理第一优先级数据B时元数据分级装置空闲空间与第一优先级数据A记录的空闲空间相等,或者是管理第一优先级数据B时元数据分级装置空闲空间与管理第一优先级数据A时元数据分级装置空闲空间已经有所减少。根据该情况元数据分级装置空闲空间减小的情况是比较难发现的,因此,对于缩短间隔的策略,需要做好限制,以确保系统资源的合理利用。
为了实现保守调优策略,在记录元数据分级装置空闲空间的过程中引入计数器(count,用于统计目标场景标签的第一优先级数据的连续按时管理频率),以及一个最大值(maxcount,即所述预设频率)。计数器表示当前已经连续多少次在同一元数据分级装置空闲空间检测管理命令加载时长与预测加载时长一致(),一次遍历事件就能遍历到管理结果的状态;最大值频率表示同一元数据分级装置空闲空间下/>的情况已累计达到最大值时可以尝试使用较低的元数据分级装置空闲空间(即所述元数据分级装置的当前空闲空间)计算加载时长,以达到保守调优的目的。
上层应用查表采集第一优先级数据的预测加载时长,将第一优先级数据发送给元数据分级装置元数据分级装置,元数据分级装置管理第一优先级数据并反馈管理结果,上层应用记录该过程的检测加载时长T,并判断/>的情况是否出现,若否,则连续按时管理频率清零(count=0),并进入计算并记录元数据分级装置空闲空间的步骤;
若是,则连续按时管理频率加1(count++),并判断连续按时管理频率是否大于或等于预设频率(count>=maxcount),如果是,则调低当前空闲空间;如果否,则保持当前空闲空间。
通过上述方式,可以实现谨慎当前空闲空间的谨慎调优,实现在特定情况下调低历史第一优先级数据记录的当前空闲空间,优化第一预设频率的目的。
当第一次遍历事件未采集管理结果时,为了及时采集第一优先级数据的管理结果,并避免长频率等待,在本说明书的一个实施方式中,所述数据中心智能化数据分级安全管理方法还包括:
若第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果,则将后续遍历事件的遍历频率设置为第二预设频率,所述第二预设频率小于所述第一预设频率;
统计多次遍历事件的共计加载时长,在所述共计加载时长超过设定加载时长阈值时,停止对所述第一优先级数据的遍历事件。
在第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果时,将后续遍历事件的遍历频率缩小为第二预设频率,有利于及时发现元数据分级装置管理所述第一优先级数据完毕的情况,从而及时采集管理结果。在一个可行的实施方式中,所述第二预设频率可以为所述第一预设频率的0.1倍,本说明书对此并不做限定。
另外,在本实施方式中还会统计多次遍历事件的共计加载时长,在其超过设定加载时长阈值时,则停止遍历事件,避免对超时第一优先级数据的长频率遍历导致的资源浪费。
在本说明书的一个具体实施方式中给出了一个可行的数据中心智能化数据分级安全管理方法的管理过程,该过程可以包括:
根据元数据分级装置空闲空间预估将要管理的第一优先级数据加载时长:①根据历史第一优先级数据A记录的元数据分级装置空闲空间以及历史第一优先级数据A的场景标签,通过查找非指纹哈希映射表(即第一映射表)得到该空闲空间下非指纹哈希部分预计加载时长;②根据第一优先级数据B的类别和指纹哈希映射表得到/>;③根据/>和/>计算得到/>
根据预测加载时长优化遍历频率:①第一优先级数据B发送完成后根据计算得到的预计加载时长,第一个遍历频率/>,经过一个遍历频率后再管理遍历管理状态的事件;②如果第一次遍历后没能及时返回结果,为了避免不能及时读取响应,后续的遍历频率降为/>;③为了当前避免元数据分级装置空闲空间很高,出现死等的情况,当所有遍历频率总和大于等于预计加载时长的三倍还未管理完成时(),第一优先级数据B当作超时处理。
示例性装置
在本说明书的一个示例性实施例中,还提供了一种数据中心智能化数据分级安全管理系统,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,如图2所示,所述数据中心智能化数据分级安全管理系统包括:
优先级数据发送模块201,用于响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据;
第一遍历模块202,用于将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果。
在一个实施方式中,所述第一遍历模块将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率具体用于:
根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长;所述预测加载时长用于表征预估所述元数据分级装置管理所述第一优先级数据所需的频率,所述第一优先级数据的预测占用空间包括所述第一优先级数据的场景标签以及与所述第一优先级数据对应的预测加载时长;
将所述预测加载时长作为所述第一预设频率;
所述映射表存储有所述第一优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系。
在一个实施方式中,所述第一遍历模块还用于获取历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
历史第一优先级数据记录所述元数据分级装置的当前空闲空间的过程包括:
获取所述元数据分级装置管理所述历史第一优先级数据的检测加载时长;
根据所述历史第一优先级数据的检测信息,搜索所述映射表,以采集与所述历史第一优先级数据的检测信息相匹配的所述第一优先级数据的预测占用空间;
将与搜索采集的所述第一优先级数据的预测占用空间对应的所述元数据分级装置的空闲空间,作为所述元数据分级装置的当前空闲空间;
所述历史第一优先级数据的检测信息包括所述元数据分级装置管理所述历史第一优先级数据的检测加载时长以及所述历史第一优先级数据的场景标签。
在一个实施方式中,还包括:频率判断模块;其中,
所述频率判断模块,用于若记录频率在规定频率内,则触发所述第一遍历模块;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率;
若所述记录频率在所述规定频率之外,则将预设空闲空间作为所述元数据分级装置的当前空闲空间,根据所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长,并触发所述第一遍历模块管理将所述预测加载时长作为所述第一预设频率的步骤。
在一个实施方式中,在所述记录频率在所述规定频率之外的情况下,所述数据中心智能化数据分级安全管理系统还包括:
空闲空间更新模块,用于记录所述元数据分级装置管理所述第一优先级数据的检测加载时长,根据所述第一优先级数据的检测信息,搜索所述映射表,以采集与所述第一优先级数据的检测信息对应的所述元数据分级装置的空闲空间;所述第一优先级数据的检测信息包括所述元数据分级装置管理所述第一优先级数据的检测加载时长以及所述第一优先级数据的场景标签;
利用搜索采集的所述元数据分级装置的空闲空间,更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
利用所述元数据分级装置管理完毕所述第一优先级数据的频率更新所述记录频率。
在一个实施方式中,所述第一遍历模块根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还用于:
若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则将与所述第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,并管理将所述预测加载时长作为所述第一预设频率的步骤。
在一个实施方式中,所述数据中心智能化数据分级安全管理系统还包括:
表格更新模块,用于获取多条所述第一优先级数据的管理日志,所述第一优先级数据的管理日志包括所述元数据分级装置管理所述第一优先级数据的检测加载时长、与所述第一优先级数据对应的预测加载时长以及与所述预测加载时长对应的所述元数据分级装置的空闲空间;
根据多条所述第一优先级数据的管理日志,更新所述映射表。
在一个实施方式中,所述第一优先级数据包括非指纹哈希部分;所述映射表包括第一映射表;其中,所述第一映射表中存储有所述第一优先级数据的非密码预测占用空间与所述元数据分级装置的空闲空间的对应关系;所述第一优先级数据的非密码预测占用空间包括所述第一优先级数据的场景标签以及所述第一优先级数据的非指纹哈希部分的预测加载时长;
所述第一遍历模块,根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长具体用于:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长作为与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,所述第一优先级数据还包括指纹哈希部分;所述映射表还包括第二映射表,所述第二映射表中存储有所述第一优先级数据的指纹哈希部分与所述第一优先级数据的指纹哈希部分的预测加载时长的对应关系;
所述第一遍历模块根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长具体用于:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
根据所述第一优先级数据的指纹哈希部分搜索所述第二映射表,以采集所述第一优先级数据的指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长和所述第一优先级数据的指纹哈希部分的预测加载时长之和作为与所述第一优先级数据对应的预测加载时长。
在一个实施方式中,还包括:
谨慎调优模块,用于统计目标场景标签的第一优先级数据的连续按时管理频率,所述连续按时管理频率表征在第一次遍历事件中,采集所述元数据分级装置管理所述第一优先级数据的结果的连续频率;
在所述目标场景标签的第一优先级数据的所述连续按时管理频率大于预设频率时,调低所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间。
在一个实施方式中,所述数据中心智能化数据分级安全管理系统还包括:
第二遍历模块,用于若第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果,则将后续遍历事件的遍历频率设置为第二预设频率,所述第二预设频率小于所述第一预设频率;
统计多次遍历事件的共计加载时长,在所述共计加载时长超过设定加载时长阈值时,停止对所述第一优先级数据的遍历事件。
关于数据中心智能化数据分级安全管理系统的具体限定可以参见上文中关于数据中心智能化数据分级安全管理方法的限定,在此不再赘述。上述数据中心智能化数据分级安全管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用管理以上各个模块对应的事件。
除了上述方法和设备以外,本说明书实施例提供的数据中心智能化数据分级安全管理方法还可以是计算机程序产品,其包括计算机程序优先级数据,所述计算机程序优先级数据在被处理器运行时使得所述处理器管理本说明书上述“示例性方法”部分中描述的根据本说明书各种实施例的数据中心智能化数据分级安全管理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于管理本说明书实施例事件的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户数据管理中心上管理、部分地在用户设备上管理、作为一个独立的软件包管理、部分在用户数据管理中心上部分在远程数据管理中心上管理、或者完全在远程数据管理中心或服务器上管理。
本领域技术人员能够理解,本公开所披露的内容可以出现多种变型和改进。例如,以上所描述的各种设备或组件可以通过硬件实现,也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是,前面或后面的步骤不一定按照顺序来精确的进行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他事件添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来优先级数据相关硬件完成,程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义,这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
以上是对本公开的说明,而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解,上面是对本公开的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种数据中心智能化数据分级安全管理方法,其特征在于,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,所述数据中心智能化数据分级安全管理方法包括:
响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据;
将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果。
2.根据权利要求1所述的一种数据中心智能化数据分级安全管理方法,其特征在于,所述将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率包括:
根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长;所述预测加载时长用于表征所述元数据分级装置管理所述第一优先级数据所需的预计频率;
将所述预测加载时长作为所述第一预设频率;
所述映射表存储有所述第一优先级数据的预测占用空间与所述元数据分级装置的空闲空间的对应关系,所述第一优先级数据的预测占用空间包括所述第一优先级数据的场景标签以及与所述第一优先级数据对应的预测加载时长。
3.根据权利要求2所述的一种数据中心智能化数据分级安全管理方法,其特征在于,历史第一优先级数据记录所述元数据分级装置的当前空闲空间的过程包括:
获取所述元数据分级装置管理所述历史第一优先级数据的检测加载时长;
根据所述历史第一优先级数据的检测信息,搜索所述映射表,以采集与所述历史第一优先级数据的检测信息相匹配的所述第一优先级数据的预测占用空间;
将与搜索采集的所述第一优先级数据的预测占用空间对应的所述元数据分级装置的空闲空间,作为所述元数据分级装置的当前空闲空间;
所述历史第一优先级数据的检测信息包括所述元数据分级装置管理所述历史第一优先级数据的检测加载时长以及所述历史第一优先级数据的场景标签。
4.根据权利要求2所述的一种数据中心智能化数据分级安全管理方法,其特征在于,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若记录频率在规定频率内,则进入根据历史第一优先级数据记录的所述频率参数,搜索映射表的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率;
若所述记录频率在所述规定频率之外,则将预设空闲空间作为所述元数据分级装置的当前空闲空间,根据所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤。
5.根据权利要求4所述的一种数据中心智能化数据分级安全管理方法,其特征在于,在所述记录频率在所述规定频率之外的情况下,所述数据中心智能化数据分级安全管理方法还包括:
记录所述元数据分级装置管理所述第一优先级数据的检测加载时长,根据所述第一优先级数据的检测信息,搜索所述映射表,以采集与所述第一优先级数据的检测信息对应的所述元数据分级装置的空闲空间;所述第一优先级数据的检测信息包括所述元数据分级装置管理所述第一优先级数据的检测加载时长以及所述第一优先级数据的场景标签;
利用搜索采集的所述元数据分级装置的空闲空间,更新所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
利用所述元数据分级装置管理完毕所述第一优先级数据的频率更新所述记录频率。
6.根据权利要求2所述的一种数据中心智能化数据分级安全管理方法,其特征在于,所述根据历史第一优先级数据记录的所述频率参数,搜索映射表之前还包括:
若多条历史第一优先级数据的记录频率在规定频率内,且多条不同场景标签的所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间的差值小于预设差值,则将与所述第一优先级数据的场景标签相同的所述历史第一优先级数据的检测加载时长作为与所述第一优先级数据对应的预测加载时长,并进入将所述预测加载时长作为所述第一预设频率的步骤;所述记录频率包括所述历史第一优先级数据记录所述元数据分级装置的当前空闲空间的频率。
7.根据权利要求2所述的一种数据中心智能化数据分级安全管理方法,其特征在于,还包括:
获取多条所述第一优先级数据的管理日志,所述第一优先级数据的管理日志包括所述元数据分级装置管理所述第一优先级数据的检测加载时长、与所述第一优先级数据对应的预测加载时长以及与所述预测加载时长对应的所述元数据分级装置的空闲空间;
根据多条所述第一优先级数据的管理日志,更新所述映射表;
所述根据多条所述第一优先级数据的管理日志,更新所述映射表;
若多条所述第一优先级数据的管理日志的数量超过预设数量,则在多条所述第一优先级数据的管理日志中,存在超过预设比例的偏离管理日志时,根据多条所述第一优先级数据的偏离管理日志,更新所述映射表;
所述第一优先级数据的偏离管理日志包括:所述第一优先级数据的检测加载时长与所述第一优先级数据对应的预测加载时长的差值绝对值占与所述第一优先级数据对应的预测加载时长的比例大于预设比例的管理日志。
8.根据权利要求2-7任一项所述的一种数据中心智能化数据分级安全管理方法,其特征在于,所述第一优先级数据包括非指纹哈希部分;所述映射表包括第一映射表;其中,所述第一映射表中存储有所述第一优先级数据的非密码预测占用空间与所述元数据分级装置的空闲空间的对应关系;所述第一优先级数据的非密码预测占用空间包括所述第一优先级数据的场景标签以及所述第一优先级数据的非指纹哈希部分的预测加载时长;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长作为与所述第一优先级数据对应的预测加载时长。
9.根据权利要求8所述的一种数据中心智能化数据分级安全管理方法,其特征在于,所述数据管理中心还包括密码引擎,所述密码引擎用于管理所述第一优先级数据的指纹哈希部分;
所述第一优先级数据还包括指纹哈希部分;所述映射表还包括第二映射表,所述第二映射表中存储有所述第一优先级数据的指纹哈希部分与所述第一优先级数据的指纹哈希部分的预测加载时长的对应关系;
所述根据历史第一优先级数据记录的所述频率参数,搜索映射表,以采集与所述第一优先级数据对应的预测加载时长包括:
根据历史第一优先级数据记录的所述元数据分级装置的当前空闲空间以及所述第一优先级数据的场景标签,搜索所述第一映射表,以采集与所述第一优先级数据的场景标签以及历史第一优先级数据记录的所述元数据分级装置的当前空闲空间均对应的所述第一优先级数据的非指纹哈希部分的预测加载时长;
根据所述第一优先级数据的指纹哈希部分搜索所述第二映射表,以采集所述第一优先级数据的指纹哈希部分的预测加载时长;
将所述第一优先级数据的非指纹哈希部分的预测加载时长和所述第一优先级数据的指纹哈希部分的预测加载时长之和作为与所述第一优先级数据对应的预测加载时长;
统计目标场景标签的第一优先级数据的连续按时管理频率,所述连续按时管理频率表征在第一次遍历事件中,采集所述元数据分级装置管理所述第一优先级数据的结果的连续频率;
在所述目标场景标签的第一优先级数据的所述连续按时管理频率大于预设频率时,调低所述历史第一优先级数据记录的所述元数据分级装置的当前空闲空间;
若第一次遍历事件未采集所述元数据分级装置管理所述第一优先级数据的结果,则将后续遍历事件的遍历频率设置为第二预设频率,所述第二预设频率小于所述第一预设频率;
统计多次遍历事件的共计加载时长,在所述共计加载时长超过设定加载时长阈值时,停止对所述第一优先级数据的遍历事件。
10.一种数据中心智能化数据分级安全管理系统,其特征在于,配置在数据管理中心,所述数据管理中心包括分级管理服务器,所述分级管理服务器搭载有元数据分级装置,所述数据中心智能化数据分级安全管理系统包括:
优先级数据发送模块,用于响应于针对所述元数据分级装置的请求,向所述元数据分级装置发送第一优先级数据;
第一遍历模块,用于将对所述元数据分级装置的第一次遍历事件的频率设置为第一预设频率,所述第一预设频率与频率参数对应;所述频率参数包括所述元数据分级装置的当前空闲空间以及第一优先级数据的场景标签;所述遍历事件用于搜索所述元数据分级装置管理所述第一优先级数据的结果;
所述一种数据中心智能化数据分级安全管理系统用于执行如权利要求1-9任一项所述的一种数据中心智能化数据分级安全管理方法。
CN202311753720.0A 2023-12-20 2023-12-20 一种数据中心智能化数据分级安全管理方法及系统 Active CN117435144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311753720.0A CN117435144B (zh) 2023-12-20 2023-12-20 一种数据中心智能化数据分级安全管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311753720.0A CN117435144B (zh) 2023-12-20 2023-12-20 一种数据中心智能化数据分级安全管理方法及系统

Publications (2)

Publication Number Publication Date
CN117435144A true CN117435144A (zh) 2024-01-23
CN117435144B CN117435144B (zh) 2024-03-22

Family

ID=89551995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311753720.0A Active CN117435144B (zh) 2023-12-20 2023-12-20 一种数据中心智能化数据分级安全管理方法及系统

Country Status (1)

Country Link
CN (1) CN117435144B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944134A (zh) * 2010-10-18 2011-01-12 江苏大学 一种海量存储系统的元数据服务器和元数据索引方法
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法
US20170097873A1 (en) * 2015-10-01 2017-04-06 Netapp, Inc. Transaction log layout for efficient reclamation and recovery
CN107249035A (zh) * 2017-06-28 2017-10-13 重庆大学 一种等级化动态可变的共享重复数据存储和读取机制
CN113127515A (zh) * 2021-04-12 2021-07-16 中国电力科学研究院有限公司 面向电网的调控数据高速缓存方法、装置、计算机设备和存储介质
CN114021129A (zh) * 2019-05-09 2022-02-08 谷歌有限责任公司 用于上下文自适应扫描的方法、系统及计算机存储介质
US20220043712A1 (en) * 2019-08-28 2022-02-10 Commvault Systems, Inc. Lightweight metadata handling for file indexing and live browse of backup copies
CN117009509A (zh) * 2022-11-24 2023-11-07 腾讯科技(深圳)有限公司 数据安全分级方法、装置、设备、存储介质和程序产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944134A (zh) * 2010-10-18 2011-01-12 江苏大学 一种海量存储系统的元数据服务器和元数据索引方法
CN102024020A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统中高效的元数据访存方法
US20170097873A1 (en) * 2015-10-01 2017-04-06 Netapp, Inc. Transaction log layout for efficient reclamation and recovery
CN107249035A (zh) * 2017-06-28 2017-10-13 重庆大学 一种等级化动态可变的共享重复数据存储和读取机制
CN114021129A (zh) * 2019-05-09 2022-02-08 谷歌有限责任公司 用于上下文自适应扫描的方法、系统及计算机存储介质
US20220043712A1 (en) * 2019-08-28 2022-02-10 Commvault Systems, Inc. Lightweight metadata handling for file indexing and live browse of backup copies
CN113127515A (zh) * 2021-04-12 2021-07-16 中国电力科学研究院有限公司 面向电网的调控数据高速缓存方法、装置、计算机设备和存储介质
CN117009509A (zh) * 2022-11-24 2023-11-07 腾讯科技(深圳)有限公司 数据安全分级方法、装置、设备、存储介质和程序产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨淙钧;艾中良;刘忠麟;李常宝;: "基于多级列式索引的海量数据高效查询设计", 软件, no. 03, 15 March 2016 (2016-03-15) *
郝行军: "物联网大数据存储与管理技术研究", 《信息科技》, 15 September 2017 (2017-09-15) *

Also Published As

Publication number Publication date
CN117435144B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN109033123B (zh) 基于大数据的查询方法、装置、计算机设备和存储介质
JP5744707B2 (ja) メモリ使用量照会ガバナのためのコンピュータ実装方法、コンピュータ・プログラム、およびシステム(メモリ使用量照会ガバナ)
US20070294218A1 (en) Method and System for Reducing Host Variable Impact on Access Path Selection
US11061899B2 (en) Query optimization in hybrid DBMS
CN111125417B (zh) 一种数据搜索方法、装置、电子设备及存储介质
CN101645802B (zh) 内容控制方法及装置
US20220261391A1 (en) Auto unload
CN117033424A (zh) 慢sql语句的查询优化方法、装置和计算机设备
Wang et al. Efficient concurrent execution of smart contracts in blockchain sharding
CN110688360A (zh) 分布式文件系统存储管理方法、装置、设备及存储介质
CN117435144B (zh) 一种数据中心智能化数据分级安全管理方法及系统
CN107391555B (zh) 一种面向Spark-Sql检索的元数据实时更新方法
CN116680295A (zh) 多数据库处理数据的方法、系统及装置
US20220215021A1 (en) Data Query Method and Apparatus, Computing Device, and Storage Medium
CN115617553A (zh) 一种数据库的熔断降级保护方法、装置及电子设备
Zhao Complex event processing under constrained resources by state-based load shedding
CN115442137A (zh) 基于身份认证的业务访问处理方法及设备
CN117290352A (zh) 索引建立方法、电子设备和计算机存储设备
CN115114289A (zh) 一种数据查询方法、装置及电子设备
CN112699299A (zh) 一种进行大数据查询的方法及系统
CN114253938A (zh) 数据管理方法、数据管理装置及存储介质
CN106681939B (zh) 磁盘页面的读取方法和装置
Xu et al. Big data service request prediction based on historical behavior time series
US20220358095A1 (en) Managing data requests to a data shard
CN111966703B (zh) 工程造价数据查询方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant