CN117270795B - 一种大容量数据存储设备及其数据销毁方法 - Google Patents

一种大容量数据存储设备及其数据销毁方法 Download PDF

Info

Publication number
CN117270795B
CN117270795B CN202311566479.0A CN202311566479A CN117270795B CN 117270795 B CN117270795 B CN 117270795B CN 202311566479 A CN202311566479 A CN 202311566479A CN 117270795 B CN117270795 B CN 117270795B
Authority
CN
China
Prior art keywords
data
storage module
centralized
storage
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311566479.0A
Other languages
English (en)
Other versions
CN117270795A (zh
Inventor
罗远哲
刘瑞景
李雪茹
董绍彤
吴鹏
刘志明
张艺腾
王传程
李玉浩
宋桂斌
赵朋
陈思杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202311566479.0A priority Critical patent/CN117270795B/zh
Publication of CN117270795A publication Critical patent/CN117270795A/zh
Application granted granted Critical
Publication of CN117270795B publication Critical patent/CN117270795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0637—Permissions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据存储技术领域，具体涉及一种大容量数据存储设备及其数据销毁方法，包括多个存储模块、集中式数据调度器、数据验证和校正模块、安全监测和响应单元以及自适应数据管理单元，所述集中式数据调度器对数据进行预处理、并将数据指令下发至各存储模块的功能；数据验证和校正模块使用校验码技术，检测数据错误并自动触发纠错流程；安全监测和响应单元，确保数据的安全性和完整性；自适应数据管理单元，预测故障或性能下降，并自动调整数据分布和备份策略。本发明，通过持续学习各个存储模块的使用模式和环境因素，自动优化数据存储、检索和备份，提高系统整体的效率和可靠性。

Description

一种大容量数据存储设备及其数据销毁方法
技术领域
本发明涉及数据存储技术领域，尤其涉及一种大容量数据存储设备及其数据销毁方法。
背景技术
随着大数据、云计算和物联网技术的飞速发展，数据存储需求正以前所未有的速度增长。这种急剧增长不仅带来了存储容量的挑战，而且还对数据管理、安全性、完整性和检索速度提出了更高的要求，现有的大容量数据存储解决方案，尽管在处理日益增长的数据方面发挥了作用，但仍存在若干关键问题需要解决。
首先，在现有技术中，数据存储设备的可扩展性和灵活性不足，传统的数据存储方法往往采用集中式架构，当系统容量扩大或工作负载增加时，很难有效管理和优化资源分配，这可能导致系统性能瓶颈、响应时间延长和数据处理效率降低。
其次，数据安全和完整性一直是大容量数据存储领域关注的焦点，尽管有各种数据加密和保护机制，但它们通常无法全面应对物理损坏、系统故障、恶意攻击等多种威胁，此外，一旦数据需要销毁，现有技术通常无法确保数据的完全擦除，仍有泄露风险。
再次，现有的数据存储解决方案在处理复杂、动态变化的数据负载时，缺乏足够的智能分析和预测能力。当前的系统很少能实时监控设备状态，提前预测潜在故障，或自动调整策略以优化性能和资源利用。
因此，急需一种新型的大容量数据存储设备及其数据销毁方法，以解决上述问题，特别是在数据管理的智能化、数据安全和完整性保障以及高效的数据销毁方面，满足现代大数据应用场景的复杂需求。
发明内容
基于上述目的，本发明提供了一种大容量数据存储设备及其数据销毁方法。
一种大容量数据存储设备，包括多个存储模块、集中式数据调度器、数据验证和校正模块、安全监测和响应单元以及自适应数据管理单元，其中，
多个独立的存储模块，每个存储模块具有独立的控制接口，用于数据接收、存储和传输，每个存储模块通过内部数据总线与集中式数据调度器相连；
所述集中式数据调度器，具备从各存储模块接收数据输入、对数据进行预处理、并将数据指令下发至各存储模块的功能，集中式数据调度器通过实时数据重复删除和压缩技术，减少数据冗余；
数据验证和校正模块，与存储模块和集中式数据调度器相连，实时监控数据的完整性和一致性，数据验证和校正模块使用校验码技术，检测数据错误并自动触发纠错流程；
安全监测和响应单元，实时监控存储模块的物理和数据安全状态，协同数据验证和校正模块，确保数据的安全性和完整性；
自适应数据管理单元，使用机器学习算法实时分析各存储模块的工作负载、性能和可靠性，预测故障或性能下降，并自动调整数据分布和备份策略，该自适应数据管理单元通过持续学习各个存储模块的使用模式和环境因素，自动优化数据存储、检索和备份，提高系统整体的效率和可靠性。
进一步的，所述存储模块具体包括：
文本数据存储模块，专门用于存储各种文本文件和文档，包括Word文档、PDF文件和纯文本文件；
图像数据存储模块，用于存储图片文件，包括JPEG、PNG以及RAW格式；
视频数据存储模块，用于存储各种视频文件和流媒体数据，包括MP4、AVI和MOV格式；
大数据和分析存储模块，用于存储大规模数据集和数据库；
敏感数据存储模块，为涉及高度隐私和安全要求的数据而设，包括个人信息、财务数据和医疗记录。
进一步的，所述集中式数据调度器具体包括：
数据接收：集中式数据调度器从多个存储模块中接收数据输入，每个存储模块都通过内部通信协议与集中式数据调度器通信，将存储的新数据、修改的数据或请求的数据传输给集中式数据调度器；集中式数据调度器对接收到的数据进行快速扫描，利用内置算法和元数据信息识别数据的类型，该类型包括文本、图像、视频、大数据或敏感数据；
根据数据类型，集中式数据调度器启动相应的预处理程序：
对于文本数据，集中式数据调度器进行文本压缩或全文索引创建；
对于图像数据，集中式数据调度器进行图像优化、压缩或格式转换；
对于视频数据，集中式数据进行视频压缩、格式转换或编码；
对于大数据，集中式数据调度器执行初步数据分析，包括统计、分类或聚合；
对于敏感数据，集中式数据调度器启动加密或红action处理；
预处理完成，集中式数据调度器根据数据的类型和处理需求，生成数据指令；
根据生成的数据指令，集中式数据调度器通过内部通信协议，将对应指令分发至相应的存储模块，每个存储模块接收指令后，按照指令内容执行相应的操作。
进一步的，所述数据验证和校正模块具有多维度校验策略和自动化微调节回复能力，具体包括：
数据验证和校正模块在校验数据完整性和一致性的过程中，实行综合性多维度校验策略，该策略不依赖单一的数据特征或校验方法，综合考虑数据包的多个属性和维度：
大小校验：验证数据包的大小信息，确保在传输过程中不被截断或额外附加内容；
时间戳对比：通过比对数据的时间戳与预设的有效期，确认数据的时效性和有效性；
权限验证：校验数据的访问和修改权限，确保数据的处理过程符合安全和隐私要求；
内容一致性：通过哈希算法对比，验证数据内容在传输前后的一致性，确保数据在传输过程中未发生改变；
在数据验证和校正模块中检测到数据的不一致或错误时，启动自动化微调节回复的纠错回复程序并动态调整：
错误类型识别：识别出数据错误的类型，包括是否为由网络波动引起的错误或是存储介质的物理损坏所致；
动态参数调整：根据错误类型和历史纠错效果，自动调整纠错算法的参数，包括修改错误容忍度、调整数据恢复的优先级；
智能资源分配：在多任务同时进行的情况下，分配处理资源，确保关键数据的纠错工作得到优先保障，同时保持系统性能的稳定。
进一步的，所述纠错算法为哈明码，在哈明码中设数据字为4位，使用3位校验码来纠正单个比特的错误，纠错步骤如下：
设原始数据为D1,D2,D3,D4，引入校验位P1,P2,P4，校验位的计算公式如下：
P1=D1⊕D2⊕D4；
P2=D1⊕D3⊕D4；
P4=D2⊕D3⊕D4；
当接收到7位的编码时，进行检查和纠正错误，
可调整的参数包括数据位的数量、校验位的数量和位置。
进一步的，所述安全监测和响应单元实时监控各存储模块的物理和数据安全状态，具体包括：
物理安全监控：安全监测和响应单元监控存储硬件的物理状态，包括温度、湿度、震动参数，以预防硬件故障或损坏引起的数据丢失或损坏；
数据访问监控：安全监测和响应单元监控所有向存储模块的数据访问请求，确保只有经过授权的请求才能访问数据，同时检测并记录任何异常访问尝试；
实时风险响应：在检测到潜在风险时，安全监测和响应单元采取限制对特定存储模块的访问、触发额外的数据备份或启动快速修复程序的措施。
进一步的，所述自适应数据管理单元具体包括：
深度性能分析：自适应数据管理单元使用深度学习网络，实时分析存储模块的多维度参数，包括I/O速度、延迟、并发访问量及错误率，预测各模块在不同工作负载下的性能表现；
预测性故障识别：通过集成的长短期记忆(LSTM)网络，识别出导致故障的细微模式和长期趋势；
智能数据分布调整：自适应数据管理单元基于存储模块的实时性能和预测的未来状态，动态调整数据的分布。
进一步的，所述深度学习网络实时分析存储模块的多维度参数包括参数输入与特征提取、时序数据处理、实时性能评估以及预测与决策支持，具体如下：
参数输入与特征提取：输入向量含有各种性能参数，通过CNN提取特征；
时序数据处理：使用自注意力机制来处理序列数据，对于每个输入的特征集，自注意力机制计算输入之间的内部相关性，计算过程为：自注意力计算:；
其中，、/>和/>分别是查询、键和值，均为/>的线性变换，/>是键的维度，为激活函数，/>表示转置操作；多头自注意力：使用多头自注意力机制来捕获数据的不同表示形式，将/>、/>和/>分解为多个头,然后独立计算注意力并重新组合结果；
前馈神经网络：每个注意力输出都会通过前馈神经网络，包括ReLU激活的线性层：，其中，/>、/>为第一层线性转换的权重和偏置，/>、/>为第二层线性转换的权重和偏置；
实时性能评估与预测:
自注意力机制输出直接用于评估和预测，输出层是一个线性层，用于将自注意力机制的输出映射到预期的输出范围；
输出层为:是最终的性能评估或预测，/>、/>为输出层的权重和偏置，/>为输出。
进一步的，所述智能数据分布调整具体包括：
基于以上的深度性能分析和预测性故障识别，通过强化学习算法构建一个决策过程，该强化学习算法不断尝试新的数据分布策略，并通过内置的奖励系统获取反馈，奖励系统基于操作结果给出积极或消极的奖励；
通过实施的策略来动态调整数据的分布，包括将数据从预期会出现性能瓶颈或高风险故障的存储模块中迁移出去，转移到性能更稳定、风险更低的模块中，考虑数据迁移的成本，以及对整体系统性能和可靠性的影响。
一种数据销毁方法，由上述的一种大容量数据存储设备来执行，包括以下步骤：
S1：全面扫描与分类，
实施自动扫描，覆盖存储设备的每个部分，确保没有数据被遗漏；
分类数据，明确标记待销毁的数据；
S2：深度逻辑删除，
采用数据擦除工具，对选定数据执行多轮重写，彻底消除数据痕迹；
重写过程采用随机数据，确保原数据不可恢复；
S3：物理区域隔离，
定位已逻辑删除数据的物理存储位置，完全隔离该区域；
为隔离区域标记，物理销毁工作仅限于该隔离区域，确保整个存储设备的完整性；
S4：物理销毁，
对隔离区域实施彻底的物理销毁，包括高强度磁化、粉碎或熔化，在安全的受控环境中执行销毁，彻底消除任何数据恢复的可能性。
本发明的有益效果：
本发明，该大容量数据存储设备采用了先进的自适应数据管理单元，通过实时分析存储模块的工作状态，如I/O速度、延迟、并发访问量及错误率，智能化的监控大大提高了系统的响应速度和处理能力，能够预测可能的故障或性能下降，自动调整数据分布和备份策略，从而实现了对大数据环境下复杂应用的高效支持。
本发明，在数据存储的各个阶段，该设备都实施了严格的安全措施，通过引入数据验证和校正模块，结合先进的多维度校验和自动化微调节策略，设备能够实时监控数据的完整性和一致性，在数据销毁方面，采用了四阶段的彻底数据擦除方法，不仅逻辑删除数据，还对物理存储区域进行精确定位和销毁，彻底消除数据泄露的风险。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的存储设备各模块结构示意图；
图2为本发明实施例的数据销毁方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
实施例1
如图1所示，一种大容量数据存储设备，包括多个存储模块、集中式数据调度器、数据验证和校正模块、安全监测和响应单元以及自适应数据管理单元，其中，
多个独立的存储模块，每个存储模块具有独立的控制接口，用于数据接收、存储和传输，每个存储模块通过内部数据总线与集中式数据调度器相连；
集中式数据调度器，具备从各存储模块接收数据输入、对数据进行预处理、并将数据指令下发至各存储模块的功能，集中式数据调度器通过实时数据重复删除和压缩技术，减少数据冗余，提高存储空间利用率；
数据验证和校正模块，与存储模块和集中式数据调度器相连，实时监控数据的完整性和一致性，数据验证和校正模块使用校验码技术，检测数据错误并自动触发纠错流程，提高数据的可靠性；
安全监测和响应单元，实时监控存储模块的物理和数据安全状态，协同数据验证和校正模块，确保数据的安全性和完整性；
自适应数据管理单元，使用机器学习算法实时分析各存储模块的工作负载、性能和可靠性，预测故障或性能下降，并自动调整数据分布和备份策略，该自适应数据管理单元通过持续学习各个存储模块的使用模式和环境因素，自动优化数据存储、检索和备份，提高系统整体的效率和可靠性。
存储模块具体包括：
文本数据存储模块，专门用于存储各种文本文件和文档，包括Word文档、PDF文件和纯文本文件；
图像数据存储模块，用于存储图片文件，包括JPEG、PNG以及RAW格式；
视频数据存储模块，用于存储各种视频文件和流媒体数据，包括MP4、AVI和MOV格式；
大数据和分析存储模块，用于存储大规模数据集和数据库；
敏感数据存储模块，为涉及高度隐私和安全要求的数据而设，包括个人信息、财务数据和医疗记录；
每个特定的存储模块都根据所处理数据的特性进行了优化，从而在存储、检索和处理各自类型的数据时表现出高效率和性能，集中式数据调度器根据数据的类型，通过内部通信协议和接口，将数据指令智能分配到对应的专用存储模块，实现数据管理的最优化，提高整体系统的性能和响应速度，通过这样的细化和专用设计，每种类型的数据都可以在为其量身定制的环境中得到最有效的处理，从而提高整个系统的效率和可靠性。同时，这种模块化的方法也使得未来根据需要扩展或升级特定类型的存储变得更加容易和可行。
集中式数据调度器具体包括：
数据接收：集中式数据调度器从多个存储模块中接收数据输入，每个存储模块都通过内部通信协议与集中式数据调度器通信，将存储的新数据、修改的数据或请求的数据传输给集中式数据调度器；集中式数据调度器对接收到的数据进行快速扫描，利用内置算法和元数据信息识别数据的类型，该类型包括文本、图像、视频、大数据或敏感数据；
根据数据类型，集中式数据调度器启动相应的预处理程序：
对于文本数据，集中式数据调度器进行文本压缩或全文索引创建；
对于图像数据，集中式数据调度器进行图像优化、压缩或格式转换；
对于视频数据，集中式数据进行视频压缩、格式转换或编码；
对于大数据，集中式数据调度器执行初步数据分析，包括统计、分类或聚合；
对于敏感数据，集中式数据调度器启动加密或红action处理；
预处理完成，集中式数据调度器根据数据的类型和处理需求，生成数据指令，例如，如果一个图像文件经过压缩，调度器将生成一个指令要求图像数据存储模块保存这个已压缩的文件；
根据生成的数据指令，集中式数据调度器通过内部通信协议，将对应指令分发至相应的存储模块，每个存储模块接收指令后，按照指令内容执行相应的操作，如保存、删除或修改数据；
通过上述工作流程，集中式数据调度器能够确保数据在整个系统中的高效、有序和正确流动，从而满足各种应用场景的需求，提高整体系统的性能和稳定性。
数据验证和校正模块具有多维度校验策略和自动化微调节回复能力，具体包括：
数据验证和校正模块在校验数据完整性和一致性的过程中，实行综合性多维度校验策略，该策略不依赖单一的数据特征或校验方法，综合考虑数据包的多个属性和维度：
大小校验：验证数据包的大小信息，确保在传输过程中不被截断或额外附加内容；
时间戳对比：通过比对数据的时间戳与预设的有效期，确认数据的时效性和有效性；
权限验证：校验数据的访问和修改权限，确保数据的处理过程符合安全和隐私要求；
内容一致性：通过哈希算法对比，验证数据内容在传输前后的一致性，确保数据在传输过程中未发生改变；
该多维度校验过程形成了一个强大的、能够全面覆盖数据各个方面的验证体系，大大减少了因单一校验机制失效而引起的数据损坏风险；
在数据验证和校正模块中检测到数据的不一致或错误时，启动自动化微调节回复的纠错回复程序并动态调整：
错误类型识别：识别出数据错误的类型，包括是否为由网络波动引起的错误或是存储介质的物理损坏所致；
动态参数调整：根据错误类型和历史纠错效果，自动调整纠错算法的参数，包括修改错误容忍度、调整数据恢复的优先级；
智能资源分配：在多任务同时进行的情况下，分配处理资源，确保关键数据的纠错工作得到优先保障，同时保持系统性能的稳定；
通过这两大技术特点，数据验证和校正模块不仅能够确保在多方面全面地验证数据的完整性和一致性，还能在发现问题时，自动、智能地进行纠错，具有高度的灵活性和自我优化能力，显著提高数据处理的准确性和系统的稳健性。
纠错算法为哈明码，在哈明码中设数据字为4位，使用3位校验码来纠正单个比特的错误，纠错步骤如下：
设原始数据为D1,D2,D3,D4，引入校验位P1,P2,P4（校验位的位置是2的幂次），校验位的计算公式如下：
P1=D1⊕D2⊕D4；
P2=D1⊕D3⊕D4；
P4=D2⊕D3⊕D4；
当接收到7位的编码（4位数据和3位校验码）时，进行检查和纠正错误，
可调整的参数包括数据位的数量、校验位的数量和位置。
安全监测和响应单元实时监控各存储模块的物理和数据安全状态，具体包括：
物理安全监控：安全监测和响应单元监控存储硬件的物理状态，包括温度、湿度、震动参数，以预防硬件故障或损坏引起的数据丢失或损坏；
数据访问监控：安全监测和响应单元监控所有向存储模块的数据访问请求，确保只有经过授权的请求才能访问数据，同时检测并记录任何异常访问尝试；
实时风险响应：在检测到潜在风险时，安全监测和响应单元采取限制对特定存储模块的访问、触发额外的数据备份或启动快速修复程序的措施；
通过以上功能，安全监测和响应单元有效地保护了数据存储设备的物理和数据安全，与数据验证和校正模块紧密协作，确保数据的安全性和完整性。
自适应数据管理单元具体包括：
深度性能分析：自适应数据管理单元使用深度学习网络，实时分析存储模块的多维度参数，包括I/O速度、延迟、并发访问量及错误率，预测各模块在不同工作负载下的性能表现；
预测性故障识别：通过集成的长短期记忆(LSTM)网络，识别出导致故障的细微模式和长期趋势，例如硬件的轻微但持续的性能下降，它能够准确地预测并防止由这些因素引起的潜在故障，这一点是传统的反应式故障响应策略所不具备的；
该长短期记忆（LSTM）网络执行以下操作：
a) 数据预处理：通过采集各存储模块的运行参数，如读写错误率、I/O访问延迟、硬件健康状态指标以及其他系统日志和警报，将这些多维度的原始数据同步输入到LSTM网络，经过归一化或标准化处理，转换为网络可分析的序列数据；
b) 特征学习：LSTM网络通过其内部的门控机制，学习在不同时间点的参数状态序列，自动提取出对预测系统性能和可靠性至关重要的隐藏特征和时间依赖关系；该网络能够在长序列中识别并记忆关键事件，同时遗忘在当前上下文中不再相关的信息，从而准确捕捉到潜在的风险模式；
c) 故障预测：基于所学习的隐藏特征和时间依赖关系，LSTM网络能够预测未来一段时间内系统的可能状态，包括潜在的故障点和性能下降；系统通过分析这些预测结果，识别出可能导致故障的细微模式和长期趋势，例如由温度波动、连续的高负载操作或反复的小错误累积等因素引起；
d) 预防性维护指令：一旦LSTM网络识别出有风险的模式或趋势，该存储设备会启动预防性维护措施，包括但不限于重新分配数据负载，激活备份存储模块，或调度离线维护；通过这些措施，系统能够在故障发生前采取预防措施，确保数据的完整性和存储服务的连续性；
智能数据分布调整：自适应数据管理单元基于存储模块的实时性能和预测的未来状态，动态调整数据的分布；
自适应数据管理单元还智能地调整数据备份策略，通过分析存储模块的可靠性，以及对数据丢失风险的评估，它能确定哪些数据更可能需要更频繁的备份，不同于固定的备份计划，此方法可确保关键数据的安全，同时最大程度地节约资源。
深度学习网络实时分析存储模块的多维度参数包括参数输入与特征提取、时序数据处理、实时性能评估以及预测与决策支持，具体如下：
参数输入与特征提取：输入向量含有各种性能参数，例如/>/O速度、延迟，通过CNN提取特征；
时序数据处理：使用自注意力机制来处理序列数据，对于每个输入的特征集，自注意力机制计算输入之间的内部相关性，计算过程为：自注意力计算:；
其中，、/>和/>分别是查询、键和值，均为/>的线性变换，/>是键的维度，为激活函数，/>表示转置操作；多头自注意力：使用多头自注意力机制来捕获数据的不同表示形式，将/>、/>和/>分解为多个头,然后独立计算注意力并重新组合结果；
前馈神经网络：每个注意力输出都会通过前馈神经网络，包括ReLU激活的线性层：，其中，/>、/>为第一层线性转换的权重和偏置，/>、/>为第二层线性转换的权重和偏置；
实时性能评估与预测:
自注意力机制输出直接用于评估和预测，输出层是一个线性层，用于将自注意力机制的输出映射到预期的输出范围；
输出层为:是最终的性能评估或预测，具体是一个分类结果(如系统状态)或未来某个指标的，/>、/>为输出层的权重和偏置，/>为输出。
智能数据分布调整具体包括：
基于以上的深度性能分析和预测性故障识别，通过强化学习算法构建一个决策过程，该强化学习算法不断尝试新的数据分布策略，并通过内置的奖励系统获取反馈，奖励系统基于操作结果（如提高的系统性能、减少的错误次数、预防的故障等）给出积极或消极的奖励；
定义状态和行动:
设为所有可能的系统状态集合(例如，各个存储模块的性能和可靠性参数)；
设为所有可能的行动集合(例如，移动数据、复制数据、修改数据分配等)；
奖励函数:
定义一个奖励函数，该函数映射一个状态行动对到一个实数值的奖励，这表示智能体选择某个行动后应获得的即时回报；
Q值函数:Q值函数是一个对给定状态行动对预期回报进行评估的函数，初始化为/>对于所有/>和/>；
学习过程:
在每一步中，智能体观察当前状态，采取行动/>，观察奖励/>和下一个状态/>，并更新/>值函数如下:
；
其中：
是学习率/>，决定了新获得信息的融合程度；
是折扣因子/>，用于平衡即时奖励和未来奖励的重要性；
通过迭代此过程，智能体逐渐学习了在给定状态下执行哪些行动会获得最大的长期回报，即学习了一个策略，它指定了在每个状态下应采取的最佳行动，通过这种方式，系统能够自我调整数据分布策略，动态响应各种情况，以最大限度地提高性能和可靠性。
通过实施的策略来动态调整数据的分布，包括将数据从预期会出现性能瓶颈或高风险故障的存储模块中迁移出去，转移到性能更稳定、风险更低的模块中，考虑数据迁移的成本，以及对整体系统性能和可靠性的影响。
实施例2
如图2所示，一种数据销毁方法，由上述的一种大容量数据存储设备来执行，包括以下步骤：
S1：全面扫描与分类，实施自动扫描，覆盖存储设备的每个部分，确保没有数据被遗漏；分类数据，明确标记待销毁的数据；
S2：深度逻辑删除，采用数据擦除工具，对选定数据执行多轮重写，彻底消除数据痕迹；重写过程采用随机数据，确保原数据不可恢复；
S3：物理区域隔离，定位已逻辑删除数据的物理存储位置，完全隔离该区域；为隔离区域标记，物理销毁工作仅限于该隔离区域，确保整个存储设备的完整性；
S4：物理销毁，对隔离区域实施彻底的物理销毁，包括高强度磁化、粉碎或熔化，在安全的受控环境中执行销毁，彻底消除任何数据恢复的可能性
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明旨在涵盖落入权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种大容量数据存储设备，其特征在于，包括多个存储模块、集中式数据调度器、数据验证和校正模块、安全监测和响应单元以及自适应数据管理单元，其中，
多个独立的存储模块，每个存储模块具有独立的控制接口，用于数据接收、存储和传输，每个存储模块通过内部数据总线与集中式数据调度器相连，所述存储模块具体包括：
文本数据存储模块，专门用于存储各种文本文件和文档，包括Word文档、PDF文件和纯文本文件；
图像数据存储模块，用于存储图片文件，包括JPEG、PNG以及RAW格式；
视频数据存储模块，用于存储各种视频文件和流媒体数据，包括MP4、AVI和MOV格式；
大数据和分析存储模块，用于存储大规模数据集和数据库；
敏感数据存储模块，为涉及高度隐私和安全要求的数据而设，包括个人信息、财务数据和医疗记录；
所述集中式数据调度器，具备从各存储模块接收数据输入、对数据进行预处理、并将数据指令下发至各存储模块的功能，集中式数据调度器通过实时数据重复删除和压缩技术，减少数据冗余；
数据验证和校正模块，与存储模块和集中式数据调度器相连，实时监控数据的完整性和一致性，数据验证和校正模块使用校验码技术，检测数据错误并自动触发纠错流程；
安全监测和响应单元，实时监控存储模块的物理和数据安全状态，协同数据验证和校正模块，确保数据的安全性和完整性；
自适应数据管理单元，使用机器学习算法实时分析各存储模块的工作负载、性能和可靠性，预测故障或性能下降，并自动调整数据分布和备份策略；
所述自适应数据管理单元具体包括：
深度性能分析：自适应数据管理单元使用深度学习网络，实时分析存储模块的多维度参数，包括I/O速度、延迟、并发访问量及错误率，预测各模块在不同工作负载下的性能表现；
预测性故障识别：通过集成的长短期记忆网络，识别出导致故障的细微模式和长期趋势；
智能数据分布调整：自适应数据管理单元基于存储模块的实时性能和预测的未来状态，动态调整数据的分布；
所述深度学习网络实时分析存储模块的多维度参数包括参数输入与特征提取、时序数据处理、实时性能评估以及预测与决策支持，具体如下：
参数输入与特征提取：输入向量含有各种性能参数，通过CNN提取特征；
时序数据处理：使用自注意力机制来处理序列数据，对于每个输入的特征集，自注意力机制计算输入之间的内部相关性，计算过程为：自注意力计算:；
其中，、/>和/>分别是查询、键和值，均为/>的线性变换，/>是键的维度，/>为激活函数，/>表示转置操作；多头自注意力：使用多头自注意力机制来捕获数据的不同表示形式，将/>、/>和/>分解为多个头,然后独立计算注意力并重新组合结果；
前馈神经网络：每个注意力输出都会通过前馈神经网络，包括ReLU激活的线性层：，其中，/>、/>为第一层线性转换的权重和偏置，/>、/>为第二层线性转换的权重和偏置；
实时性能评估与预测:
自注意力机制输出直接用于评估和预测，输出层是一个线性层，用于将自注意力机制的输出映射到预期的输出范围；
输出层为:是最终的性能评估或预测，/>、/>为输出层的权重和偏置，/>为输出；
所述智能数据分布调整具体包括：
基于深度性能分析和预测性故障识别，通过强化学习算法构建一个决策过程，该强化学习算法不断尝试新的数据分布策略，并通过内置的奖励系统获取反馈，奖励系统基于操作结果给出积极或消极的奖励；
通过实施的策略来动态调整数据的分布，包括将数据从预期会出现性能瓶颈或高风险故障的存储模块中迁移出去，转移到性能更稳定、风险更低的模块中。
2.根据权利要求1所述的一种大容量数据存储设备，其特征在于，所述集中式数据调度器具体包括：
数据接收：集中式数据调度器从多个存储模块中接收数据输入，每个存储模块都通过内部通信协议与集中式数据调度器通信，将存储的新数据、修改的数据或请求的数据传输给集中式数据调度器；集中式数据调度器对接收到的数据进行快速扫描，利用内置算法和元数据信息识别数据的类型，该类型包括文本、图像、视频、大数据或敏感数据；
根据数据类型，集中式数据调度器启动相应的预处理程序：
对于文本数据，集中式数据调度器进行文本压缩或全文索引创建；
对于图像数据，集中式数据调度器进行图像优化、压缩或格式转换；
对于视频数据，集中式数据进行视频压缩、格式转换或编码；
对于大数据，集中式数据调度器执行初步数据分析，包括统计、分类或聚合；
对于敏感数据，集中式数据调度器启动加密或红action处理；
预处理完成，集中式数据调度器根据数据的类型和处理需求，生成数据指令；
根据生成的数据指令，集中式数据调度器通过内部通信协议，将对应指令分发至相应的存储模块，每个存储模块接收指令后，按照指令内容执行相应的操作。
3.根据权利要求2所述的一种大容量数据存储设备，其特征在于，所述数据验证和校正模块具有多维度校验策略和自动化微调节回复能力，具体包括：
数据验证和校正模块在校验数据完整性和一致性的过程中，实行综合性多维度校验策略，该策略不依赖单一的数据特征或校验方法，综合考虑数据包的多个属性和维度：
大小校验：验证数据包的大小信息，确保在传输过程中不被截断或额外附加内容；
时间戳对比：通过比对数据的时间戳与预设的有效期，确认数据的时效性和有效性；
权限验证：校验数据的访问和修改权限，确保数据的处理过程符合安全和隐私要求；
内容一致性：通过哈希算法对比，验证数据内容在传输前后的一致性，确保数据在传输过程中未发生改变；
在数据验证和校正模块中检测到数据的不一致或错误时，启动自动化微调节回复的纠错回复程序并动态调整：
错误类型识别：识别出数据错误的类型，包括是否为由网络波动引起的错误或是存储介质的物理损坏所致；
动态参数调整：根据错误类型和历史纠错效果，自动调整纠错算法的参数，包括修改错误容忍度、调整数据恢复的优先级；
智能资源分配：在多任务同时进行的情况下，分配处理资源，确保关键数据的纠错工作得到优先保障，同时保持系统性能的稳定。
4.根据权利要求3所述的一种大容量数据存储设备，其特征在于，所述纠错算法为哈明码，在哈明码中设数据字为4位，使用3位校验码来纠正单个比特的错误，纠错步骤如下：
设原始数据为D1,D2,D3,D4，引入校验位P1,P2,P4，校验位的计算公式如下：
P1=D1⊕D2⊕D4；
P2=D1⊕D3⊕D4；
P4=D2⊕D3⊕D4；
当接收到7位的编码时，进行检查和纠正错误，
可调整的参数包括数据位的数量、校验位的数量和位置。
5.根据权利要求4所述的一种大容量数据存储设备，其特征在于，所述安全监测和响应单元实时监控各存储模块的物理和数据安全状态，具体包括：
物理安全监控：安全监测和响应单元监控存储硬件的物理状态，包括温度、湿度、震动参数，以预防硬件故障或损坏引起的数据丢失或损坏；
数据访问监控：安全监测和响应单元监控所有向存储模块的数据访问请求，确保只有经过授权的请求才能访问数据，同时检测并记录任何异常访问尝试；
实时风险响应：在检测到潜在风险时，安全监测和响应单元采取限制对潜在风险所在存储模块的访问、触发额外的数据备份或启动快速修复程序的措施。
6.一种数据销毁方法，由权利要求1-5任一项所述的一种大容量数据存储设备来执行，其特征在于，包括以下步骤：
S1：全面扫描与分类，
实施自动扫描，覆盖存储设备的每个部分，确保没有数据被遗漏；
分类数据，明确标记待销毁的数据；
S2：深度逻辑删除，
采用数据擦除工具，对选定数据执行多轮重写，彻底消除数据痕迹；
重写过程采用随机数据，确保原数据不可恢复；
S3：物理区域隔离，
定位已逻辑删除数据的物理存储位置，完全隔离该区域；
为隔离区域标记，物理销毁工作仅限于该隔离区域，确保整个存储设备的完整性；
S4：物理销毁，
对隔离区域实施彻底的物理销毁，包括高强度磁化、粉碎或熔化，在安全的受控环境中执行销毁，彻底消除任何数据恢复的可能性。
CN202311566479.0A 2023-11-23 2023-11-23 一种大容量数据存储设备及其数据销毁方法 Active CN117270795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311566479.0A CN117270795B (zh) 2023-11-23 2023-11-23 一种大容量数据存储设备及其数据销毁方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311566479.0A CN117270795B (zh) 2023-11-23 2023-11-23 一种大容量数据存储设备及其数据销毁方法

Publications (2)

Publication Number Publication Date
CN117270795A CN117270795A (zh) 2023-12-22
CN117270795B true CN117270795B (zh) 2024-02-09

Family

ID=89203118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311566479.0A Active CN117270795B (zh) 2023-11-23 2023-11-23 一种大容量数据存储设备及其数据销毁方法

Country Status (1)

Country Link
CN (1) CN117270795B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458023A (zh) * 2013-08-30 2013-12-18 清华大学 分布式闪存存储系统
CN112583583A (zh) * 2019-09-28 2021-03-30 英特尔公司 使用边缘服务边车的安全存储器环境中的动态共享
CN116880781A (zh) * 2023-09-08 2023-10-13 合肥康芯威存储技术有限公司 一种存储设备及其控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6842440B2 (ja) * 2018-04-25 2021-03-17 株式会社日立製作所 性能分析方法および管理計算機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458023A (zh) * 2013-08-30 2013-12-18 清华大学 分布式闪存存储系统
CN112583583A (zh) * 2019-09-28 2021-03-30 英特尔公司 使用边缘服务边车的安全存储器环境中的动态共享
CN116880781A (zh) * 2023-09-08 2023-10-13 合肥康芯威存储技术有限公司 一种存储设备及其控制方法

Also Published As

Publication number Publication date
CN117270795A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
WO2020046286A1 (en) Integrated cybersecurity risk assessment and state monitoring for electrical power grid
CN111444072B (zh) 客户端的异常识别方法、装置、计算机设备和存储介质
US10282458B2 (en) Event notification system with cluster classification
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
CN116781423B (zh) 一种工业互联网数据的共享方法及系统
Tian et al. Cloud reliability and efficiency improvement via failure risk based proactive actions
Raja et al. Combined analysis of support vector machine and principle component analysis for IDS
EP3785128A2 (en) System and method for creating recommendation of splitting and merging microservice
Lin et al. Collaborative alert ranking for anomaly detection
CN114881349A (zh) 基于大数据分析的预警方法及存储介质
Lima et al. Smart predictive maintenance for high-performance computing systems: a literature review
Eckart et al. Failure prediction models for proactive fault tolerance within storage systems
CN117270795B (zh) 一种大容量数据存储设备及其数据销毁方法
CN117827743A (zh) 档案管理用数据交互系统
CN117331794A (zh) 基于大数据的应用软件监控分析系统及方法
KR102188987B1 (ko) 서버 관리 장치를 구비한 클라우드 서버 및 로컬 서버를 이용하는 제로클라이언트 단말기용 클라우드 컴퓨팅 시스템의 운영 방법
Ullah et al. An architecture-driven adaptation approach for big data cyber security analytics
CN114598556B (zh) It基础设施配置完整性保护方法及保护系统
CN115098326A (zh) 一种系统异常检测方法及装置、存储介质及电子设备
Xu et al. Autonomic failure prediction based on manifold learning for large-scale distributed systems
CN117971474A (zh) 一种自适应能效及资源动态配置的数据中心口才训练系统
CN117788190A (zh) 一种基于电子发票凭证的账本数据库管理方法
Singh et al. Strategies for Data Backup and Recovery in the Cloud
US11416506B2 (en) Facilitating temporal data management for anomalous state detection in data centers
CN117972367B (zh) 一种数据存储预测方法、数据存储子系统及智能计算平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant