CN116701150B - 一种基于物联网的存储数据安全监管系统及方法 - Google Patents

一种基于物联网的存储数据安全监管系统及方法 Download PDF

Info

Publication number
CN116701150B
CN116701150B CN202310724240.5A CN202310724240A CN116701150B CN 116701150 B CN116701150 B CN 116701150B CN 202310724240 A CN202310724240 A CN 202310724240A CN 116701150 B CN116701150 B CN 116701150B
Authority
CN
China
Prior art keywords
data
load
time
real
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310724240.5A
Other languages
English (en)
Other versions
CN116701150A (zh
Inventor
丁骏鹏
唐张杰
邓海蓉
蒋梦姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yinshan Technology Co ltd
Original Assignee
Shenzhen Yinshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yinshan Technology Co ltd filed Critical Shenzhen Yinshan Technology Co ltd
Priority to CN202310724240.5A priority Critical patent/CN116701150B/zh
Publication of CN116701150A publication Critical patent/CN116701150A/zh
Application granted granted Critical
Publication of CN116701150B publication Critical patent/CN116701150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于物联网的存储数据安全监管系统及方法，属于固态硬盘数据存储监管技术领域。本发明包括硬盘故障数据存储模块、数据标记分类模块、安全监管模块以及实时预警模块；所述硬盘故障数据存储模块的输出端与所述数据标记分类模块的输入端相连接；所述数据标记分类模块的输出端与所述安全监管模块的输入端相连接；所述安全监管模块的输出端与所述实时预警模块的输入端相连接。本发明能够解决固态硬盘存储领域掉盘预警问题，考虑持续高负载情况，提高硬盘存储数据安全性，保障数据的计算和存储安全。

Description

一种基于物联网的存储数据安全监管系统及方法
技术领域
本发明涉及固态硬盘数据存储监管技术领域，具体为一种基于物联网的存储数据安全监管系统及方法。
背景技术
固态硬盘是用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元(FLASH芯片、DRAM芯片)以及缓存单元组成。整个固态硬盘结构无机械装置，全部是由电子芯片及电路板组成。作为硬盘，存储单元绝对是核心器件。相比于机械硬盘，在固态硬盘里面，闪存颗粒替代了机械磁盘成为了存储单元。闪存(Flash Memory)本质上是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信息)的存储器，数据删除不是以单个的字节为单位而是以固定的区块为单位。然而在固态硬盘的存储过程中，安全风险最大的故障就是掉盘现象，掉盘是指SSD存在问题导致的Windows在正常使用过程中突然卡住停止响应(有时会表现为蓝屏)，在SSD掉盘过程中，其不被电脑BIOS识别，导致无法正常驱动。直接表现为盘符消失，如果是系统盘会没办法进入系统，如果是非系统安装盘则是进入系统会看不到硬盘。掉盘一部分是由于系统原因，系统异常的情况下，不能识别SSD，从而表现为系统及BIOS不能认盘。另一部分是由于硬盘自身原因，其处于重负载或者持续高负载情况下，发生掉盘现象，这种掉盘会导致存储数据丢失，造成安全风险。目前大多数厂家，都会设置有负载极限，来提示重负载情形发生，即设定一定的负载阈值进行预警，然而却忽略在持续高负载(写入负载较高却未超出负载阈值的前提)下的掉盘处理，从而导致数据存储安全发生较大的风险。
发明内容
本发明的目的在于提供一种基于物联网的存储数据安全监管系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于物联网的存储数据安全监管方法，该方法包括以下步骤：
S1、获取固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；
S2、构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
S3、对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；
S4、基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率，设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入。
根据上述技术方案，所述构建数据分类模型包括：
获取在固态硬盘掉盘故障中负载变化超出阈值的历史数据，所述负载变化指在出现故障点时间之前的时间段T0内最高负载与最低负载之间的差值；
获取最高负载所在时间点，若存在最高负载所在时间点与出现故障点时间之间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
设置高负载阈值，获取超出高负载阈值的负载持续时间段记为高负载持续时间段，若存在最靠近出现故障点时间的高负载持续时间段的段尾时间点与出现故障点时间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
所述时间段T1为系统预设值。
根据上述技术方案，所述构建安全监管模型包括：
对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，所述负载数据包括低负载和不良负载；所述不良负载包括高负载和重负载；所述高负载与低负载以系统设定负载值A1分类，小于A1属于低负载，大于等于A1但小于固态硬盘额定负载的属于高负载；重负载指超过固态硬盘额定负载的负载数据；
构建时间周期T2，T2＞T0＞T1，在周期T2内进行单位时间周期性分割，记录下每一个分割点的负载数据，在每一段单位时间内以后序分割点的负载数据作为每一段单位时间的负载数据；
将每一组故障数据分割后，标记出高负载的休息时长；所述高负载的休息时长为任意两个相邻高负载单位时间之间的差值；
构建生成模型G(z；c1)，其表示从噪音z到数据样本空间的映射函数，其中c1表示多层感知机的参数；判别模型H(x；c2)，其表示对于输入样本x输出判断为真实数据的概率；(实质上其是一个标量，取0或1作为判别结果即可)；
基于训练数据生成多层感知机，所述多层感知机包括：
在训练样本中随机选取n个样本作为输入矩阵K，其中每个样本具有输入特征，所述输入特征中包括高负载的休息时长，隐藏层包含i个隐藏单元，计算得到的单隐藏层多层感知机输出：
U＝g(Kw1+b1)
Y＝Uw2+b2
其中，Y代表单隐藏层多层感知机输出；g代表激活函数；w1、w2分别代表隐藏层权重和输出层权重；b1、b2分别代表隐藏层偏置和输出层偏置；U代表隐藏层输出；
在上述技术方案中，围绕训练样本数据中的主要输入特征(即高负载的休息时长)，来对模型进行主导训练，主要目的是能够提供一种固态硬盘在未达到额定负载但是却持续数据高负载情况下的一种智能学习样本模型，根据这样的智能学习样本模型就可以清楚计算出高负载在什么样的持续时长下出现掉盘故障的概率，从而实现预警；
利用生成模型将随机噪声输入多层感知机进而得到假样本，利用判别模型是将样本数据输入多层感知机来判断样本数据是否为真实样本数据；所述样本数据中包括生成模型创建的假样本数据与训练样本中的真实样本数据；
在判别过程中，存在判别失误量超出一定数量时，对模型进行进一步优化；
优化公式如下：
其中，代表判别模型正确判定真实数据的对数期望；代表判别模型正确识别假样本的对数期望；V(H，G)代表优化后的模型输出。
根据上述技术方案，在步骤S4中，还包括：
基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型优化后的模型输出，生成判断结果；
基于优化过程中的判断结果正确率，设置影响系数输出实时的掉盘发生概率：
Lo＝k1*V0
其中，L0为输出实时的掉盘发生概率；k1代表影响系数；V0代表优化过程中的判断结果正确率；
设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入。
一种基于物联网的存储数据安全监管系统，该系统包括：硬盘故障数据存储模块、数据标记分类模块、安全监管模块以及实时预警模块；
所述硬盘故障数据存储模块用于存储固态硬盘的故障历史数据；所述数据标记分类模块用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；所述安全监管模块用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；所述实时预警模块基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率，设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述硬盘故障数据存储模块的输出端与所述数据标记分类模块的输入端相连接；所述数据标记分类模块的输出端与所述安全监管模块的输入端相连接；所述安全监管模块的输出端与所述实时预警模块的输入端相连接。
根据上述技术方案，所述硬盘故障数据存储模块包括数据采集单元和故障数据存储单元；
所述数据采集单元用于采集固态硬盘出现故障时的数据，并分离出掉盘数据类型；所述故障数据存储单元用于存储固态硬盘的故障历史数据；
所述数据采集单元的输出端与所述故障数据存储单元的输入端相连接。
根据上述技术方案，所述数据标记分类模块包括数据调用单元和数据标记单元；
所述数据调用单元用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据；所述数据标记单元用于对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；同时构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
所述数据调用单元的输出端与所述数据标记单元的输入端相连接。
根据上述技术方案，所述安全监管模块包括数据分割单元和安全监管单元；
所述数据分割单元用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据；所述安全监管单元用于构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；
所述数据分割单元的输出端与所述安全监管单元的输入端相连接。
根据上述技术方案，所述实时预警模块包括实时监测单元和预警单元；
所述实时监测单元基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率；所述预警单元设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述实时监测单元的输出端与所述预警单元的输入端相连接。
与现有技术相比，本发明所达到的有益效果是：本发明利用硬盘故障数据存储模块存储固态硬盘的故障历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据，对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，形成负载变化与掉盘发生概率之间的函数关系，基于物联网技术实时获取固态硬盘的负载数据，生成实时的掉盘发生概率，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入。本发明能够解决固态硬盘存储领域掉盘预警问题，防患于未然，考虑持续高负载情况，提高硬盘存储数据安全性，保障数据的计算和存储安全。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于物联网的存储数据安全监管系统及方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，在本实施例一中：获取固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
获取在固态硬盘掉盘故障中负载变化超出阈值的历史数据，所述负载变化指在出现故障点时间之前的时间段T0内最高负载与最低负载之间的差值；
获取最高负载所在时间点，若存在最高负载所在时间点与出现故障点时间之间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
设置高负载阈值，获取超出高负载阈值的负载持续时间段记为高负载持续时间段，若存在最靠近出现故障点时间的高负载持续时间段的段尾时间点与出现故障点时间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
所述时间段T1为系统预设值。
例如，在一段固态硬盘掉盘故障数据列中，故障点时间为10时，时间段取1小时，则在9点-10点钟进行遍历，发现最小负载为20，最大负载为200，时间点为9时58分，则差值为2分钟，若设置阈值为30秒，则当前段固态硬盘掉盘故障数据列不属于基于负载因素形成掉盘的历史数据；
对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，所述负载数据包括低负载和不良负载；所述不良负载包括高负载和重负载；所述高负载与低负载以系统设定负载值A1分类，小于A1属于低负载，大于等于A1但小于固态硬盘额定负载的属于高负载；重负载指超过固态硬盘额定负载的负载数据；
构建时间周期T2，T2＞T0＞T1，在周期T2内进行单位时间周期性分割，记录下每一个分割点的负载数据，在每一段单位时间内以后序分割点的负载数据作为每一段单位时间的负载数据；
将每一组故障数据分割后，标记出高负载的休息时长；所述高负载的休息时长为任意两个相邻高负载单位时间之间的差值；
例如以100作为额定负载，50作为A1；若有一段故障数据分割后为9点负载90、9点10分负载60、9点20负载90、9点30负载10、9点40负载60；
则有第一段负载记为60，第二段负载记为90；第三段负载记为10；则第二段与第三段之间则为高负载的休息时长；
构建生成模型G(z；c1)，其表示从噪音z到数据样本空间的映射函数，其中c1表示多层感知机的参数；判别模型H(x；c2)，其表示对于输入样本x输出判断为真实数据的概率；
基于训练数据生成多层感知机，所述多层感知机包括：
在训练样本中随机选取n个样本作为输入矩阵K，其中每个样本具有输入特征，所述输入特征中包括高负载的休息时长，隐藏层包含i个隐藏单元，计算得到的单隐藏层多层感知机输出：
U＝g(Kw1+b1)
Y＝Uw2+b2
其中，Y代表单隐藏层多层感知机输出；g代表激活函数；w1、w2分别代表隐藏层权重和输出层权重；b1、b2分别代表隐藏层偏置和输出层偏置；U代表隐藏层输出；
利用生成模型将随机噪声输入多层感知机进而得到假样本，利用判别模型是将样本数据输入多层感知机来判断样本数据是否为真实样本数据；所述样本数据中包括生成模型创建的假样本数据与训练样本中的真实样本数据；
在判别过程中，存在判别失误量超出一定数量时，对模型进行进一步优化；
优化公式如下：
其中，代表判别模型正确判定真实数据的对数期望；代表判别模型正确识别假样本的对数期望；V(H，G)代表优化后的模型输出。
基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型优化后的模型输出，生成判断结果；
基于优化过程中的判断结果正确率，设置影响系数输出实时的掉盘发生概率：
L0＝k1*V0
其中，L0为输出实时的掉盘发生概率；k1代表影响系数；V0代表优化过程中的判断结果正确率；
设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入。
在本实施例二中，还提供一种基于物联网的存储数据安全监管系统，该系统包括：硬盘故障数据存储模块、数据标记分类模块、安全监管模块以及实时预警模块；
所述硬盘故障数据存储模块用于存储固态硬盘的故障历史数据；所述数据标记分类模块用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；所述安全监管模块用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；所述实时预警模块基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率，设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述硬盘故障数据存储模块的输出端与所述数据标记分类模块的输入端相连接；所述数据标记分类模块的输出端与所述安全监管模块的输入端相连接；所述安全监管模块的输出端与所述实时预警模块的输入端相连接。
所述硬盘故障数据存储模块包括数据采集单元和故障数据存储单元；
所述数据采集单元用于采集固态硬盘出现故障时的数据，并分离出掉盘数据类型；所述故障数据存储单元用于存储固态硬盘的故障历史数据；
所述数据采集单元的输出端与所述故障数据存储单元的输入端相连接。
所述数据标记分类模块包括数据调用单元和数据标记单元；
所述数据调用单元用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据；所述数据标记单元用于对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；同时构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
所述数据调用单元的输出端与所述数据标记单元的输入端相连接。
所述安全监管模块包括数据分割单元和安全监管单元；
所述数据分割单元用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据；所述安全监管单元用于构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；
所述数据分割单元的输出端与所述安全监管单元的输入端相连接。
所述实时预警模块包括实时监测单元和预警单元；
所述实时监测单元基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率；所述预警单元设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述实时监测单元的输出端与所述预警单元的输入端相连接。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于物联网的存储数据安全监管方法，其特征在于：该方法包括以下步骤：
S1、获取固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；
S2、构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
S3、对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；
S4、基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率，设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述构建数据分类模型包括：
获取在固态硬盘掉盘故障中负载变化超出阈值的历史数据，所述负载变化指在出现故障点时间之前的时间段T0内最高负载与最低负载之间的差值；
获取最高负载所在时间点，若存在最高负载所在时间点与出现故障点时间之间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
设置高负载阈值，获取超出高负载阈值的负载持续时间段记为高负载持续时间段，若存在最靠近出现故障点时间的高负载持续时间段的段尾时间点与出现故障点时间的差值小于时间段T1，标记当前固态硬盘基于负载因素形成掉盘；
所述时间段T1为系统预设值；
所述构建安全监管模型包括：
对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，所述负载数据包括低负载和不良负载；所述不良负载包括高负载和重负载；所述高负载与低负载以系统设定负载值A1分类，小于A1属于低负载，大于等于A1但小于固态硬盘额定负载的属于高负载；重负载指超过固态硬盘额定负载的负载数据；
构建时间周期T2，T2＞T0＞T1，在周期T2内进行单位时间周期性分割，记录下每一个分割点的负载数据，在每一段单位时间内以后序分割点的负载数据作为每一段单位时间的负载数据；
将每一组故障数据分割后，标记出高负载的休息时长；所述高负载的休息时长为任意两个相邻高负载单位时间之间的差值；
构建生成模型G(z；c1)，其表示从噪音z到数据样本空间的映射函数，其中c1表示多层感知机的参数；判别模型H(x；c2)，其表示对于输入样本x输出判断为真实数据的概率；
基于训练数据生成多层感知机，所述多层感知机包括：
在训练样本中随机选取n个样本作为输入矩阵K，其中每个样本具有输入特征，所述输入特征中包括高负载的休息时长，隐藏层包含i个隐藏单元，计算得到的单隐藏层多层感知机输出：
U＝g(Kw1+b1)
Y＝Uw2+b2
其中，Y代表单隐藏层多层感知机输出；g代表激活函数；w1、w2分别代表隐藏层权重和输出层权重；b1、b2分别代表隐藏层偏置和输出层偏置；U代表隐藏层输出；
利用生成模型将随机噪声输入多层感知机进而得到假样本，利用判别模型是将样本数据输入多层感知机来判断样本数据是否为真实样本数据；所述样本数据中包括生成模型创建的假样本数据与训练样本中的真实样本数据；
在判别过程中，存在判别失误量超出一定数量时，对模型进行进一步优化；
优化公式如下：
其中，代表判别模型正确判定真实数据的对数期望；代表判别模型正确识别假样本的对数期望；V(H，G)代表优化后的模型输出。
2.根据权利要求1所述的一种基于物联网的存储数据安全监管方法，其特征在于：在步骤S4中，还包括：
基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型优化后的模型输出，生成判断结果；
基于优化过程中的判断结果正确率，设置影响系数输出实时的掉盘发生概率：
L0＝k1*V0
其中，L0为输出实时的掉盘发生概率；k1代表影响系数；V0代表优化过程中的判断结果正确率；
设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入。
3.应用如权利要求1所述的一种基于物联网的存储数据安全监管方法的一种基于物联网的存储数据安全监管系统，其特征在于：该系统包括：硬盘故障数据存储模块、数据标记分类模块、安全监管模块以及实时预警模块；
所述硬盘故障数据存储模块用于存储固态硬盘的故障历史数据；所述数据标记分类模块用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据，对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；所述安全监管模块用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据，构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；所述实时预警模块基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率，设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述硬盘故障数据存储模块的输出端与所述数据标记分类模块的输入端相连接；所述数据标记分类模块的输出端与所述安全监管模块的输入端相连接；所述安全监管模块的输出端与所述实时预警模块的输入端相连接。
4.根据权利要求3所述的一种基于物联网的存储数据安全监管系统，其特征在于：所述硬盘故障数据存储模块包括数据采集单元和故障数据存储单元；
所述数据采集单元用于采集固态硬盘出现故障时的数据，并分离出掉盘数据类型；所述故障数据存储单元用于存储固态硬盘的故障历史数据；
所述数据采集单元的输出端与所述故障数据存储单元的输入端相连接。
5.根据权利要求3所述的一种基于物联网的存储数据安全监管系统，其特征在于：所述数据标记分类模块包括数据调用单元和数据标记单元；
所述数据调用单元用于在硬盘故障数据存储模块中调用固态硬盘出现掉盘故障的历史数据；所述数据标记单元用于对历史数据进行分类处理，对负载变化超出阈值的历史数据进行标记；同时构建数据分类模型，对标记数据进行分离处理，识别出基于负载因素形成掉盘的历史数据，记为训练数据；
所述数据调用单元的输出端与所述数据标记单元的输入端相连接。
6.根据权利要求3所述的一种基于物联网的存储数据安全监管系统，其特征在于：所述安全监管模块包括数据分割单元和安全监管单元；
所述数据分割单元用于对训练数据进行时间周期性分割处理，标识出每一段时间周期下的负载数据；所述安全监管单元用于构建安全监管模型，形成负载变化与掉盘发生概率之间的函数关系；
所述数据分割单元的输出端与所述安全监管单元的输入端相连接。
7.根据权利要求3所述的一种基于物联网的存储数据安全监管系统，其特征在于：所述实时预警模块包括实时监测单元和预警单元；
所述实时监测单元基于物联网技术实时获取固态硬盘的负载数据，根据安全监管模型，生成实时的掉盘发生概率；所述预警单元设置概率阈值，在实时的掉盘发生概率满足概率阈值时，发出风险提示，停止负载写入；
所述实时监测单元的输出端与所述预警单元的输入端相连接。
CN202310724240.5A 2023-06-19 2023-06-19 一种基于物联网的存储数据安全监管系统及方法 Active CN116701150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310724240.5A CN116701150B (zh) 2023-06-19 2023-06-19 一种基于物联网的存储数据安全监管系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310724240.5A CN116701150B (zh) 2023-06-19 2023-06-19 一种基于物联网的存储数据安全监管系统及方法

Publications (2)

Publication Number Publication Date
CN116701150A CN116701150A (zh) 2023-09-05
CN116701150B true CN116701150B (zh) 2024-01-16

Family

ID=87828941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310724240.5A Active CN116701150B (zh) 2023-06-19 2023-06-19 一种基于物联网的存储数据安全监管系统及方法

Country Status (1)

Country Link
CN (1) CN116701150B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189309B1 (en) * 2013-09-25 2015-11-17 Emc Corporation System and method for predicting single-disk failures
CN107368381A (zh) * 2017-07-31 2017-11-21 郑州云海信息技术有限公司 一种存储系统可用性测试的方法与装置
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法
CN108647136A (zh) * 2018-05-10 2018-10-12 南京道熵信息技术有限公司 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN109491850A (zh) * 2018-11-21 2019-03-19 北京北信源软件股份有限公司 一种磁盘故障预测方法及装置
CN109522176A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 一种存储系统的监控方法、装置、电子设备及存储介质
CN109739739A (zh) * 2018-12-28 2019-05-10 中兴通讯股份有限公司 磁盘故障的预测方法、设备及存储介质
CN110164501A (zh) * 2018-06-29 2019-08-23 腾讯科技（深圳）有限公司 一种硬盘检测方法、装置、存储介质及设备
CN111176565A (zh) * 2019-12-25 2020-05-19 三星（中国）半导体有限公司 确定应用的存储负载的方法和设备
CN111309502A (zh) * 2020-02-16 2020-06-19 西安奥卡云数据科技有限公司 固态硬盘寿命预测方法
CN111414289A (zh) * 2020-03-16 2020-07-14 上海威固信息技术股份有限公司 一种基于迁移学习的磁盘故障预测方法及装置
CN111984511A (zh) * 2020-07-28 2020-11-24 苏州浪潮智能科技有限公司 一种基于二分类的多模型磁盘故障预测方法和系统
CN112559263A (zh) * 2020-12-03 2021-03-26 西安天互通信有限公司 一种实时的硬盘智能监控和预警系统及方法
CN113127274A (zh) * 2019-12-31 2021-07-16 中移动信息技术有限公司 磁盘故障预测方法、装置、设备及计算机存储介质
CN114741187A (zh) * 2022-03-29 2022-07-12 深信服科技股份有限公司 一种资源调度的方法、系统、电子设备及介质
CN115687038A (zh) * 2022-08-23 2023-02-03 江苏臻云技术有限公司 一种基于大数据的硬盘故障预测系统及方法
CN115729756A (zh) * 2022-11-01 2023-03-03 苏州浪潮智能科技有限公司 陪测硬盘、基于陪测硬盘陪测服务器的方法及系统
CN115878356A (zh) * 2022-12-15 2023-03-31 苏州浪潮智能科技有限公司 磁盘故障预测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828869B (zh) * 2018-12-05 2020-12-04 南京中兴软件有限责任公司 预测硬盘故障发生时间的方法、装置及存储介质
US11030038B2 (en) * 2019-02-12 2021-06-08 Microsoft Technology Licensing, Llc Fault prediction and detection using time-based distributed data

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189309B1 (en) * 2013-09-25 2015-11-17 Emc Corporation System and method for predicting single-disk failures
CN107368381A (zh) * 2017-07-31 2017-11-21 郑州云海信息技术有限公司 一种存储系统可用性测试的方法与装置
CN109522176A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 一种存储系统的监控方法、装置、电子设备及存储介质
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法
CN108647136A (zh) * 2018-05-10 2018-10-12 南京道熵信息技术有限公司 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN110164501A (zh) * 2018-06-29 2019-08-23 腾讯科技（深圳）有限公司 一种硬盘检测方法、装置、存储介质及设备
CN109491850A (zh) * 2018-11-21 2019-03-19 北京北信源软件股份有限公司 一种磁盘故障预测方法及装置
CN109739739A (zh) * 2018-12-28 2019-05-10 中兴通讯股份有限公司 磁盘故障的预测方法、设备及存储介质
CN111176565A (zh) * 2019-12-25 2020-05-19 三星（中国）半导体有限公司 确定应用的存储负载的方法和设备
CN113127274A (zh) * 2019-12-31 2021-07-16 中移动信息技术有限公司 磁盘故障预测方法、装置、设备及计算机存储介质
CN111309502A (zh) * 2020-02-16 2020-06-19 西安奥卡云数据科技有限公司 固态硬盘寿命预测方法
CN111414289A (zh) * 2020-03-16 2020-07-14 上海威固信息技术股份有限公司 一种基于迁移学习的磁盘故障预测方法及装置
CN111984511A (zh) * 2020-07-28 2020-11-24 苏州浪潮智能科技有限公司 一种基于二分类的多模型磁盘故障预测方法和系统
CN112559263A (zh) * 2020-12-03 2021-03-26 西安天互通信有限公司 一种实时的硬盘智能监控和预警系统及方法
CN114741187A (zh) * 2022-03-29 2022-07-12 深信服科技股份有限公司 一种资源调度的方法、系统、电子设备及介质
CN115687038A (zh) * 2022-08-23 2023-02-03 江苏臻云技术有限公司 一种基于大数据的硬盘故障预测系统及方法
CN115729756A (zh) * 2022-11-01 2023-03-03 苏州浪潮智能科技有限公司 陪测硬盘、基于陪测硬盘陪测服务器的方法及系统
CN115878356A (zh) * 2022-12-15 2023-03-31 苏州浪潮智能科技有限公司 磁盘故障预测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大规模磁盘故障预测方法研究;谢伟睿;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN116701150A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN108647136B (zh) 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN108052528B (zh) 一种存储设备时序分类预警方法
CN110164501B (zh) 一种硬盘检测方法、装置、存储介质及设备
WO2021238258A1 (zh) 一种磁盘故障预测方法和系统
JP4557007B2 (ja) データ収集装置及びゲートウェイ装置
CN113505655B (zh) 面向数字孪生系统的轴承故障智能诊断方法
CN111984511B (zh) 一种基于二分类的多模型磁盘故障预测方法和系统
JP2008527554A5 (zh)
CN101008910A (zh) 预测存储设备故障的装置、系统和方法
CN109359873B (zh) 一种基于pca-t2的滚珠丝杠副健康评估方法
CN112433896A (zh) 一种服务器磁盘故障预测方法、装置、设备及存储介质
CN116930759A (zh) 动力电池电压时间序列异常检测方法、电子设备、存储介质
CN116258484B (zh) 设备的预测性运维方案生成方法、装置、终端设备和介质
CN111858265A (zh) 一种存储系统的存储故障预测方法、系统及装置
CN116701150B (zh) 一种基于物联网的存储数据安全监管系统及方法
CN113778797A (zh) 机械硬盘监测方法、装置、计算机设备和存储介质
CN116578459A (zh) 一种慢盘监测及处理方法、装置及计算机可读存储介质
CN115122933A (zh) 一种电动汽车静置异常识别方法及装置
CN115793990A (zh) 存储器健康状态确定方法、装置、电子设备及存储介质
CN115017022A (zh) 日志级别调整方法及装置
CN114528181A (zh) 基于固态硬盘的存储保护提示处理方法、装置、终端
US7664797B1 (en) Method and apparatus for using statistical process control within a storage management system
FR3080692A1 (fr) Systeme de securisation de procede cyber-physique
Turnbull et al. Failure prediction in hardware systems
CN111090395A (zh) 一种用于会计行业的电子信息智能存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant