CN105224888B - 一种基于安全预警技术的磁盘阵列数据保护系统 - Google Patents

一种基于安全预警技术的磁盘阵列数据保护系统 Download PDF

Info

Publication number
CN105224888B
CN105224888B CN201510631988.6A CN201510631988A CN105224888B CN 105224888 B CN105224888 B CN 105224888B CN 201510631988 A CN201510631988 A CN 201510631988A CN 105224888 B CN105224888 B CN 105224888B
Authority
CN
China
Prior art keywords
early warning
disk array
disk
attribute
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510631988.6A
Other languages
English (en)
Other versions
CN105224888A (zh
Inventor
何云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510631988.6A priority Critical patent/CN105224888B/zh
Publication of CN105224888A publication Critical patent/CN105224888A/zh
Application granted granted Critical
Publication of CN105224888B publication Critical patent/CN105224888B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/88—Detecting or preventing theft or loss
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种基于安全预警技术的磁盘阵列数据保护系统，包括：故障监测模块，根据磁盘阵列的S.M.A.R.T信息判断磁盘阵列是否发生故障事件，在磁盘阵列发生故障事件时发送自修复处理指令；磁盘自修复模块，在收到自修复处理指令时，自动进行数据迁移；故障通知模块，基于Libevent定时器机制周期性地自动发出磁盘故障预警邮件。与现有技术相比，本发明具有可提高磁盘阵列可靠性、预警准确度和预警的及时性等优点。

Description

一种基于安全预警技术的磁盘阵列数据保护系统
技术领域
本发明涉及计算机存储技术领域，具体涉及一种基于安全预警技术的磁盘阵列数据保护系统。
背景技术
随着计算机技术的发展，系统硬件成本在不断下降，系统管理逐步成为影响系统拥有成本和用户满意度最重要的因素之一。存储是数据持续长久保存的地方，计算机系统管理工作绝大部分就集中在存储管理上，磁盘阵列是存储系统的核心部件。存储管理主要是基于磁盘阵列的容量分配、系统备份恢复、负载均衡等。CPU处理速度提升迅速，而磁盘驱动器的数据传输速率却无法大幅度提高，两者速度上的不匹配严重制约了系统整体性能的提升，磁盘阵列很好地缓解了这一矛盾，磁盘阵列通过使用多磁盘并行同时存取数据来大幅提高存储系统的数据吞吐量。磁盘阵列技术是为了集成多个小的廉价磁盘来代替大的昂贵磁盘、在单个磁盘失效时不影响数据的可用性而开发数据保护技术，充分发挥多块硬盘的并发存储优势并提升容错功能来确保数据的可用性。
数据保护是确保数据的安全性、完整性和/或一致性的重要手段，在数据中心等环境中至关重要。传统数据保护方法采用各种备份来保证数据的可用性及可靠性，但大多数是在系统故障已经发生时进行数据的重建或数据恢复，备用磁盘反复执行IN/OUT存取动作，从而导致系统性能的降低和I/O资源浪费，并且数据重建是一个比较危险的操作。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于安全预警技术的磁盘阵列数据保护系统，有效提高磁盘阵列可靠性、预警准确度和预警的及时性。
本发明的目的可以通过以下技术方案来实现：
一种基于安全预警技术的磁盘阵列数据保护系统，包括：
故障监测模块，根据磁盘阵列的S.M.A.R.T信息判断磁盘阵列是否发生故障事件，在磁盘阵列发生故障事件时发送自修复处理指令；
磁盘自修复模块，在收到自修复处理指令时，自动进行数据迁移；
故障通知模块，基于Libevent定时器机制周期性地自动发出磁盘故障预警邮件。
所述故障监测模块包括：
S.M.A.R.T信息采集单元，基于Libevent多线程机制实时采集磁盘阵列的S.M.A.R.T属性信息；
属性选择单元，选取与磁盘故障强关联性的强相关S.M.A.R.T属性；
故障自学习判断单元，基于强相关S.M.A.R.T属性采用自学习方法判断是否发生故障事件。
所述自学习方法具体为：
101)读取S.M.A.R.T信息采集单元采集的S.M.A.R.T属性信息，判断所读取的属性是否属于强相关S.M.A.R.T属性，若是，则执行步骤102)，若否，则返回步骤101)；
102)采用基于决策树的自学习分类方法对读取的S.M.A.R.T属性信息进行自学习分类处理；
103)判断所读取的属性是否为自学习容器中的属性，若是，则执行步骤104)，若否，则执行步骤105)；
104)比较所读取的属性对应的属性值是否大于自定义阈值，若是，则执行步骤106)，若否，则返回执行步骤102)；
105)保存所读取的属性及属性值到自学习容器中，形成预警记录，返回步骤102)；
106)判定磁盘阵列可能发生故障，向磁盘自修复模块发送自修复处理指令；
所述自学习分类处理包括：多次采集的单块磁盘S.M.A.R.T信息，判断磁盘阵列运行状态正常与否，对于运行状态正常的磁盘阵列，记录强相关S.M.A.R.T属性及属性值，保存至故障自学习判断单元内的自学习容器中。
所述磁盘自修复模块采用RAID技术与远程复制技术进行数据迁移。
所述故障通知模块周期性地自动发出磁盘故障预警邮件的过程具体为：
201)读取SMTP邮件配置信息；
202)判断邮箱是否合法且DNS是否有效，若是，则执行步骤203)，若否，则执行步骤207)；
203)逐条读取自学习容器中的预警记录；
204)校验是否发送当前的预警记录，若是，则执行步骤205)，若否，则返回步骤203)；
205)判断当前的预警记录是否高于自定义告警等级，若是，则执行步骤206)，若否，则结束；
206)发送磁盘故障预警邮件。
所述步骤204)中，检验是否发送当前的预警记录的依据是：判断当前预警记录是否为重复记录，若是，则不发送该预警记录，若否，则发送该预警记录。
与现有技术相比，本发明具有以下优点：
1)本发明基于S.M.A.R.T信息的磁盘监测技术，定性分析与磁盘故障强相关的磁盘S.M.A.R.T信息，找到影响磁盘可靠性的因素，保证磁盘阵列数据的安全、一致性。
2)本发明选择与磁盘故障密切相关的S.M.A.R.T属性子集，确定影响磁盘可靠性的各种主要因素，过滤与磁盘故障发展趋势无关的属性，并对磁盘运行状态进行分类，有效提高预测准确率。
3)基于自学习分类方法，过滤与磁盘故障强相关的S.M.A.R.T信息，提高故障分析的准确率，更有效地故障诊断与故障修复措施决策。
4)基于数据迁移的数据保护技术，结合现有的RAID与远程复制技术，保证本地数据与远程数据的安全一致性，迅速保护磁盘数据，保证了磁盘阵列存储系统的安全、可靠性。
5)SMTP自动邮件机制，更及时的磁盘故障上报，有效缩短磁盘阵列存储系统故障维护的时间。
6)本发明能事前根据存储设备的运行状态有效地预测系统的故障发生概率，在磁盘产生故障之前进行安全预警并采用相关的数据保护措施，更有利于准确、及时的发现磁盘阵列存在的隐患，极大减少数据丢失的风险，便于用户及时进行相关数据的保护，提高磁盘阵列存储系统的可靠性及数据的安全性。
附图说明
图1为本发明的结构示意图；
图2为本发明执行磁盘阵列数据保护的流程示意图；
图3为本发明自学习过程示意图；
图4为本发明故障通知模块的邮件发送流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本发明提供一种基于安全预警技术的磁盘阵列数据保护系统，包括故障监测模块1、磁盘自修复模块2和故障通知模块3，其中，故障监测模块根据磁盘阵列的S.M.A.R.T信息判断磁盘阵列是否发生故障事件，在磁盘阵列发生故障事件时发送自修复处理指令；磁盘自修复模块在收到自修复处理指令时，自动进行数据迁移；故障通知模块基于Libevent定时器机制，周期性地自动发出磁盘故障预警邮件。
如图2所示，上述磁盘阵列数据保护系统通过对磁盘运行状态的监测判定磁盘运行趋势是正常还是可能发生故障，并对即将发生故障的磁盘数据进行保护，实现基于预警和自修复的高可靠磁盘阵列，其进行数据保护的过程为：读取S.M.A.R.T信息，对强相关S.M.A.R.T属性进行选择，通过自学习判断方法判断是否发生故障事件，若是，则进行数据迁移进行保护，若否，则重新监测，在进行数据迁移时，采用SMTP邮件机制周期性地发送磁盘故障预警邮件。
上述系统能事前根据存储设备的运行状态有效地预测系统的故障发生概率，在磁盘产生故障之前进行安全预警并采用相关的数据保护措施，极大减少数据丢失的风险。磁盘阵列的安全预警能为数据存储提供最为基础的可用性保证，对提高存储系统的可靠性和可维护性提供保障，最终保护磁盘阵列的数据安全。
1、基于S.M.A.R.T信息的磁盘监测技术
故障监测模块1包括：
S.M.A.R.T信息采集单元，基于Libevent多线程机制实时采集磁盘阵列的S.M.A.R.T属性信息，实时采集磁盘阵列环境下磁盘S.M.A.R.T信息，监控磁盘的运行状态，这是为故障预测作准备；
属性选择单元，选取与磁盘故障强关联性的强相关S.M.A.R.T属性，以提高预测准确率，如选取重定位扇区计数(Reallocated Sector Count)、等候重定位的扇区计数(Current Pending Sector Count)、无法校正的扇区计数(Uncorrectable Sector Count)等作为强相关S.M.A.R.T属性；
故障自学习判断单元，基于强相关S.M.A.R.T属性采用自学习方法判断是否发生故障事件，故障自学习判断单元内设置有自学习容器，自学习容器中保存标识磁盘运行状态正常的强关联属性及属性值。
故障自学习判断单元以磁盘S.M.A.R.T属性信息作为数据集，选出与磁盘状态变化强关联性的属性，采用自学习分类方法来判断磁盘是否将要发生故障。自学习方法是基于趋势分析属性选择的自学习，预测磁盘的状态渐变，将各属性随时间变化的序列值在磁盘间比较，将差异明显、反映磁盘状态渐变的属性选出。如图3所示，自学习方法具体为：
s101：读取S.M.A.R.T信息采集单元采集的S.M.A.R.T属性信息，判断所读取的属性是否属于强相关S.M.A.R.T属性，若是，则执行步骤s102，若否，则返回步骤s101；
s102：采用基于决策树的自学习分类方法对读取的S.M.A.R.T属性信息进行自学习分类处理；
自学习分类处理过程具体为：多次采集的单块磁盘S.M.A.R.T信息，分析与该磁盘状态变化强关联性的属性，判断磁盘运行状态正常与否，对于运行状态正常的磁盘，记录其强关联的属性及属性值，保存至自学习容器中。
s103：判断所读取的属性是否为自学习容器中的属性，若是，则执行步骤s104，若否，则执行步骤s105；
s104：比较所读取的属性对应的属性值是否大于自定义阈值，若是，则执行步骤106，若否，则返回执行步骤s102；
s105：保存所读取的属性及属性值到自学习容器中，形成预警记录，返回步骤s102；
s106：判定磁盘阵列可能发生故障，向磁盘自修复模块发送自修复处理指令。
2、基于数据迁移的数据保护技术
磁盘自修复模块采用RAID技术与远程复制技术进行数据迁移。RAID技术是通过条带划分方式使得各个独立磁盘中的数据并行访问，提高I/O性能，通过编码技术，提高系统的可靠性。远程复制技术能够保持远程数据同步和实现灾难恢复，其采用异步镜像方式，利用快速响应上层请求来弥补不能实时保证两地数据的一致性的缺陷。
3、磁盘故障预警邮件周期性发送技术
故障通知模块基于SMTP邮件机制和Libevent定时器机制，采用python的smtplib模块周期性的自动发送预警数据库电子邮件，更及时通知用户处理磁盘阵列故障。如图4所示，故障通知模块周期性地自动发出磁盘故障预警邮件的过程具体为：
s201：读取SMTP邮件配置信息；
s202：判断邮箱是否合法且DNS是否有效，若是，则执行步骤s203，若否，则执行步骤s207；
s203：逐条读取自学习容器中的预警记录；
s204：校验是否发送当前的预警记录，若是，则执行步骤s205，若否，则返回步骤s203；
校验是否发送当前预警记录的依据：判断当前预警记录是否为重复记录。即该记录是否已经发送过一次，若发送过，则不再发送执行步骤s203，若未发送，则执行步骤205。
s205：判断当前的预警记录是否高于自定义告警等级，若是，则执行步骤s206，若否，则结束；
s206：调用python库libsmtp的接口函数发送磁盘故障预警邮件。

Claims (4)

1.一种基于安全预警技术的磁盘阵列数据保护系统，其特征在于，包括：
故障监测模块，根据磁盘阵列的S.M.A.R.T信息判断磁盘阵列是否发生故障事件，在磁盘阵列发生故障事件时发送自修复处理指令；
磁盘自修复模块，在收到自修复处理指令时，自动进行数据迁移；
故障通知模块，基于Libevent定时器机制周期性地自动发出磁盘故障预警邮件；
所述故障监测模块包括：
S.M.A.R.T信息采集单元，基于Libevent多线程机制实时采集磁盘阵列的S.M.A.R.T属性信息；
属性选择单元，选取与磁盘故障强关联性的强相关S.M.A.R.T属性；
故障自学习判断单元，基于强相关S.M.A.R.T属性采用自学习方法判断是否发生故障事件；
所述自学习方法具体为：
101)读取S.M.A.R.T信息采集单元采集的S.M.A.R.T属性信息，判断所读取的属性是否属于强相关S.M.A.R.T属性，若是，则执行步骤102)，若否，则返回步骤101)；
102)采用基于决策树的自学习分类方法对读取的S.M.A.R.T属性信息进行自学习分类处理；
103)判断所读取的属性是否为自学习容器中的属性，若是，则执行步骤104)，若否，则执行步骤105)；
104)比较所读取的属性对应的属性值是否大于自定义阈值，若是，则执行步骤106)，若否，则返回执行步骤102)；
105)保存所读取的属性及属性值到自学习容器中，形成预警记录，返回步骤102)；
106)判定磁盘阵列可能发生故障，向磁盘自修复模块发送自修复处理指令；
所述自学习分类处理包括：多次采集的单块磁盘S.M.A.R.T信息，判断磁盘阵列运行状态正常与否，对于运行状态正常的磁盘阵列，记录强相关S.M.A.R.T属性及属性值，保存至故障自学习判断单元内的自学习容器中。
2.根据权利要求1所述的基于安全预警技术的磁盘阵列数据保护系统，其特征在于，所述磁盘自修复模块采用RAID技术与远程复制技术进行数据迁移。
3.根据权利要求1所述的基于安全预警技术的磁盘阵列数据保护系统，其特征在于，所述故障通知模块周期性地自动发出磁盘故障预警邮件的过程具体为：
201)读取SMTP邮件配置信息；
202)判断邮箱是否合法且DNS是否有效，若是，则执行步骤203)，若否，则执行步骤207)；
203)逐条读取自学习容器中的预警记录；
204)校验是否发送当前的预警记录，若是，则执行步骤205)，若否，则返回步骤203)；
205)判断当前的预警记录是否高于自定义告警等级，若是，则执行步骤206)，若否，则结束；
206)发送磁盘故障预警邮件。
4.根据权利要求3所述的基于安全预警技术的磁盘阵列数据保护系统，其特征在于，所述步骤204)中，检验是否发送当前的预警记录的依据是：判断当前预警记录是否为重复记录，若是，则不发送该预警记录，若否，则发送该预警记录。
CN201510631988.6A 2015-09-29 2015-09-29 一种基于安全预警技术的磁盘阵列数据保护系统 Expired - Fee Related CN105224888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510631988.6A CN105224888B (zh) 2015-09-29 2015-09-29 一种基于安全预警技术的磁盘阵列数据保护系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510631988.6A CN105224888B (zh) 2015-09-29 2015-09-29 一种基于安全预警技术的磁盘阵列数据保护系统

Publications (2)

Publication Number Publication Date
CN105224888A CN105224888A (zh) 2016-01-06
CN105224888B true CN105224888B (zh) 2019-03-22

Family

ID=54993850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510631988.6A Expired - Fee Related CN105224888B (zh) 2015-09-29 2015-09-29 一种基于安全预警技术的磁盘阵列数据保护系统

Country Status (1)

Country Link
CN (1) CN105224888B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025154B (zh) * 2016-01-29 2020-12-01 阿里巴巴集团控股有限公司 磁盘的故障预测方法和装置
CN106250258B (zh) * 2016-07-29 2019-03-29 北京云集智造科技有限公司 一种磁盘故障定位方法及装置
CN106648969B (zh) * 2016-10-26 2020-09-18 苏州浪潮智能科技有限公司 一种磁盘中损坏数据巡检方法及系统
CN107391301A (zh) * 2017-08-16 2017-11-24 北京奇虎科技有限公司 存储系统的数据管理方法、装置、计算设备及存储介质
CN108073486B (zh) * 2017-12-28 2022-05-10 新华三大数据技术有限公司 一种硬盘故障的预测方法和装置
CN108228377B (zh) * 2017-12-29 2020-07-07 华中科技大学 一种面向磁盘故障检测的smart阈值优化方法
CN111857555B (zh) * 2019-04-30 2024-06-18 伊姆西Ip控股有限责任公司 避免磁盘阵列的故障事件的方法、设备和程序产品
CN111949459B (zh) * 2020-08-10 2022-02-01 南京航空航天大学 一种基于迁移学习和主动学习的硬盘故障预测方法及系统
CN113141273B (zh) * 2021-04-22 2024-06-18 康键信息技术（深圳）有限公司 基于预警信息的自修复方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866271A (zh) * 2010-06-08 2010-10-20 华中科技大学 一种基于raid的安全预警系统和方法
CN102521058A (zh) * 2011-12-01 2012-06-27 北京威视数据系统有限公司 Raid组磁盘数据预迁移方法
CN102591591B (zh) * 2011-12-19 2015-10-21 杭州瑞网广通信息技术有限公司 磁盘检测系统、磁盘检测方法以及网络存储系统
CN103176919A (zh) * 2013-03-07 2013-06-26 洛阳伟信电子科技有限公司 计算机硬盘数据拯救简易设备及方法

Also Published As

Publication number Publication date
CN105224888A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105224888B (zh) 一种基于安全预警技术的磁盘阵列数据保护系统
CN111209131A (zh) 一种基于机器学习确定异构系统的故障的方法和系统
CN104699807B (zh) 一种oracle数据表空间的自动监控扩容方法
CN100504795C (zh) 一种计算机raid阵列预警系统及方法
CN102591591B (zh) 磁盘检测系统、磁盘检测方法以及网络存储系统
CN101866271A (zh) 一种基于raid的安全预警系统和方法
CN105095052B (zh) Soa环境下的故障检测方法及装置
CN105337765A (zh) 一种分布式hadoop集群故障自动诊断修复系统
CN109684141A (zh) 一种磁盘故障诊断方法、装置、终端及可读存储介质
US11126501B2 (en) Method, device and program product for avoiding a fault event of a disk array
CN105955662A (zh) 一种k-db数据表空间的扩容方法与系统
CN109165138A (zh) 一种监控设备故障的方法和装置
CN102880522A (zh) 面向硬件故障的系统关键文件故障纠正方法及装置
CN109034423A (zh) 一种故障预警判定的方法、装置、设备及存储介质
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN114154035A (zh) 一种动环监控的数据处理系统
CN117453137A (zh) 云化智能运维系统数据管理系统
CN107729199A (zh) 一种存储设备的硬盘检测方法和系统
CN114064374A (zh) 一种基于分布式块存储的故障检测方法和系统
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN106899436A (zh) 一种云平台故障预测诊断系统
CN102981939A (zh) 磁盘监控方法
CN103297264B (zh) 一种云平台故障恢复方法和系统
CN107704333A (zh) San存储系统的故障保存方法、装置及可读存储介质
CN103995759A (zh) 基于核内外协同的高可用计算机系统故障处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
CB02 Change of applicant information

Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD.

Address before: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant before: Shanghai Eisoo Software Co.,Ltd.

COR Change of bibliographic data
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190322

Termination date: 20190929