CN108228100A - 一种基于海量存储系统的数据安全处理方法和系统 - Google Patents

一种基于海量存储系统的数据安全处理方法和系统 Download PDF

Info

Publication number
CN108228100A
CN108228100A CN201711450443.0A CN201711450443A CN108228100A CN 108228100 A CN108228100 A CN 108228100A CN 201711450443 A CN201711450443 A CN 201711450443A CN 108228100 A CN108228100 A CN 108228100A
Authority
CN
China
Prior art keywords
data
deleted
mss
private space
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711450443.0A
Other languages
English (en)
Inventor
徐晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201711450443.0A priority Critical patent/CN108228100A/zh
Publication of CN108228100A publication Critical patent/CN108228100A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于海量存储系统的数据安全处理方法和系统，其中，方法包括：步骤1，在海量存储系统中创建专用空间；步骤2，将待删除数据或错误操作导致的数据导入所述专用空间；步骤3，记录所述待删除数据或错误操作导致的数据的存放时间和数据名称标志；步骤4，根据接收的命令对所述待删除数据或错误操作导致的数据进行删除或恢复。所述基于海量存储系统的数据安全处理方法和系统，通过将用户删除或误操作的数据放入在海量存储系统中创建的专用空间，能够使得用户挽回由于误删除导致的数据丢失，保证数据的安全性，使得用户可以根据需要完成数据的永久删除或数据的恢复，不增大用户的存储空间，无需用户在数据安全上的额外花费。

Description

一种基于海量存储系统的数据安全处理方法和系统
技术领域
本发明涉及海量存储系统技术领域，特别是涉及一种基于海量存储系统的数据安全处理方法和系统。
背景技术
海量信息存储早期采用大型服务器存储，基本都是以服务器为中心的处理模式，使用直连存储(Direct Attached Storage)，存储设备(包括磁盘阵列，磁带库，光盘库等)作为服务器的外设使用。随着网络技术的发展，服务器之间交换数据或向磁盘库等存储设备备份时，都是通过局域网进行，这是主要应用网络附加存储(NetworkAttached Storage)技术来实现网络存储，但这将占用大量的网络开销，严重影响网络的整体性能。为了能够共享大容量，高速度存储设备，并且不占用局域网资源的海量信息传输和备份，就需要专用存储网络来实现。
网络存储技术对于解决海量存储系统中存储设备的分散性、I/O的并行性、协议的高效性提供了一种很好的手段。存储设备与网络结合的不同方式可以形成不同的拓扑结构，不同的拓扑结构对系统性能的影响又不尽相同。因此，确定海量存储系统中存储设备接入网络的方式以及存储设备与服务器的连接方式,是构造大容量、高带宽、可扩展、易管理的海量存储系统值得研究的重要课题。集中式存储能够集中管理和控制数据，降低管理开销并提高管理质量，但系统的性能和可扩展性受到限制。分布式存储能提高系统的性能，尤其是可扩展性，但维护和管理分布式存储系统的费用非常高。以DAS(Direct AttachedStorage)体系结构为基础，若将系统中的多个存储节点直接接入网络，由文件服务器对系统进行集中管理，数据则分布地存放在多个存储节点上，则能充分结合两者的优点，构造一种文件集中管理、数据分布存储的海量存储系统。
目前，主流应用的海量存储系统中，数据安全是最基本的需求，但是，现在Linux操作系统对文件删除操作的保护性不高，有时候一些用户的数据删除操作可能导致数据永久丢失的严重后果，因此，需要能够及时恢复文件数据，挽回数据错误删除所可能带来的严重后果，保障系统数据的安全性。
发明内容
本发明的目的是提供了一种基于海量存储系统的数据安全处理方法和系统，挽回用户由于错误删除的数据，保证系统数据的安全性。
为解决上述技术问题，本发明实施例提供了一种基于海量存储系统的数据安全处理方法，包括：
步骤1，在海量存储系统中创建专用空间；
步骤2，将待删除数据或错误操作导致的数据导入所述专用空间；
步骤3，记录所述待删除数据或错误操作导致的数据的存放时间和数据名称标志；
步骤4，根据接收的命令对所述待删除数据或错误操作导致的数据进行删除或恢复。
其中，所述步骤2包括：
打开与所述专用空间连接的数据安全处理开关，将所述待删除数据或错误操作导致的数据导入所述专用空间。
其中，所述步骤4还包括：验证接收到的所述命令是否具有对所述待删除数据或错误操作导致的数据进行删除或恢复的权限；
若是，执行所述命令，若否，记录所述命令。
其中，在所述步骤4之后，还包括：
定时对所述专用空间进行监测；
判断所述专用空间的待删除数据或错误操作导致的数据的存放时间是否大于等于阈值；
若是，删除所述标记目录。
其中，所述步骤4包括：
判断所述命令是否为海量小文件删除操作命令；
若是，执行海量小文件删除操作命令，将海量小文件目录移动到所述专用空间的海量小文件删除目录下。
其中，在所述将海量小文件目录移动到所述专用空间的海量小文件删除目录下之后，还包括：
将所述海量小文件目录通过系统监控服务同步信息至所有客户端。
除此之外，本发明实施了还提供了一种基于海量存储系统的数据安全处理系统，包括：
专用空间创建模块，用于在海量存储系统中创建专用空间；
数据安全处理开关模块，用于开启状态下允许进入所述专用空间以及开启状态下允许将待删除数据或错误操作导致的数据导入所述专用空间；
目录标志模块，对导入所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间；
命令执行模块，根据接收到的命令和所述命令中对应的数据名称标志和存放时间进行数据删除或数据恢复。
其中，还包括与所述数据安全处理开关模块连接的管理员模块，用于管理员或具有特殊权限的用户登录所述海量存储系统进行数据清空操作。
其中，还包括与所述目录标志模块连接的定时监测模块，用于对所述专用空间进行定时检测，在判定所述删除数据或错误操作导致的数据的存放时间大于阈值之后，自动删除所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间。
其中，还包括与所述目录标志模块连接的海量小文件删除模块，用于在判定进行海量小文件删除操作之后，将所述海量小文件的目录转移到所述专用空间，并通过系统监控服务同步信息发送到所有客户端。
本发明实施例所提供的基于海量存储系统的数据安全处理方法和系统，与现有技术相比，具有以下优点：
所述基于海量存储系统的数据安全处理方法和系统，通过将用户删除或误操作的数据放入在海量存储系统中创建的专用空间，能够使得用户挽回由于误删除导致的数据丢失，保证数据的安全性，使得用户可以根据需要完成数据的永久删除或数据的恢复，不增大用户的存储空间，无需用户在数据安全上的额外花费，基本不增加数据安全成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于海量存储系统的数据安全处理方法的一种具体实施方式的步骤流程示意图；
图2为本发明实施例提供的基于海量存储系统的数据安全处理系统的一种具体实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1～图2，图1为本发明实施例提供的基于海量存储系统的数据安全处理方法的一种具体实施方式的步骤流程示意图；图2为本发明实施例提供的基于海量存储系统的数据安全处理系统的一种具体实施方式的结构示意图。
在一种具体实施方式中，所述基于海量存储系统的数据安全处理方法，包括：
步骤1，在海量存储系统中创建专用空间；
步骤2，将待删除数据或错误操作导致的数据导入所述专用空间；
步骤3，记录所述待删除数据或错误操作导致的数据的存放时间和数据名称标志；
步骤4，根据接收的命令对所述待删除数据或错误操作导致的数据进行删除或恢复。
本发明提供的基于海量存储系统的数据安全处理方法，是基于数据在系统空间与专用空间中进行移动，将用户误操作删除的数据，或者待删除的数据先自动导入到在海量存储系统中建立的专用空间中，如果用户需要对该数据进行数据恢复，直接发送命令到专用空间中进行数据恢复即可，如果确定要进行数据删除，直接在其中进行数据删除，可以有效避免由于误操作造成的数据永久丢失，以及避免用户在前一刻想进行删除而后一刻又有需要的数据直接删除造成的损失，保证了数据的安全性，由于无需增加用户的存储空间，而只是在现有的存储空间的使用上进行了一定的优化，因此可以有效避免用户在数据安全上的额外花费，在提高数据安全的同时，几乎不增加成本。
为了进一步提高数据操作的安全性，避免随意对专用空间的数据进行操作，或者是随意将指定用户之外的操作者生成的数据随意进出专用空间而造成的数据安全损失，在本发明的一个实施例中，所述步骤2包括：
打开与所述专用空间连接的数据安全处理开关，将所述待删除数据或错误操作导致的数据导入所述专用空间。
即不管是将待删除数据或错误操作导致的数据导入所述专用空间，还是需要进行数据恢复，或者是进行最后的数据清空，都需要开启数据安全处理开关，使其处理开启状态才能进行数据操作，保证了用户数据的安全性。
例如，在本发明的一个实施例中，需要进行数据恢复，则操作过程如下：
开启数据安全处理开关；
查看专用空间数据，根据标记名称查看需恢复数据；
通过恢复命令制定要恢复哪个数据(文件、目录)到指定位置；
完成数据恢复操作，数据恢复到系统空间中的指定位置。
为了进一步提高对存储空间的数据的管理效率，一般会有专用的具有特殊权限的用户对专用空间进行操作，或者是管理员对专用空间进行数据操作，而这是与该存储空间对应的用户一般是不同的操作者，无法通过用户界面进行操作，因此，为了解决这一问题，所述步骤4还包括：验证接收到的所述命令是否具有对所述待删除数据或错误操作导致的数据进行删除或恢复的权限；
若是，执行所述命令，若否，记录所述命令。
即如果管理员或具有特殊权限的特殊用户需要进行数据清空操作，在登陆存储系统之后，其发出的命令被判断可以开启数据安全处理开关，然后查看专用空间，确认没有需要的数据之后，通过手动操作，彻底删除空间下所有数据，由于该操作不可逆，需要确认删除的具体内容之后才可执行。
相应的，如果存储系统对应的用户无法进行数据恢复时，可以由管理员进行对应的数据恢复操作。
由于用户可能在操作过程中，不是的产生一些删除数据或者误操作产生的数据，时间一旦过长，积累的量会很多，会大量占用存储空间，而用户的存储空间是有限的，这样不利于提高磁盘的利用效率。因此，为了解决这一技术问题，在所述步骤4之后，还包括：
定时对所述专用空间进行监测；
判断所述专用空间的待删除数据或错误操作导致的数据的存放时间是否大于等于阈值；
若是，删除所述标记目录。
即只要判断由于待删除或者错误操作导致的数据进入专用空间存放的时间到达一个阈值，例如用户可以设定为72小时，只要达到72小时，对应的专用空间自动删除这些数据，释放对应的磁盘空间，为用户存储数据节省空间，提高存储数据的安全性，降低数据存储成本。
例如，在本发明的一个实施例中，在客户端设计定时监测程序，通过数据过期时间client_recycle_timeout和专用空间定时扫描时间client_recycle_update参数，对专用空间进行定时监测；
用户自主设定数据过期时间参数与专用空间定时时间参数；
定时器判断是否满足client_recycle_update时间间隔，对回收站目录进行扫描；
遍历专用空间下所有标记目录；
获取系统当前时间，并与标记目录创建时间进行比较，若大于或者等于client_recycle_timeout，则自动删除标记目录。
由于在用户进行数据存储过程中，可能会有针对小文件众多的用用场景，如果用户对其进行一一删除，会占用大量时间，删除效率非常低，因此为了解决这一技术问题，所述步骤4包括：
判断所述命令是否为海量小文件删除操作命令；
若是，执行海量小文件删除操作命令，将海量小文件目录移动到所述专用空间的海量小文件删除目录下。
即在进行数据删除操作时，判断是否为海量小文件删除操作命令，如果是，将海量小文件目录移动到所述专用空间的海量小文件删除目录下，用户可以随时进行文件删除。
由于一个存储空间可能是共用的，这样能够节约存储空间的使用成本，但是在进行海量小文件删除操作时，其中一个客户端的用户执行了删除操作，而其它客户端的海量小文件目录还在原来的位置，而实际却无法进行打开或读取以及其它操作，为系统的使用带来不便。
为了解决这一技术问题，在所述将海量小文件目录移动到所述专用空间的海量小文件删除目录下之后，还包括：
将所述海量小文件目录通过系统监控服务同步信息至所有客户端。
即在一个客户端的用户执行删除操作之后，将相应的信息通过其它客户端的用户。
例如，在本发明的一个实施例中，对于多客户端删除海量小文件操作：
客户端1对目录下文件进行打开/读/写操作，客户端2对文件的父目录进行海量小文件删除操作，客户端2的删除命令执行后目录会被移到专用空间中海量小文件删除目录下，并通过系统监控服务同步信息至各个客户端，定时检测发现是否有待删除的文件，并通过海量删除命令在后台执行删除操作，完成海量小文件的删除。
通过使用两两小文件删除功能，快速有效的删除包含大量文件的目的，提高系统空间的使用效率以及系统的稳定性。
除此之外，本发明实施了还提供了一种基于海量存储系统的数据安全处理系统，包括：
专用空间创建模块10，用于在海量存储系统中创建专用空间；
数据安全处理开关模块20，用于开启状态下允许进入所述专用空间以及开启状态下允许将待删除数据或错误操作导致的数据导入所述专用空间；
目录标志模块30，对导入所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间；
命令执行模块40，根据接收到的命令和所述命令中对应的数据名称标志和存放时间进行数据删除或数据恢复。
由于该基于海量存储系统的数据安全处理系统是基于上述的基于海量存储系统的数据安全处理方法的系统，二者具有相同的有益效果，本发明在此不再赘述。
需要指出的是，本发明中的专用空间在存储系统中存在的前提下，可以不进行重复创建，可以多个客户端共用一个专用空间，当然，也可以每个客户端对应各自的专用空间，本发明对此不作具体限定。
由于一般用户只能够进行对自己的专业空间进行处理，而为了提高对整个存储系统的利用效率，会有管理员或者局域特殊权限的用户进入专用空间进行数据操作，当然进入专用空间需要在数据安全处理开关模块20处于开启状态下才能进入，这样会提高对于存储空间的管理效率，因此，在本发明的一个实施例中，所述基于海量存储系统的数据安全处理系统还包括与所述数据安全处理开关模块20连接的管理员模块，用于管理员或具有特殊权限的用户登录所述海量存储系统进行数据清空操作。
通过管理员或具有特殊权限的用户登录所述海量存储系统进行数据清空操作，在确认没有需要的数据的情况下，彻底删除专用空间内所有数据，或者为指定用户进行数据恢复，在保证数据安全的前提下，提高了存储系统的空间使用效率。
由于在实际的专用空间的使用过程中，会经常性的待删除或误操作的数据进入，久而久之，其中的数据占用的空间会很大，而系统空间是有限的，这样会大大浪费系统的空间，因此为了提高系统空间的利用效率，及时将不需要的数据删除，提高空间利用效率，在本发明的一个实施例中，所述基于海量存储系统的数据安全处理系统还包括与所述目录标志模块30连接的定时监测模块，用于对所述专用空间进行定时检测，在判定所述删除数据或错误操作导致的数据的存放时间大于阈值之后，自动删除所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间。
通过自动删除专用空间中存放时间过长的数据，毕竟用户在这样长的时间内不进行数据恢复操作，说明是彻底不需要了，可以进行永久性的删除操作，通过这种自动删除操作，减少了人工进行操作需要的时间，提高了系统的自清洁效率。
例如，在本发明的一个实施例中，在客户端设计定时监测模块，通过数据过期时间client_recycle_timeout和专用空间定时扫描时间client_recycle_update参数，对专用空间进行定时监测；
用户自主设定数据过期时间参数与专用空间定时时间参数；
定时器判断是否满足client_recycle_update时间间隔，对回收站目录进行扫描；
遍历专用空间下所有标记目录；
获取系统当前时间，并与标记目录创建时间进行比较，若大于或者等于client_recycle_timeout，则自动删除标记目录。
需要指出的是，本发明中的基于海量存储系统的数据安全处理方法和系统的专用空间，其对应的存储空间的大小可以是固定的，如用户在创建之初就确定其占用空间大小，例如确定其空间大小为100G，也可以是不限定其占用空间大小，随着进入专用空间的文件的增加，其占用的空间不断变化。
本发明中的专用空间的自清洁，除了上述的利用时间期限之外，还可以将时间期限与空间占比结合进行空间自清洁。例如，专用空间的空间为固定值，在存储的文件操作一定阈值或一定的阈值比例之后，如超过80％之后，自动进行自清洁，与上述的时间期限结合，对于超出预定时间期限的文件进行删除，或者是专用空间的占用空间不限，在其中的存储文件达到一定值自后，或者是与整个存储系统的存储空间的占比达到一定值，如达到20％之后，进行自清洁触发，与上述的时间期限结合进行自清洁。
相应的，用户在数据文件的使用过程中，处理使用一些大文件之外，还会有一些小文件，随手进行删除之外的操作，形成了海量的文件，这样用户在以上述的方式进行删除操作时会非常麻烦，需要操作多次，效率低下，用户除了进行手动一一删除之外，还可以对其进行不进行管理，待得其存储的时间达到期限之后由系统自动删除但是这种方式还是太被动，为了解决这一问题，所述基于海量存储系统的数据安全处理系统还包括与所述目录标志模块30连接的海量小文件删除模块，用于在判定进行海量小文件删除操作之后，将所述海量小文件的目录转移到所述专用空间，并通过系统监控服务同步信息发送到所有客户端。
通过自动将文件根据占用空间进行定义，定义为一般文件以及小文件，通过海量小文件删除模块，在判定进行海量小文件删除操作之后，将所述海量小文件的目录转移到所述专用空间，通过其中的海量小文件删除功能进行删除，并通过系统监控服务同步信息发送到所有客户端，该海量小文件删除功能能够实现在10s内达到删除百万个小文件的操作，大大提高了小文件的删除效率，极大的提高了系统的删除效能，降低文件删除时间。
例如，在本发明的一个实施例中，对于多客户端删除海量小文件操作：
客户端1对目录下文件进行打开/读/写操作，客户端2对文件的父目录进行海量小文件删除操作，客户端2的删除命令执行后目录会被移到专用空间中海量小文件删除目录下，并通过系统监控服务同步信息至各个客户端，定时检测发现是否有待删除的文件，并通过海量删除命令在后台执行删除操作，完成海量小文件的删除，这样用户的各个客户端能实时的更新海量小文件删除目录，提高存储系统的数据安全性。
通过使用海量小文件删除功能，快速有效的删除包含大量文件的目的，提高系统空间的使用效率以及系统的稳定性。
综上所述，本发明实施例提供的基于海量存储系统的数据安全处理方法和系统，通过将用户删除或误操作的数据放入在海量存储系统中创建的专用空间，能够使得用户挽回由于误删除导致的数据丢失，保证数据的安全性，使得用户可以根据需要完成数据的永久删除或数据的恢复，不增大用户的存储空间，无需用户在数据安全上的额外花费，基本不增加数据安全成本。
以上对本发明所提供的基于海量存储系统的数据安全处理方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于海量存储系统的数据安全处理方法，其特征在于，包括：
步骤1，在海量存储系统中创建专用空间；
步骤2，将待删除数据或错误操作导致的数据导入所述专用空间；
步骤3，记录所述待删除数据或错误操作导致的数据的存放时间和数据名称标志；
步骤4，根据接收的命令对所述待删除数据或错误操作导致的数据进行删除或恢复。
2.如权利要求1所述基于海量存储系统的数据安全处理方法，其特征在于，所述步骤2包括：
打开与所述专用空间连接的数据安全处理开关，将所述待删除数据或错误操作导致的数据导入所述专用空间。
3.如权利要求2所述基于海量存储系统的数据安全处理方法，其特征在于，所述步骤4还包括：
验证接收到的所述命令是否具有对所述待删除数据或错误操作导致的数据进行删除或恢复的权限；
若是，执行所述命令，若否，记录所述命令。
4.如权利要求3所述基于海量存储系统的数据安全处理方法，其特征在于，在所述步骤4之后，还包括：
定时对所述专用空间进行监测；
判断所述专用空间的待删除数据或错误操作导致的数据的存放时间是否大于等于阈值；
若是，删除所述标记目录。
5.如权利要求4所述基于海量存储系统的数据安全处理方法，其特征在于，所述步骤4包括：
判断所述命令是否为海量小文件删除操作命令；若是，执行海量小文件删除操作命令，将海量小文件目录移动到所述专用空间的海量小文件删除目录下。
6.如权利要求5所述基于海量存储系统的数据安全处理方法，其特征在于，在所述将海量小文件目录移动到所述专用空间的海量小文件删除目录下之后，还包括：
将所述海量小文件目录通过系统监控服务同步信息至所有客户端。
7.一种基于海量存储系统的数据安全处理系统，其特征在于，包括：
专用空间创建模块，用于在海量存储系统中创建专用空间；
数据安全处理开关模块，用于开启状态下允许进入所述专用空间以及开启状态下允许将待删除数据或错误操作导致的数据导入所述专用空间；
目录标志模块，对导入所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间；
命令执行模块，根据接收到的命令和所述命令中对应的数据名称标志和存放时间进行数据删除或数据恢复。
8.如权利要求7所述基于海量存储系统的数据安全处理系统，其特征在于，还包括与所述数据安全处理开关模块连接的管理员模块，用于管理员或具有特殊权限的用户登录所述海量存储系统进行数据清空操作。
9.如权利要求8所述基于海量存储系统的数据安全处理系统，其特征在于，还包括与所述目录标志模块连接的定时监测模块，用于对所述专用空间进行定时检测，在判定所述删除数据或错误操作导致的数据的存放时间大于阈值之后，自动删除所述专用空间的待删除数据或错误操作导致的数据记录数据名称标志和存放时间。
10.如权利要求9所述基于海量存储系统的数据安全处理系统，其特征在于，还包括与所述目录标志模块连接的海量小文件删除模块，用于在判定进行海量小文件删除操作之后，将所述海量小文件的目录转移到所述专用空间，并通过系统监控服务同步信息发送到所有客户端。
CN201711450443.0A 2017-12-27 2017-12-27 一种基于海量存储系统的数据安全处理方法和系统 Pending CN108228100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711450443.0A CN108228100A (zh) 2017-12-27 2017-12-27 一种基于海量存储系统的数据安全处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711450443.0A CN108228100A (zh) 2017-12-27 2017-12-27 一种基于海量存储系统的数据安全处理方法和系统

Publications (1)

Publication Number Publication Date
CN108228100A true CN108228100A (zh) 2018-06-29

Family

ID=62649261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711450443.0A Pending CN108228100A (zh) 2017-12-27 2017-12-27 一种基于海量存储系统的数据安全处理方法和系统

Country Status (1)

Country Link
CN (1) CN108228100A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241001A (zh) * 2018-08-30 2019-01-18 新华三大数据技术有限公司 数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794210A (zh) * 2006-01-05 2006-06-28 北京中讯锐尔科技有限公司 移动存储设备的数据安全存储和处理方法
CN1852137A (zh) * 2005-07-20 2006-10-25 华为技术有限公司 一种实现客户端数据和服务器端数据同步的方法
WO2015078370A1 (en) * 2013-11-29 2015-06-04 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
CN105930436A (zh) * 2016-04-19 2016-09-07 乐视控股（北京）有限公司 用于移动终端设备的文件回收方法和装置
CN107239521A (zh) * 2017-05-26 2017-10-10 郑州云海信息技术有限公司 一种分布式集群上的回收站应用方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852137A (zh) * 2005-07-20 2006-10-25 华为技术有限公司 一种实现客户端数据和服务器端数据同步的方法
CN1794210A (zh) * 2006-01-05 2006-06-28 北京中讯锐尔科技有限公司 移动存储设备的数据安全存储和处理方法
WO2015078370A1 (en) * 2013-11-29 2015-06-04 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
CN105930436A (zh) * 2016-04-19 2016-09-07 乐视控股（北京）有限公司 用于移动终端设备的文件回收方法和装置
CN107239521A (zh) * 2017-05-26 2017-10-10 郑州云海信息技术有限公司 一种分布式集群上的回收站应用方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241001A (zh) * 2018-08-30 2019-01-18 新华三大数据技术有限公司 数据处理方法及装置

Similar Documents

Publication Publication Date Title
US11593302B2 (en) Methods, systems, and computer readable mediums for implementing a data protection policy for a transferred enterprise application
CN104731691B (zh) 动态调整分布式文件系统内文件副本数目的方法和系统
DE112011103666B4 (de) Speicherverwaltung in Cluster-Datenverarbeitungssystemen
CN104239166B (zh) 一种对运行中虚拟机实现文件备份的方法
US7406473B1 (en) Distributed file system using disk servers, lock servers and file servers
CN103763383B (zh) 一体化云存储系统及其存储方法
JP5210176B2 (ja) 複数のノードを有するストレージ・システムの保護管理方法
CN100544283C (zh) 配置备份方法、系统及配置文件服务器和被管理设备
CN102891869B (zh) 一种内容分发网络及内容发布、调度方法
EP1701263B1 (en) Computer system and data backup method in computer system
CN104737135B (zh) 信息处理终端以及同步控制方法
CN102333079A (zh) 一种磁盘空间清理方法
EP3646183B1 (en) Methods, systems, and media for controlling append-only file rewrites
CN104917843B (zh) 云存储与医疗图像无缝对接系统
CN103488546A (zh) 一种支持多级别数据和数据库在线并发备份与恢复方法
CN102202044A (zh) 便携式云存储方法和设备
CN105930233B (zh) 对指定公有云账户的数据进行分别自动备份的方法及系统
CN103399806A (zh) 网络备份更新管理方法及其系统
CN102170460A (zh) 一种集群存储系统及其数据存储方法
CN109977170A (zh) 一种政务内外网数据同步的方法及系统
CN100530069C (zh) 一种非同质存储设备的虚拟化系统及方法
CN110633578A (zh) 智能共享云存储方法与系统
CN109327526A (zh) 基于云存储的便携式存储设备
CN108228100A (zh) 一种基于海量存储系统的数据安全处理方法和系统
WO2024131057A1 (zh) 获取文件系统差异数据的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication