CN111737206A - 一种文件重删处理方法、系统、终端及存储介质 - Google Patents
一种文件重删处理方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN111737206A CN111737206A CN202010508623.5A CN202010508623A CN111737206A CN 111737206 A CN111737206 A CN 111737206A CN 202010508623 A CN202010508623 A CN 202010508623A CN 111737206 A CN111737206 A CN 111737206A
- Authority
- CN
- China
- Prior art keywords
- file
- encryption
- fingerprint information
- encrypted
- stripe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种文件重删处理方法、系统、终端及存储介质，方法包括：获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；获取加密文件条带的加密前指纹信息和加密后指纹信息；根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。本发明能够避免在重删功能下由于用户的加密方法不同而导致的文件丢失问题。
Description
技术领域
本发明涉及分布式对象存储系统技术领域，具体涉及一种文件重删处理方法、系统、终端及存储介质。
背景技术
分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统；随着信息化的发展，越来愈多的用户，选择将原来保存到自己的数码设备上转移到云端存储上，家庭成员之间相互分享等；科技以人为本信息化的发展，工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心，大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，文件的读写请求等操作带来了大量的磁盘IO的消耗，集群的IO吞吐量是有限的，如何提高集群的空间有效的使用，降低企业或者数据中心运营成本，数据重删成为一种有效的方式。
随着数据的集中，不同的信息，机密程度不同，为了保护用户的敏感数据信息，不同用户选择的不同的加密算法与等级。由于不同用户针对相同数据采用了不同加密算法，在开启重删的情况下，由于原始的文件指纹信息相同，但通过不同的加密算法导致落盘的最终的数据不同，如果简单地删除重复的数据，很可能造成文件存储系统的混乱，部分用户无法读取文件的问题。因此不能通过简单的对象级重删逻辑进行处理，同时对加密文件的重删处理引入了大量的计算，带来了计算性能的消耗。
发明内容
针对现有技术的不足，本发明提供一种文件重删处理方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本申请实施例提供一种文件重删处理方法，所述方法包括：
获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
获取加密文件条带的加密前指纹信息和加密后指纹信息；
根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
进一步的，所述方法还包括：
若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
将所述匹配对象的所有数据块的引用计数均累加1次；
采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
将所述匹配对象的标记信息作为所述匹配对象的文件名。
进一步的，所述按条带划分方式读取上传文件，包括：
预先设置条带大小；
从所述上传文件中顺序读取数据，并判断当前读取的数据量是否满足所述条带大小：若是，停止数据读取并截取当前读取的数据作为文件条带；
循环执行对所述上传文件的读取和截取操作，直至读完所述上传文件的所有数据。
进一步的，所述方法还包括：
若查找到所述匹配数据块，则将所述匹配数据块的引用计数累加1次；
将所述加密文件条带的匹配数据块存储信息保存至所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
进一步的，在所述将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中之后，所述方法还包括：
创建所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
第二方面，本申请实施例提供一种文件重删处理系统，所述系统包括：
信息获取单元，配置用于获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
文件读取单元，配置用于判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
条带处理单元，配置用于获取加密文件条带的加密前指纹信息和加密后指纹信息；
条带匹配单元，配置用于根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
条带保存单元，配置用于若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
进一步的，所述系统还包括：
对象匹配单元，配置用于若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
对象引用单元，配置用于将所述匹配对象的所有数据块的引用计数均累加1次；
特征采集单元，配置用于采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
对象命名单元，配置用于将所述匹配对象的标记信息作为所述匹配对象的文件名。
进一步的，所述方法还包括：
清单创建单元，配置用于创建所述上传文件的清单列表；
信息写入单元，配置用于将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端终端执行上述的终端终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的文件重删处理方法、系统、终端及存储介质，通过对云存储中的文件对象进行指纹信息和加密类型标记，并通过检索指纹信息和加密类型查找上传文件的匹配对象。在无法查找匹配对象的情况下，对上传文件进行条带分割，并对分割后的文件条带进行加密以及根据加密文件条带的指纹信息进一步检索与之匹配的数据块。若云存储无匹配数据块，则将加密文件条带标记自身指纹信息和加密类型后保存至云存储。本发明能够保证上传的文件在存储池中有指纹信息和加密类型完全一致的对象，从而能够避免在重删功能下由于用户采用的加密方法不同而导致的文件丢失问题，且处理方法简单，降低了文件加密和重删处理的计算量。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例的方法的示意性流程图。
图2是本申请一个实施例的方法的示意性流程图。
图3是本申请一个实施例的系统的示意性框图。
图4为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本申请中出现的关键术语进行解释。
重删，一种数据缩减技术，旨在减少存储系统中使用的存储容量，重复的数据用指示符代替。
图1是本申请一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种文件重删处理系统。
如图1所示，该方法100包括：
步骤110，获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
步骤120，判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
步骤130，获取加密文件条带的加密前指纹信息和加密后指纹信息；
步骤140，根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
步骤150，若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
为了便于对本发明的理解，下面以本发明文件重删处理方法的原理，结合实施例中对重删文件进行处理的过程，对本发明提供的文件重删处理方法做进一步的描述。
请参考图2，具体的，所述医患交互管理方法包括：
S1、获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象。
当接收到客户端发送文件上传请求后，解析请求并判断该用户是否开了重删、加密功能。如果没有开启重删功能则使用普通的文件上传流程，处理完后退出。
如果该用户开启了重删功能，则获取上传请求中用户上传文件的原始指纹信息(MD5值)。如果获取到上传文件的原始指纹信息，则查询与该指纹信息一致的匹配对象(对象：存储池中已经保存的文件)是否存在以及匹配对象的加密类型，如果存在对应对象且加密类型一致，则使用对象级重删的逻辑处理：首先通过该匹配对象的manifest(清单列表)查找该对象包含的各个数据块，并将各个数据块的引用计数全部累加1，最后建立逻辑头对象记录加密类型、原始指纹信息、加密后的指纹信息，建立文件名与加密后头对象、加密后指纹、原始指纹等的索引关系。
S2、判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密。
如果未查找到与上传文件的原指纹信息和加密类型完全一致的匹配对象，则需要获取客户端用户的加密类型。然后从上传文件的请求中读取数据，数据读取方法为：首先根据需要预先设置好条带大小，如512KB。开始读取上传文件的数据后，实时监控读取的数据量，当读取的数据量达到512KB后，暂停数据读取，将当前读取的数据截取出来作为一个文件条带，计算该文件条带的加密前指纹信息，然后按照用户加密类型对该文件条带进行加密，得到加密文件条带，然后计算加密文件条带的加密后指纹信息。截取完一个文件条带后，继续读取上传文件的数据，以上述读取方法截取下一个文件条带，直至将上传文件读取完。若上传文件不超过512KB，则直接将上传文件读取完，无需进行条带截取。
S3、获取加密文件条带的加密前指纹信息和加密后指纹信息。
提取每个文件条带的加密前指纹信息和加密后指纹信息。
S4、根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块。
如果上传文件过小，只能作为一个文件条带读取，则将该文件的加密前指纹信息、加密后指纹信息和加密类型作为加密文件的文件名头部数据，从而建立文件名与指纹信息、加密类型的索引关系。同时生成上传文件的清单列表，清单列表内也保存加密前指纹信息、加密后指纹信息和加密类型。然后将加密文件和清单列表保存至存储池。
如果上传文件被截取为多个文件条带，则从存储池中所有文件对象的下级清单列表manifest中筛选每个加密文件条带的匹配数据块，筛选的规则为匹配数据块与加密文件条带的加密后指纹信息一致。如果加密文件条带存在匹配数据块，则在匹配数据块的文件名和存储路径保存至上传文件的清单列表中，并将匹配数据块的引用计数累加1次。
S5、若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
如果上传文件的多个加密文件条带中，有查找到匹配数据块的加密文件条带，则将这些加密文件条带的自身加密后指纹信息作为加密文件条带的文件名标识，并将这些加密文件条带保存至存储池作为一组数据块，每个数据块的引用计数设置为1。同时将这些数据块的加密前/后指纹信息、加密类型以及在上传文件的位置信息保存至上传文件的清单列表中。这组数据块和对应清单列表即为保存在存储池中的一个对象，该对象以上传文件的原指纹信息和加密类型作为文件名。
通过步骤S1-S5，可以实现不同加密算法的相同数据的分别保存，避免重删功能影响用户的数据读取。而相同加密算法的相同数据进行重删处理，优化文件存储系统的资源利用。
如图3示，该系统300包括：
信息获取单元310，配置用于获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
文件读取单元320，配置用于判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
条带处理单元330，配置用于获取加密文件条带的加密前指纹信息和加密后指纹信息；
条带匹配单元340，配置用于根据所述加密后指纹信息，从云存储查找标记有所述加密后指纹信息的匹配数据对象命名单元，配置用于将所述匹配对象的标记信息作为所述匹配对象的文件名。块；
条带保存单元350，配置用于若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
可选地，作为本申请一个实施例，所述系统还包括：
对象匹配单元，配置用于若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
对象引用单元，配置用于将所述匹配对象的所有数据块的引用计数均累加1次；
特征采集单元，配置用于采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
对象命名单元，配置用于将所述匹配对象的标记信息作为所述匹配对象的文件名。
可选地，作为本申请一个实施例，所述方法还包括：
清单创建单元，配置用于创建所述上传文件的清单列表；
信息写入单元，配置用于将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
图4为本发明实施例提供的一种终端系统400的结构示意图，该终端系统400可以用于执行本申请实施例提供的文件重删处理方法。
其中，该终端系统400可以包括：处理器410、存储器420及通信单元430。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器420可以用于存储处理器410的执行指令，存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器420中的执行指令由处理器410执行时，使得终端400能够执行以下上述方法实施例中的部分或全部步骤。
处理器410为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器410可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元430，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本申请通过对云存储中的文件对象进行指纹信息和加密类型标记，并通过检索指纹信息和加密类型查找上传文件的匹配对象。在无法查找匹配对象的情况下，对上传文件进行条带分割，并对分割后的文件条带进行加密以及根据加密文件条带的指纹信息进一步检索与之匹配的数据块。若云存储无匹配数据块，则将加密文件条带标记自身指纹信息和加密类型后保存至云存储。本发明能够保证上传的文件在存储池中有指纹信息和加密类型完全一致的对象，从而能够避免在重删功能下由于用户采用的加密方法不同而导致的文件丢失问题，且处理方法简单，降低了文件加密和重删处理的计算量，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种文件重删处理方法，其特征在于，所述方法包括：
获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
获取加密文件条带的加密前指纹信息和加密后指纹信息；
根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
将所述匹配对象的所有数据块的引用计数均累加1次；
采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
将所述匹配对象的标记信息作为所述匹配对象的文件名。
3.根据权利要求1所述的方法，其特征在于，所述按条带划分方式读取上传文件，包括：
预先设置条带大小；
从所述上传文件中顺序读取数据，并判断当前读取的数据量是否满足所述条带大小：若是，停止数据读取并截取当前读取的数据作为文件条带；
循环执行对所述上传文件的读取和截取操作，直至读完所述上传文件的所有数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若查找到所述匹配数据块，则将所述匹配数据块的引用计数累加1次；
将所述加密文件条带的匹配数据块存储信息保存至所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
5.根据权利要求1所述的方法，其特征在于，在所述将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中之后，所述方法还包括：
创建所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
6.一种文件重删处理系统，其特征在于，所述系统包括：
信息获取单元，配置用于获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
文件读取单元，配置用于判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
条带处理单元，配置用于获取加密文件条带的加密前指纹信息和加密后指纹信息；
条带匹配单元，配置用于根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
条带保存单元，配置用于若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：
对象匹配单元，配置用于若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
对象引用单元，配置用于将所述匹配对象的所有数据块的引用计数均累加1次；
特征采集单元，配置用于采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
对象命名单元，配置用于将所述匹配对象的标记信息作为所述匹配对象的文件名。
8.根据权利要求6所述的系统，其特征在于，所述方法还包括：
清单创建单元，配置用于创建所述上传文件的清单列表；
信息写入单元，配置用于将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010508623.5A CN111737206B (zh) | 2020-06-06 | 2020-06-06 | 一种文件重删处理方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010508623.5A CN111737206B (zh) | 2020-06-06 | 2020-06-06 | 一种文件重删处理方法、系统、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111737206A true CN111737206A (zh) | 2020-10-02 |
| CN111737206B CN111737206B (zh) | 2023-01-10 |
Family
ID=72648386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010508623.5A Active CN111737206B (zh) | 2020-06-06 | 2020-06-06 | 一种文件重删处理方法、系统、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111737206B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116150786A (zh) * | 2023-01-10 | 2023-05-23 | 深圳技术大学 | 基于指令密匙自行设定的u盘文件加密系统 |
| WO2024037002A1 (zh) * | 2022-08-15 | 2024-02-22 | 华为技术有限公司 | 一种数据的缩减方法、装置、设备、存储介质及处理器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995863A (zh) * | 2014-05-19 | 2014-08-20 | 华为技术有限公司 | 一种重复数据删除的方法及装置 |
| CN110399348A (zh) * | 2019-07-19 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 文件重删方法、装置、系统及计算机可读存储介质 |
| CN110908589A (zh) * | 2018-09-14 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 数据文件的处理方法、装置、系统和存储介质 |
| CN111090620A (zh) * | 2019-12-06 | 2020-05-01 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及可读存储介质 |
-
2020
- 2020-06-06 CN CN202010508623.5A patent/CN111737206B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995863A (zh) * | 2014-05-19 | 2014-08-20 | 华为技术有限公司 | 一种重复数据删除的方法及装置 |
| CN110908589A (zh) * | 2018-09-14 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 数据文件的处理方法、装置、系统和存储介质 |
| CN110399348A (zh) * | 2019-07-19 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 文件重删方法、装置、系统及计算机可读存储介质 |
| CN111090620A (zh) * | 2019-12-06 | 2020-05-01 | 浪潮电子信息产业股份有限公司 | 一种文件存储方法、装置、设备及可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024037002A1 (zh) * | 2022-08-15 | 2024-02-22 | 华为技术有限公司 | 一种数据的缩减方法、装置、设备、存储介质及处理器 |
| CN116150786A (zh) * | 2023-01-10 | 2023-05-23 | 深圳技术大学 | 基于指令密匙自行设定的u盘文件加密系统 |
| CN116150786B (zh) * | 2023-01-10 | 2023-11-28 | 深圳技术大学 | 基于指令密匙自行设定的u盘文件加密系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111737206B (zh) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10372723B2 (en) | Efficient query processing using histograms in a columnar database | |
| US9471610B1 (en) | Scale-out of data that supports roll back | |
| CN111198976B (zh) | 云上资产关联分析系统、方法、电子设备及介质 | |
| CN111737206B (zh) | 一种文件重删处理方法、系统、终端及存储介质 | |
| CN109783457B (zh) | Cgi接口管理方法、装置、计算机设备和存储介质 | |
| CN112632077A (zh) | 基于redis的数据存储方法、装置、设备及存储介质 | |
| CN112395157A (zh) | 审计日志的获取方法、装置、计算机设备和存储介质 | |
| CN114490527A (zh) | 元数据检索方法、系统、终端及存储介质 | |
| WO2021027331A1 (zh) | 基于图数据的全量关系计算方法、装置、设备及存储介质 | |
| CN116383189A (zh) | 业务数据的处理方法、装置、计算机设备、存储介质 | |
| CN115858322A (zh) | 日志数据处理方法、装置和计算机设备 | |
| CN112860808A (zh) | 基于数据标签的用户画像分析方法、装置、介质和设备 | |
| CN117313058A (zh) | 信息的识别方法、装置、计算机设备和存储介质 | |
| US20160210237A1 (en) | Storage device, data access method, and program recording medium | |
| CN112835863A (zh) | 操作日志的处理方法和处理装置 | |
| CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
| CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN114218303A (zh) | 一种交易数据的处理系统、处理方法、介质和设备 | |
| CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 | |
| CN114138552B (zh) | 数据动态重删方法、系统、终端及存储介质 | |
| CN108280048B (zh) | 信息处理方法和装置 | |
| CN116760844A (zh) | 数字孪生模型的数据同步方法、装置、设备和存储介质 | |
| CN117271445A (zh) | 日志数据处理方法、装置、服务器、存储介质和程序产品 | |
| CN116738499A (zh) | 一种安全管控存储一体机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |