CN111045997B - 集中存储数据删除方法及装置 - Google Patents

集中存储数据删除方法及装置 Download PDF

Info

Publication number
CN111045997B
CN111045997B CN201911239454.3A CN201911239454A CN111045997B CN 111045997 B CN111045997 B CN 111045997B CN 201911239454 A CN201911239454 A CN 201911239454A CN 111045997 B CN111045997 B CN 111045997B
Authority
CN
China
Prior art keywords
file
directory
mapping
data
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911239454.3A
Other languages
English (en)
Other versions
CN111045997A (zh
Inventor
梁图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haoyun Technologies Co Ltd
Original Assignee
Haoyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haoyun Technologies Co Ltd filed Critical Haoyun Technologies Co Ltd
Priority to CN201911239454.3A priority Critical patent/CN111045997B/zh
Publication of CN111045997A publication Critical patent/CN111045997A/zh
Application granted granted Critical
Publication of CN111045997B publication Critical patent/CN111045997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种集中存储数据删除方法及装置，所述方法包括：接收文件删除任务；根据文件删除任务，在后台递归查找文件目录的映射目录以及映射目录下的各文件数据；在后台为查找到的映射目录及各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有删除标记的映射目录和各文件数据；根据删除标记，在后台批量删除映射目录及各文件数据。本实施例通过在用户界面删除用户视角的虚拟文件目录，并在后台异步删除文件数据的同时，将待删除的文件数据进行过滤的方式，从而在能够快速响应用户的删除操作，防止用户界面堵塞的同时，避免后续操作时造成数据冲突。

Description

集中存储数据删除方法及装置
技术领域
本申请涉及任务管理技术领域，尤其涉及一种集中存储数据删除方法及装置。
背景技术
集中存储的文件管理分为上下两个层次，上层是虚拟的文件目录，即用户视图中的文件夹，用于给用户访问，下层是文件的实际分布存储，即文件在后台的分布存储方式。传统删除集中存储的文件的方法，是通过递归删除的方式，删除文件目录下面的所有文件。但由于底层文件系统删除文件的接口是要逐个删除文件，而且还要删除集中存储数据库中的文件相关记录，因此当文件目录下的文件数量过多时，删除总耗时也会相应变长，导致用户界面会长期保持在删除界面。
为减少删除总耗时，现有技术中，采用开启多线程/多任务并发删除的方式，加快速度，或改为异步删除方式，即快速响应用户，在后台异步删除该文件目录下的文件和文件夹，从而避免用户的界面堵塞。但在采用开启多线程多任务方式进行文件删除时，发现由于用户删除的文件夹下面可能存在成千上万个文件，多线程的删除方式依旧需要耗费大量时间，例如大型监控中心，一个目录下面存储的报警录像文件和图片文件数量可以多达上万条，因此这种处理方式依旧无法很好的解决上述问题；而采用异步删除的方式，虽然立即得到响应用户删除的调用，不会阻塞用户后续操作，但是由于文件和目录没有立即删除，因此用户后续操作还能看到和操作这些文件目录。若用户后续操作需要依赖删除操作，可能会引起数据冲突，对应用适应性不够好。
发明内容
本申请实施例所要解决的技术问题在于，提供一种集中存储数据删除方法及装置，能够快速响应用户的删除操作，防止用户界面堵塞的同时，避免后续操作时造成数据冲突。
为解决上述问题，本申请实施例提供一种集中存储数据删除方法，至少包括如下步骤：
接收文件删除任务；
根据所述文件删除任务，在后台递归查找所述文件目录的映射目录以及所述映射目录下的各文件数据；
在所述后台为查找到的所述映射目录及所述各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据；
根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据；
其中，集中存储数据的文件管理分为上下两个层次，上层是虚拟的文件目录用于所述用户视图进行访问，下层是实际分布存储在后台进行管理，上下层的目录结构的映射关系存储在集中存储服务后台的数据库里。
进一步的，所述文件数据包括子文件目录和文件，所述映射目录及所述子文件目录记录在所述后台的目录表中，所述文件的文件信息记录在所述后台的文件表中。
进一步的，所述在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据，包括：
在所述目录表中，为所述映射目录及所述子文件目录添加所述删除标记，以在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录，以及过滤带有所述删除标记的所述子文件目录；
在所述文件表中，为所述文件信息添加所述删除标记，以在用户发起对文件的操作指令时，过滤与带有所述删除标记的文件信息对应的所述文件。
进一步的，所述根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据，包括：
根据所述删除标记，删除所述映射目录、所述子文件目录、所述文件信息及所述文件。
进一步的，所述映射目录记录在所述目录表中存在唯一的第一目录标识。
进一步的，所述子文件目录在所述目录表中存在唯一的第二目录标识，所述文件在所述文件表中存在唯一的文件标识。
进一步的，还提供一种集中存储数据删除装置，包括：
任务接收模块，用于接收文件删除任务；
数据查找模块，用于根据所述文件删除任务，在后台递归查找所述文件目录的映射目录以及所述映射目录下的各文件数据；
第一处理模块，用于在所述后台为查找到的所述映射目录及所述各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据；
第二处理模块，用于根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据；
其中，集中存储数据的文件管理分为上下两个层次，上层是虚拟的文件目录用于所述用户视图进行访问，下层是实际分布存储在后台进行管理，上下层的目录结构的映射关系存储在集中存储服务后台的数据库里。
实施本申请实施例，具有如下有益效果：
与现有技术相比，本实施例通过在用户界面删除用户视角的虚拟文件目录，并在后台异步删除文件数据的同时，将待删除的文件数据进行过滤的方式，从而在能够快速响应用户的删除操作，防止用户界面堵塞的同时，避免后续操作时造成数据冲突。
附图说明
图1是本申请的实施例一提供的集中存储数据删除方法的流程示意图；
图2是本申请的实施例二提供的集中存储数据删除装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，是本申请的实施例一提供的集中存储数据删除方法的流程示意图，如图1所示，包括：
步骤S1，接收文件删除任务。
在本实施例中，文件删除任务的接收方式可以通过设置消息接收器的方式来进行监听，若监听到文件目录删除操作，例如用户对文件夹删除操作，则接收该操作并生成文件删除任务。
步骤S2，根据文件删除任务，在后台递归查找文件目录的映射目录以及映射目录下的各文件数据。
集中存储服务的文件管理分为上下两个层次，上层是虚拟的文件目录给用户访问，下层是文件的实际分布存储，例如下表：
用户视角的虚拟文件目录(上层) 实际的分布存储目录(下层)
/小明/文档/1.txt /disk01/0/3.txt
/小明/文档/2.txt /disk02/1/4.txt
/小明/数据/a.dat /disk03/1/1.dat
其中，上下层的目录结构是不一样的，其映射关系存储在集中存储服务后台的数据库里。
当接收到文件删除任务时，先根据上层的用户视角的虚拟文件目录，在后台查找该文件目录的映射目录以及该映射目录下的各文件数据。
步骤S3，在后台为查找到的映射目录及各文件数据添加删除标记，以删除用户视图中的文件目录，并在用户发起对文件的操作指令时，过滤带有删除标记的映射目录和各文件数据。
具体的，文件数据包括子文件目录和文件，映射目录及子文件目录记录在后台的目录表中，文件的文件信息记录在后台的文件表中。在目录表中，为映射目录及子文件目录添加删除标记，以在用户发起对文件的操作指令时，过滤带有删除标记的映射目录，以及过滤带有删除标记的子文件目录。在文件表中，为文件信息添加删除标记，以在用户发起对文件的操作指令时，过滤与带有删除标记的文件信息对应的文件。
由于查找、标记删除都只是涉及到单纯的批量的数据库操作，因此能够快速响应用户的删除操作，此时当数据库中的映射目录被添加删除标记时，用户视图层面的虚拟文件目录即变为不可见，从而避免用户的界面堵塞。
在本实施例中，目录表如下表所示：
Figure GDA0004111297090000051
其中，该目录表设有一个字段作为目录信息的删除标记，其初始状态为“0”，表示不删除。当需在后台删除某一目录时，则将该目录的删除标记则变为“1”，表示待删除，从而标记该目录需要被删除。当用户查找、操作删除标记变为“1”的目录信息对应的文件目录时，自动过滤该文件目录，从而避免造成数据冲突。需要说明的是，当父目录，即映射目录的删除标记为“1”时，子目录，即子文件目录的删除标记也同时变更为“1”。
在本实施例中，文件表如下表所示：
Figure GDA0004111297090000052
同理，当父目录的删除标记为“1”时，该目录下的文件的删除标记也同时变更为“1”。
在本实施例中，映射目录记录在目录表中存在唯一的第一目录标识，子文件目录在目录表中存在唯一的第二目录标识，文件在文件表中存在唯一的文件标识。即映射目录、子文件目录在目录表中的目录ID唯一，文件在文件表中的文件ID唯一。因此，即使文件目录只在用户视图层面被删除，其映射目录还未被删除，但由于新建的同名文件目录或同名文件在目录表和文件表中会产生新的目录ID或文件ID，所以不会与未删除的同名文件目录或同名文件产生冲突。
如下表所示，新建的目录“/小明/文档”，其目录id为5，而删除的目录id为3，不会产生冲突。
Figure GDA0004111297090000061
步骤S4，根据删除标记，在后台批量删除映射目录及各文件数据。
具体的，根据删除标记，删除映射目录、子文件目录、文件信息及文件。
在本实施例中，根据删除标记，批量查找目录表和文件表中将删除标记设置为“1”的目录记录和文件记录，即映射目录、子文件目录和文件信息，并根据这些文件记录标记在后台中实际存储的文件后，批量删除这些实际存储的文件，同时删除映射目录、子文件目录和文件信息。
本实施例通过在用户界面删除用户视角的虚拟文件目录，并在后台异步删除文件数据的同时，将待删除的文件数据进行过滤的方式，从而在能够快速响应用户的删除操作，防止用户界面堵塞的同时，避免后续操作时造成数据冲突。
进一步的，参见图2，是本申请的实施例二提供的集中存储数据删除装置的结构示意图。
任务接收模块101，用于接收文件删除任务。
数据查找模块102，用于根据文件删除任务，在后台递归查找文件目录的映射目录以及映射目录下的各文件数据。
在本实施例中，文件数据包括子文件目录和文件，映射目录及子文件目录记录在后台的目录表中，文件的文件信息记录在后台的文件表中。
其中，映射目录记录在目录表中存在唯一的第一目录标识，子文件目录在目录表中存在唯一的第二目录标识，文件在文件表中存在唯一的文件标识。
第一处理模块103，用于在后台为查找到的映射目录及各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有删除标记的映射目录和各文件数据。
第二处理模块104，用于根据删除标记，在后台批量删除映射目录及各文件数据。
本实施例通过在用户界面删除用户视角的虚拟文件目录，并在后台异步删除文件数据的同时，将待删除的文件数据进行过滤的方式，从而在能够快速响应用户的删除操作，防止用户界面堵塞的同时，避免后续操作时造成数据冲突。
本申请的又一实施例还提供了一种集中存储数据删除终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的集中存储数据删除方法。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种集中存储数据删除方法，其特征在于，至少包括如下步骤：
接收文件删除任务；
根据所述文件删除任务，在后台递归查找文件目录的映射目录以及所述映射目录下的各文件数据；
在所述后台为查找到的所述映射目录及所述各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据；
根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据；
其中，集中存储数据的文件管理分为上下两个层次，上层是虚拟的文件目录用于所述用户视图进行访问，下层是实际分布存储在后台进行管理，上下层的目录结构的映射关系存储在集中存储服务后台的数据库里。
2.根据权利要求1所述的集中存储数据删除方法，其特征在于，所述文件数据包括子文件目录和文件，所述映射目录及所述子文件目录记录在所述后台的目录表中，所述文件的文件信息记录在所述后台的文件表中。
3.根据权利要求2所述的集中存储数据删除方法，其特征在于，所述在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据，包括：
在所述目录表中，为所述映射目录及所述子文件目录添加所述删除标记，以在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录，以及过滤带有所述删除标记的所述子文件目录；
在所述文件表中，为所述文件信息添加所述删除标记，以在用户发起对文件的操作指令时，过滤与带有所述删除标记的文件信息对应的所述文件。
4.根据权利要求3所述的集中存储数据删除方法，其特征在于，所述根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据，包括：
根据所述删除标记，删除所述映射目录、所述子文件目录、所述文件信息及所述文件。
5.根据权利要求2所述的集中存储数据删除方法，其特征在于，所述映射目录记录在所述目录表中存在唯一的第一目录标识。
6.根据权利要求2所述的集中存储数据删除方法，其特征在于，所述子文件目录在所述目录表中存在唯一的第二目录标识，所述文件在所述文件表中存在唯一的文件标识。
7.一种集中存储数据删除装置，其特征在于，包括：
任务接收模块，用于接收文件删除任务；
数据查找模块，用于根据所述文件删除任务，在后台递归查找文件目录的映射目录以及所述映射目录下的各文件数据；
第一处理模块，用于在所述后台为查找到的所述映射目录及所述各文件数据添加删除标记，以删除用户视图中的所述文件目录，并在用户发起对文件的操作指令时，过滤带有所述删除标记的所述映射目录和所述各文件数据；
第二处理模块，用于根据所述删除标记，在后台批量删除所述映射目录及所述各文件数据；
其中，集中存储数据的文件管理分为上下两个层次，上层是虚拟的文件目录用于所述用户视图进行访问，下层是实际分布存储在后台进行管理，上下层的目录结构的映射关系存储在集中存储服务后台的数据库里。
8.根据权利要求7所述的集中存储数据删除装置，其特征在于，所述文件数据包括子文件目录和文件，所述映射目录及所述子文件目录记录在所述后台的目录表中，所述文件的文件信息记录在所述后台的文件表中。
9.根据权利要求8所述的集中存储数据删除装置，其特征在于，所述映射目录记录在所述目录表中存在唯一的第一目录标识。
10.根据权利要求8所述的集中存储数据删除装置，其特征在于，所述子文件目录在所述目录表中存在唯一的第二目录标识，所述文件在所述文件表中存在唯一的文件标识。
CN201911239454.3A 2019-12-05 2019-12-05 集中存储数据删除方法及装置 Active CN111045997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239454.3A CN111045997B (zh) 2019-12-05 2019-12-05 集中存储数据删除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239454.3A CN111045997B (zh) 2019-12-05 2019-12-05 集中存储数据删除方法及装置

Publications (2)

Publication Number Publication Date
CN111045997A CN111045997A (zh) 2020-04-21
CN111045997B true CN111045997B (zh) 2023-05-12

Family

ID=70234829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239454.3A Active CN111045997B (zh) 2019-12-05 2019-12-05 集中存储数据删除方法及装置

Country Status (1)

Country Link
CN (1) CN111045997B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527742A (zh) * 2020-11-05 2021-03-19 武汉大千信息技术有限公司 一种快速精准批量删除系统中海量图片数据文件的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291796A (zh) * 2017-05-05 2017-10-24 平安科技（深圳）有限公司 文件管理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679851B (zh) * 2015-02-12 2019-02-05 Oppo广东移动通信有限公司 一种数据删除方法及终端
CN105791556A (zh) * 2016-02-27 2016-07-20 深圳市美贝壳科技有限公司 快速释放移动终端存储空间的方法
CN106446044B (zh) * 2016-08-31 2020-08-11 北京小米移动软件有限公司 存储空间回收方法及装置
CN108549698B (zh) * 2018-04-16 2021-07-09 Oppo广东移动通信有限公司 文件处理方法、装置、移动终端及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291796A (zh) * 2017-05-05 2017-10-24 平安科技（深圳）有限公司 文件管理方法及装置

Also Published As

Publication number Publication date
CN111045997A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US11082489B2 (en) Method and system for displaying similar email messages based on message contents
US10275355B2 (en) Method and apparatus for cleaning files in a mobile terminal and associated mobile terminal
EP2985694B1 (en) Application program management method and terminal device
CN103119550B (zh) 存储具有时变特性的电子内容
CN107016123B (zh) 文件管理方法及终端设备
CN110413282B (zh) 一种冗余资源处理方法、装置、设备及存储介质
CN109726177A (zh) 一种基于HBase的海量文件分区索引方法
CN103577483B (zh) 数据存储方法和系统以及数据访问的方法和系统
CN111190962B (zh) 一种文件同步方法、装置及本地终端
CN106446044B (zh) 存储空间回收方法及装置
WO2013097612A1 (en) Method and device for managing pictures of mobile terminal
CN104991949B (zh) 移动终端及其文件管理系统和方法
CN106161193B (zh) 一种邮件处理方法、装置和系统
CN113076290A (zh) 文件删除方法、装置、设备、系统及存储介质
CN111045997B (zh) 集中存储数据删除方法及装置
CN103092988A (zh) 一种直接在桌面管理手机媒体资源的实现方法
CN102541872A (zh) 管理多个相册的系统和方法
US10853194B1 (en) Selective data restoration
US11556515B2 (en) Artificially-intelligent, continuously-updating, centralized-database-identifier repository system
CN111753141A (zh) 一种数据管理方法及相关设备
CN112486409B (zh) 一种自动回收集群云硬盘的方法、系统、终端及存储介质
CN113868194A (zh) 一种存储设备本地用户组的管理方法、装置、系统及介质
CN110162534B (zh) 数据管理方法及数据存储系统
CN113342270A (zh) 卷卸载方法、装置和电子设备
CN114547184A (zh) 人员信息同步方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant