CN112527742A - 一种快速精准批量删除系统中海量图片数据文件的方法 - Google Patents

一种快速精准批量删除系统中海量图片数据文件的方法 Download PDF

Info

Publication number
CN112527742A
CN112527742A CN202011223399.1A CN202011223399A CN112527742A CN 112527742 A CN112527742 A CN 112527742A CN 202011223399 A CN202011223399 A CN 202011223399A CN 112527742 A CN112527742 A CN 112527742A
Authority
CN
China
Prior art keywords
picture
database
deleting
file
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011223399.1A
Other languages
English (en)
Inventor
严国建
范玲珑
王彬
曾璐
陈斌
何海峰
李健
陈秀峰
王思桐
魏伟
普应奇
聂瑜智
陈伟
康聚金
王成章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Original Assignee
WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD filed Critical WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Priority to CN202011223399.1A priority Critical patent/CN112527742A/zh
Publication of CN112527742A publication Critical patent/CN112527742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种快速精准批量删除系统中海量图片数据文件的方法，该方法包括：确定存储在FASTDFS分布式文件系统中需要删除的图片文件，在数据库中对所述需要删除的图片文件的地址进行删除标记；在数据库中查询具有所述删除标记的图片地址，并将该图片地址写入数据库或者消息队列；通过shell脚本从数据库或消息队列中批量取出图片地址，然后解析取出的图片地址，再根据FASTDFS中存储节点Storage的映射目录，找到图片的实际目录，最后利用LINUX系统SHELL命令删除文件。本发明方法采用标记位(逻辑方式)的方式使得业务上解耦，采用单独服务平滑的处理同时又有削峰的效果，避免系统的处理量突然暴增导致的卡顿无响应等问题。

Description

一种快速精准批量删除系统中海量图片数据文件的方法
技术领域
本发明涉及海量图片数据的删除，具体地指一种快速精准批量删除系统中海量图片数据文件的方法。
背景技术
在案件侦办过程中，通常需要对视频进行分析处理，特别是在涉及到了空间广，时间长或者嫌疑目标过多的案件的时候，常常需要分析大量的视频数据，以期望获取到某段时间出现在某地有停留的目标(行人、机动车、非机动车)以及目标的运动轨迹，从这一角度去锁定嫌疑目标。然而分析视频数据的时候会产生大量的目标，而每个目标都有图片数据，这些图片数据需要存储下来，经过一段时间的日积月累，存储的图片数据成为海量的图片数据。
目前，对上述图片数据进行存储通常采用FASTDFS分布式文件系统， FASTDFS分布式文件系统是淘宝开源的文件存储系统，解决了大数据存储和读写负载均衡等问题，适合存储小文件，使用简单一经开源广受好评，各个厂商纷纷采用。但是FASTDFS API自带的删除接口，因为只支持单个图片删除，批量删除需要一个个删除，不满足需求，具体体现为：批量删除需要多次交互，以每秒出现10个目标为例，删除一个小时的视频就需要交互3万次以上，页面删除某一个监控点下的一小时的视频的时候，请求响应缓慢，甚至出现卡顿无响应的问题，用户体验不好。
发明内容
本发明目的在于克服上述现有技术存在的技术问题而提供一种快速精准批量删除系统中海量图片数据文件的方法，该方法采用标记位(逻辑方式) 的方式使得业务上解耦，采用单独服务平滑的处理同时又有削峰的效果，避免系统的处理量突然暴增导致的卡顿无响应等问题。
实现本发明目的采用的技术方案是一种快速精准批量删除系统中海量图片数据文件的方法，该方法包括：
确定存储在FASTDFS分布式文件系统中需要删除的图片文件，在数据库中对所述需要删除的图片文件的地址进行删除标记；
在数据库中查询具有所述删除标记的图片地址，并将该图片地址写入数据库或者消息队列；
通过shell脚本从数据库或消息队列中批量取出图片地址，然后解析取出的图片地址，再根据FASTDFS中存储节点Storage的映射目录，找到图片的实际目录，最后利用LINUX系统SHELL命令删除文件。
在上述技术方案中，所述删除标记包括数据库中将视频探头上的所有视频产生的分析数据对应的图片记录的标记位delete_flag改成1，所述数据库为传统关系型数据库或者非关系型数据库
进一步地，查询标记位为1的图片地址后写入到数据库或者消息队列中。
在上述技术方案中，利用LINUX系统SHELL命令rm-fxxxxxx.jpg删除文件。
本发明方法采用标记位(逻辑方式)的方式使得业务上解耦；流程上是异步，这样前端界面能快速响应；采用单独服务平滑的处理方式，达到系统高峰时的削峰的效果，降低系统整体资源消耗，避免系统的处理量突然暴增导致的卡顿无响应等问题。原本需要删除一天24小时不停的删除，现在只需要系统资源闲置的时候，将需要删除的海量文件，快速精准进行删除。
附图说明
图1为本发明快速精准批量删除系统中海量图片数据文件的方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示，本发明快速精准批量删除系统中海量图片数据文件的方法包括以下步骤：
S1、标记位(逻辑方式)的方式标记删除
将实际系统数据中要删除的图片先标记删除，得到具有删除标记位的图片地址。例如删除系统数据中某一个点位探头或者视频的时候，从传统关系型数据库或者非关系型数据库(NOSQL、NEWSQL)中将探头上的所有视频产生的分析数据对应的图片记录的标记位delete_flag【删除标志；0.未删除(默认)；1.已删除】改成1。
S2、查询删除标记位的图片地址并写入存储
从关系型数据库或者非关系型数据库(NOSQL、NEWSQL)中查询删除标记位的记录将图片地址写入存储。查询标记位是1的记录，写入到存储，存储可以用传统关系型数据库或者非关系型数据库(NOSQL、NEWSQL)或者消息队列。
S3、删除具有删除标记位的图片文件
通过shell脚本从上面已存储的对应的传统关系型数据库或者非关系型数据库(NOSQL、NEWSQL)或者消息队列中批量取出图片地址，解析图片地址根据，根据Fastdfs中存储节点Storage的映射目录，找到图片的实际目录，再利用LINUX系统SHELL命令rm-fxxxxxx.jpg删除文件。
相比现有技术删除系统数据中海量图片存储(FASTDFS)中的图片文件，要么是通过FASTDFS API自带的删除接口进行一张张删除，这种方式响应不及时，等待时间很长，影响系统性能，导致用户体验不好；要么是直接采用SHELL命令粗暴的方式删除，如按文件创建日期删除(如删除6个月之前的图片)，无法达到精准删除的要求，导致错删，误删，而无法恢复文件，导致系统出现不可逆的损失。本发明发方法能快速、精准、支持批量删除的方式删除系统数据中的海量图片，并且删除性能好，资源消耗低。本发明中采用标记位(逻辑方式)的方式使得业务上解耦；流程上是异步，这样前端界面能快速响应；采用单独服务平滑的处理方式，达到系统高峰时的削峰的效果，降低系统整体资源消耗，避免系统的处理量突然暴增导致的卡顿无响应等问题。原本需要删除一天24小时不停的删除，现在只需要系统资源闲置的时候，将需要删除的海量文件，快速精准进行删除。

Claims (4)

1.一种快速精准批量删除系统中海量图片数据文件的方法，其特征在于，包括：
确定存储在FASTDFS分布式文件系统中需要删除的图片文件，在数据库中对所述需要删除的图片文件的地址进行删除标记；
在数据库中查询具有所述删除标记的图片地址，并将该图片地址写入数据库或者消息队列；
通过shell脚本从数据库或消息队列中批量取出图片地址，然后解析取出的图片地址，再根据FASTDFS中存储节点Storage的映射目录，找到图片的实际目录，最后利用LINUX系统SHELL命令删除文件。
2.根据权利要求1所述快速精准批量删除系统中海量图片数据文件的方法，其特征在于：所述删除标记包括数据库中将视频探头上的所有视频产生的分析数据对应的图片记录的标记位delete_flag改成1，所述数据库为传统关系型数据库或者非关系型数据库。
3.根据权利要求2所述快速精准批量删除系统中海量图片数据文件的方法，其特征在于：查询标记位为1的图片地址后写入到数据库或者消息队列中。
4.根据权利要求1-3任一所述快速精准批量删除系统中海量图片数据文件的方法，其特征在于：利用LINUX系统SHELL命令rm-f xxxxxx.jpg删除文件。
CN202011223399.1A 2020-11-05 2020-11-05 一种快速精准批量删除系统中海量图片数据文件的方法 Pending CN112527742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011223399.1A CN112527742A (zh) 2020-11-05 2020-11-05 一种快速精准批量删除系统中海量图片数据文件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011223399.1A CN112527742A (zh) 2020-11-05 2020-11-05 一种快速精准批量删除系统中海量图片数据文件的方法

Publications (1)

Publication Number Publication Date
CN112527742A true CN112527742A (zh) 2021-03-19

Family

ID=74980711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011223399.1A Pending CN112527742A (zh) 2020-11-05 2020-11-05 一种快速精准批量删除系统中海量图片数据文件的方法

Country Status (1)

Country Link
CN (1) CN112527742A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653194A (zh) * 2015-12-31 2016-06-08 北京元心科技有限公司 一种图片或文件删除方法和装置
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
CN107958079A (zh) * 2017-12-14 2018-04-24 郑州云海信息技术有限公司 聚合文件删除方法、系统、装置及可读存储介质
US20190065510A1 (en) * 2017-08-31 2019-02-28 Salesforce.Com, Inc. Memory efficient policy-based file deletion system
CN111045997A (zh) * 2019-12-05 2020-04-21 浩云科技股份有限公司 集中存储数据删除方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653194A (zh) * 2015-12-31 2016-06-08 北京元心科技有限公司 一种图片或文件删除方法和装置
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
US20190065510A1 (en) * 2017-08-31 2019-02-28 Salesforce.Com, Inc. Memory efficient policy-based file deletion system
CN107958079A (zh) * 2017-12-14 2018-04-24 郑州云海信息技术有限公司 聚合文件删除方法、系统、装置及可读存储介质
CN111045997A (zh) * 2019-12-05 2020-04-21 浩云科技股份有限公司 集中存储数据删除方法及装置

Similar Documents

Publication Publication Date Title
CN108319654B (zh) 计算系统、冷热数据分离方法及装置、计算机可读存储介质
CN110109868B (zh) 用于索引文件的方法、装置和计算机程序产品
KR20090026296A (ko) 예측 데이터 로더
CN109885577B (zh) 数据处理方法、装置、终端及存储介质
WO2022252419A1 (zh) 一种数据存储方法和装置
CN104834477B (zh) 基于闪存的数据写入方法和装置
CN114816240A (zh) 一种数据写入方法及一种数据读取方法
CN100580669C (zh) 在Flash存储介质上的关于文件分配表的缓存实现方法
CN110955639A (zh) 一种数据处理方法及装置
CN108280215B (zh) 一种基于Solr的电商索引文件的混合式更新方法
US20190188291A1 (en) Utilization of Optimized Ordered Metadata Structure for Container-Based Large-Scale Distributed Storage
CN103176753B (zh) 存储设备及其数据管理方法
US20060143313A1 (en) Method for accessing a storage device
CN115470235A (zh) 一种数据处理方法、装置以及设备
CN112527742A (zh) 一种快速精准批量删除系统中海量图片数据文件的方法
US11747991B2 (en) Method for data storage, general service entity device, and storage medium
CN112347044A (zh) 一种基于spdk的对象存储优化方法
CN112783711A (zh) NodeJS上程序内存分析的方法、存储介质
CN111208946A (zh) 支持kb级别小文件并发io的数据持久化方法及系统
CN116431080A (zh) 一种数据落盘方法、系统、设备及计算机可读存储介质
CN111984197B (zh) 计算机缓存分配方法
CN114089912B (zh) 基于消息中间件的数据处理方法及装置、存储介质
CN115167762A (zh) 数据分层存储方法及装置
CN114647658A (zh) 一种数据检索方法、装置、设备及机器可读存储介质
CN109766462B (zh) 输电线路监控系统中的图像文件读取方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination