CN114020216B - 一种提升小容量文件落盘速度的方法 - Google Patents

一种提升小容量文件落盘速度的方法 Download PDF

Info

Publication number
CN114020216B
CN114020216B CN202111295580.8A CN202111295580A CN114020216B CN 114020216 B CN114020216 B CN 114020216B CN 202111295580 A CN202111295580 A CN 202111295580A CN 114020216 B CN114020216 B CN 114020216B
Authority
CN
China
Prior art keywords
file
reading
archiving
program
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111295580.8A
Other languages
English (en)
Other versions
CN114020216A (zh
Inventor
苗功勋
崔新安
袁浩
高伟
李言非
李沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongfu Information Technology Co Ltd
Original Assignee
Nanjing Zhongfu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhongfu Information Technology Co Ltd filed Critical Nanjing Zhongfu Information Technology Co Ltd
Priority to CN202111295580.8A priority Critical patent/CN114020216B/zh
Publication of CN114020216A publication Critical patent/CN114020216A/zh
Application granted granted Critical
Publication of CN114020216B publication Critical patent/CN114020216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了网络安全技术领域的一种提升小容量文件落盘速度的方法，包括存档方案和读档方案，存档方案包括遍历内存中的所有小文件，获取文件名称和对应的文件长度；根据文件名称、文件长度、存档顺序生成索引表，用于读档使用；生成一种可执行的头部程序，该程序用于读档时自动运行读取文件；按照存档的文件格式整合所有的小文件为一个大的文件进行存档；生成目录表，用于记录所有存档的小容量文件，供用户在读档时查阅文件名称和对应的存档序号，本发明通过一种方式组合成大文件实现快速落盘存档，减少磁头来回移动的过程，从而快速落盘大量的小容量文件。

Description

一种提升小容量文件落盘速度的方法
技术领域
本发明涉及网络安全技术领域，具体为一种提升小容量文件落盘速度的方法。
背景技术
完整的一个大容量文件在落盘耗费的时间比大量的小容量文件落盘速度快很多。原因在于：机械硬盘中装有活动磁头，一个文件在存储到机械硬盘过程中，会经过磁头在扇区寻址，磁头写入过程。大量的小容量的文件存储过程中，磁头需要来回寻址，大量时间被消耗在磁头寻找文件位置的过程中，降低落盘速度。
基于此，本发明设计了一种提升小容量文件落盘速度的方法，以解决上述问题。
发明内容
本发明的目的在于提供一种提升小容量文件落盘速度的方法，以解决上述背景技术中提出的大量的小容量的文件存储过程中，磁头需要来回寻址，大量时间被消耗在磁头寻找文件位置的过程中，降低落盘速度的问题。
为实现上述目的，本发明提供如下技术方案：
一种提升小容量文件落盘速度的方法，包括存档方案和读档方案，所述存档方案包括以下步骤：
S1：遍历内存中的所有小文件，获取文件名称和对应的文件长度；
S2：根据文件名称、文件长度、存档顺序生成索引表，用于读档使用；
S3：生成一种可执行的头部程序，该程序用于读档时自动运行读取文件；
S4：按照存档的文件格式整合所有的小文件为一个大的文件进行存档；
S5：生成目录表，用于记录所有存档的小容量文件，供用户在读档时查阅文件名称和对应的存档序号。
优选的，所述读档方案包括以下步骤：
A1:用户先查阅目录表，确定要提取的存档序号；
A2:存档序号作为参数，头部程序根据存档序号进行读档，头部程序通过存档序号查找索引表，获取到读档文件的文件指针偏移量和文件长度；
A3:头部程序根据A2的文件指针偏移量、文件长度信息来执行文件提取操作。
优选的，A2中，所述存档序号作为参数需传入镜像。
优选的，S3中，所述头部程序运行原理具体如下：
S31：头部程序接收读档请求，传入读档文件名称；
S32：头部程序执行文件指针偏移，读取引擎；
S33：头部程序根据索引表中的文件指针偏移量和文件长度进行指针偏移、读取文件。
优选的，S2中，所述索引表用于记录文件名称、文件指针偏移量、文件长度，供头部程序读档时使用。
优选的，S4中，所述存档的文件格式为头部程序和索引表一起合并成一个文档进行存储。
优选的，所述头部程序为文件壳，在执行文档时头部程序优先取得用户的控制权。
与现有技术相比，本发明的有益效果是：
本发明为了避免上述小文件的落盘时间长的问题，通过一种方式组合成大文件实现快速落盘存档，特别是极大提高大量小文件的落盘速度，由于大文件落盘时磁头只需要一次寻址，接下来就是不停的写入，减少磁头来回移动的过程，从而快速落盘大量的小容量文件。并提供一种新的读档方式，在大量小文件存档后，通过解析索引表快速定位文件读档。。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明存档文件格式示意图；
图2为本发明索引表示意图；
图3为本发明头部程序运行原理示意图；
图4为本发明目录表示意图；
图5为本发明读档方案流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：
一种提升小容量文件落盘速度的方法，包括存档方案和读档方案，所述存档方案包括以下步骤：
S1：遍历内存中的所有小文件，获取文件名称和对应的文件长度；
S2：根据文件名称、文件长度、存档顺序生成索引表，用于读档使用；
S3：生成一种可执行的头部程序，该程序用于读档时自动运行读取文件；
头部程序运行原理具体如下：
S31：头部程序接收读档请求，传入读档文件名称；
S32：头部程序执行文件指针偏移，读取引擎；
S33：头部程序根据索引表中的文件指针偏移量和文件长度进行指针偏移、读取文件
S4：按照存档的文件格式整合所有的小文件为一个大的文件进行存档；
S5：生成目录表，用于记录所有存档的小容量文件，供用户在读档时查阅文件名称和对应的存档序号。
读档方案包括以下步骤：
A1:用户先查阅目录表，确定要提取的存档序号；
A2:存档序号作为参数，头部程序根据存档序号进行读档，头部程序通过存档序号查找索引表，获取到读档文件的文件指针偏移量和文件长度；
Linux系统环境举例：
cat filemenu//打开文件目录，确认读取B文件，存档序号为2
chmod+x./archive//赋予存档文件archive执行权限
./archive 2//执行存档文件，传入参数2
A3:头部程序根据A2的文件指针偏移量、文件长度信息来执行文件提取操作。
Linux系统环境举例：
dd命令：dd if＝archive of＝outfile bs＝filesize count＝1skip＝1
其中，存档文件格式由三部分组成：头部程序、索引表、小文件。
头部程序：一种可执行程序，在读档时执行。它会自动根据索引表解析出需要读档的小文件。
索引表：记录文件名称、文件指针偏移量、文件长度，供头部程序读档时使用。当有读档请求时，先执行大文件的文件头部程序，存档序号作为执行参数。头部程序根据文件的存档序号在索引表中查询文件指针的起始偏移量和文件长度，最后偏移文件指针到指定的文章位置，读取指定的文件到内存中。
目录表：记录存档的文件目录，由于用户读档时查阅。
在存档方案中会把头部可执行程序和索引表一起合并成一个文档进行存储。在读档时用户直接执行存档镜像即可。头部可执行程序相当于是文件壳，在执行文档时头部可执行程序优先取得用户的控制权，头部可执行程序可以按实际业务需求编码实现更细致的任务。比如先搜索一级索引表再搜索二级索引表等。
本发明为了避免上述小文件的落盘时间长的问题，通过一种方式组合成大文件实现快速落盘存档，特别是极大提高大量小文件的落盘速度。并提供一种新的读档方式，在大量小文件存档后，通过解析索引表快速定位文件读档。在网络传输，安全、办公领域，大量文件的传输和存储是频繁触及的一种操作。通过此种方式实现文件的快速落盘存档，并同时提供一种方便快捷的方式读档。在存档速度上特别是对海量的小文件的存档速度能得到极大的提升。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种提升小容量文件落盘速度的方法，其特征在于：包括存档方案和读档方案，所述存档方案包括以下步骤：
S1：遍历内存中的所有小文件，获取文件名称和对应的文件长度；
S2：根据文件名称、文件长度、存档顺序生成索引表，用于读档使用；
S3：生成一种可执行的头部程序，该程序用于读档时自动运行读取文件；
S4：按照存档的文件格式整合所有的小文件为一个大的文件进行存档；
S5：生成目录表，用于记录所有存档的小容量文件，供用户在读档时查阅文件名称和对应的存档序号；
所述S3中，所述头部程序运行原理具体如下：
S31：头部程序接收读档请求，传入读档文件名称；
S32：头部程序执行文件指针偏移，读取引擎；
S33：头部程序根据索引表中的文件指针偏移量和文件长度进行指针偏移、读取文件；
所述S4中，所述存档的文件格式为头部程序和索引表一起合并成一个文档进行存储。
2.根据权利要求1所述的一种提升小容量文件落盘速度的方法，其特征在于：所述读档方案包括以下步骤：
A1:用户先查阅目录表，确定要提取的存档序号；
A2:存档序号作为参数，头部程序根据存档序号进行读档，头部程序通过存档序号查找索引表，获取到读档文件的文件指针偏移量和文件长度；
A3:头部程序根据A2的文件指针偏移量、文件长度信息来执行文件提取操作。
3.根据权利要求2所述的一种提升小容量文件落盘速度的方法，其特征在于：A2中，所述存档序号作为参数需传入镜像。
4.根据权利要求1所述的一种提升小容量文件落盘速度的方法，其特征在于：S2中，所述索引表用于记录文件名称、文件起始偏移量、文件长度，供头部程序读档时使用。
5.根据权利要求1所述的一种提升小容量文件落盘速度的方法，其特征在于：所述头部程序为文件壳，在执行文档时头部程序优先取得用户的控制权。
CN202111295580.8A 2021-11-03 2021-11-03 一种提升小容量文件落盘速度的方法 Active CN114020216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111295580.8A CN114020216B (zh) 2021-11-03 2021-11-03 一种提升小容量文件落盘速度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111295580.8A CN114020216B (zh) 2021-11-03 2021-11-03 一种提升小容量文件落盘速度的方法

Publications (2)

Publication Number Publication Date
CN114020216A CN114020216A (zh) 2022-02-08
CN114020216B true CN114020216B (zh) 2024-03-08

Family

ID=80060618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295580.8A Active CN114020216B (zh) 2021-11-03 2021-11-03 一种提升小容量文件落盘速度的方法

Country Status (1)

Country Link
CN (1) CN114020216B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662992A (zh) * 2012-03-14 2012-09-12 北京搜狐新媒体信息技术有限公司 一种海量小文件的存储、访问方法及装置
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN104978330A (zh) * 2014-04-04 2015-10-14 西南大学 一种数据存储的方法及装置
CN106897391A (zh) * 2017-01-24 2017-06-27 北京百悟科技有限公司 文件存储方法及装置
CN111258955A (zh) * 2018-11-30 2020-06-09 北京白山耘科技有限公司 一种文件读取方法和系统、存储介质、计算机设备
CN112748877A (zh) * 2020-12-30 2021-05-04 华录光存储研究院（大连）有限公司 一种文件的整合上传方法及装置、文件的下载方法及装置
CN113176857A (zh) * 2021-04-30 2021-07-27 康键信息技术（深圳）有限公司 海量小文件存取优化方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662992A (zh) * 2012-03-14 2012-09-12 北京搜狐新媒体信息技术有限公司 一种海量小文件的存储、访问方法及装置
CN103020315A (zh) * 2013-01-10 2013-04-03 中国人民解放军国防科学技术大学 一种基于主从分布式文件系统的海量小文件存储方法
CN104978330A (zh) * 2014-04-04 2015-10-14 西南大学 一种数据存储的方法及装置
CN106897391A (zh) * 2017-01-24 2017-06-27 北京百悟科技有限公司 文件存储方法及装置
CN111258955A (zh) * 2018-11-30 2020-06-09 北京白山耘科技有限公司 一种文件读取方法和系统、存储介质、计算机设备
CN112748877A (zh) * 2020-12-30 2021-05-04 华录光存储研究院（大连）有限公司 一种文件的整合上传方法及装置、文件的下载方法及装置
CN113176857A (zh) * 2021-04-30 2021-07-27 康键信息技术（深圳）有限公司 海量小文件存取优化方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114020216A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN101917396B (zh) 一种网络文件系统中数据的实时去重和传输方法
JP4704161B2 (ja) ファイルシステムの構築方法
JP4679512B2 (ja) 情報記録媒体、アクセス装置及び情報記録媒体の処理方法
CN106649467B (zh) 一种蓝光光盘库归档管理方法及系统
JP4589427B2 (ja) データベース管理方法、データベース管理装置及びデータベース管理プログラム
CN109032507B (zh) 一种生成源卷存储快照的方法、系统及相关组件
EP0487331A2 (en) Directory management system
JPH08314689A (ja) 圧縮データ管理方式
CN100504799C (zh) 以快照指针进行磁盘快照的方法
CN102289451A (zh) 文件或文件夹查找方法和装置
CN102939593A (zh) 无限存储器
JP4755244B2 (ja) 情報生成方法、情報生成プログラム及び情報生成装置
CN102880718B (zh) 一种灵活日志的存贮和获取方法
CN101201774A (zh) 磁盘快照的方法
CN114020216B (zh) 一种提升小容量文件落盘速度的方法
CN113448946B (zh) 数据迁移方法及装置、电子设备
JP4377737B2 (ja) デジタルカメラ、アルバム管理方法、およびアルバム管理プログラム
JP2007287147A (ja) 高速ファイル属性検索
EP3436973A1 (en) File system support for file-level ghosting
JP2014154971A (ja) 画像表示装置、画像表示方法及びプログラム
CN111258503B (zh) 一种cirros文件系统的管理方法和装置
JP2013045166A (ja) 情報処理装置、ファイル保存方法、及びプログラム
JP2009266026A (ja) データ処理装置、記憶装置、及びコンピュータプログラム
CN114880277B (zh) 块设备快照方法、系统和存储介质
CN111966295B (zh) 一种基于ceph的多journal记录方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant