CN111208941A - 文件管理方法、装置、计算机设备和计算机可读存储介质 - Google Patents

文件管理方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111208941A
CN111208941A CN201911347367.XA CN201911347367A CN111208941A CN 111208941 A CN111208941 A CN 111208941A CN 201911347367 A CN201911347367 A CN 201911347367A CN 111208941 A CN111208941 A CN 111208941A
Authority
CN
China
Prior art keywords
memory
file
target
partition
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911347367.XA
Other languages
English (en)
Inventor
覃炳达
徐胤
李高明
胡广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comba Network Systems Co Ltd
Original Assignee
Comba Telecom Systems China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Comba Telecom Systems China Ltd filed Critical Comba Telecom Systems China Ltd
Priority to CN201911347367.XA priority Critical patent/CN111208941A/zh
Publication of CN111208941A publication Critical patent/CN111208941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种文件管理方法、装置、计算机设备和计算机可读存储介质。所述文件管理方法包括：获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；将所述待写入数据写入预设的目标内存分区中，生成内存文件；若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。采用本方法能够提升操作系统生成文件的效率。

Description

文件管理方法、装置、计算机设备和计算机可读存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种文件管理方法、装置、计算机设备和计算机可读存储介质。
背景技术
目前，主流的操作系统如Linux、Windows，在文件生成时均是基于IO(Input/Output，输入/输出)机制与磁盘进行交互，生成文件的效率主要依赖于操作系统的IO缓存机制。
但是，在需要生成大量文件时，文件生成过程中IO磁盘操作将过于频繁，导致操作系统生成文件的效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升操作系统生成文件的效率的文件管理方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请实施例提供了一种文件管理方法，所述文件管理方法包括：
获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；
将所述待写入数据写入预设的目标内存分区中，生成内存文件；
若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
在其中一个实施例中，所述预设转存条件包括：所述内存文件的占用空间大于预设的空间阈值。
在其中一个实施例中，所述预设转存条件包括：所述内存文件在所述目标内存分区中的存储时长大于预设的时长阈值。
在其中一个实施例中，所述方法还包括：
存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系。
在其中一个实施例中，所述存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系，包括：
将所述内存文件的标识与所述目标内存分区之间的对应关系存储至预设的内存索引表中；或者，
将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中；所述内存文件的标识与所述压缩后内存文件的标识相同。
在其中一个实施例中，在所述将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中之前，所述方法还包括：
清除所述内存索引表中所述内存文件的标识与所述目标内存分区之间的对应关系。
在其中一个实施例中，所述存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系，还包括：
将所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区，存储至预设的映射表中。
在其中一个实施例中，所述方法还包括：
接收目标文件的读取请求；所述读取请求包括目标文件的标识；
在所述内存索引表中查找所述目标文件的标识对应的内存分区；所述内存索引表中存储有各内存文件与各内存分区之间的对应关系；
若在所述内存索引表中未查找到所述目标文件的标识，则在所述磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从所述磁盘分区中读取所述压缩后目标文件；所述磁盘索引表中存储有各压缩后内存文件与各磁盘分区之间的对应关系。
在其中一个实施例中，所述方法还包括：
若在所述磁盘索引表中未查找到所述压缩后目标文件的标识，则在所述映射表中查找所述目标文件的标识对应的内存分区或查找所述压缩后目标文件的标识对应的磁盘分区；所述映射表中存储有各内存文件与各内存分区之间的对应关系、以及各压缩后内存文件与各磁盘分区之间的对应关系；
从所述内存分区中读取所述目标文件或从所述磁盘分区中读取所述压缩后目标文件。
第二方面，本申请实施例提供一种文件管理装置，所述文件管理装置包括：
获取模块，用于获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；
生成模块，用于将所述待写入数据写入预设的目标内存分区中，生成内存文件；
压缩转存模块，用于若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；将所述待写入数据写入预设的目标内存分区中，生成内存文件；若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区；由此，在文件生成时，将待写入数据写入目标内存分区中生成内存文件，文件的生成不必操作IO写入磁盘，而是写入内存中生成内存文件，因此，减少了系统的IO操作，提高了文件的生成效率；进一步地，在生成的内存文件满足预设转存条件时，再将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区，由于压缩后内存文件的占用空间远小于内存文件，因此，将压缩后内存文件转存至目标磁盘分区时所涉及的IO操作量也极大的减小，IO操作的繁忙度也远远降低，提升了系统效率，同时降低了操作系统IO异常的风险概率。
附图说明
图1为一个实施例提供的文件管理方法的应用环境图；
图2为一个实施例提供的文件管理方法的流程示意图；
图3为一个实施例提供的文件管理方法的流程示意图；
图4为一个实施例提供的文件管理方法的流程示意图；
图5为一个实施例提供的文件管理方法的流程示意图；
图6为一个实施例提供的文件管理方法的流程示意图；
图7为一个实施例提供的文件管理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的文件管理方法，可以应用于如图1所示的计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储文件管理方法的数据。
本申请实施例提供的文件管理方法、装置、计算机设备和计算机可读存储介质，旨在解决传统技术中，操作系统文件生成效率低下的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本申请实施例提供的文件管理方法，其执行主体可以是文件管理装置，该文件管理装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
请参考图2，其示出了本申请实施例提供的一种文件管理方法的流程图，如图2所示，本实施例文件管理方法可以包括以下步骤：
步骤S100，获取待写入数据。
待写入数据表示设备进程在运行时生成的数据。作为一种实施方式，设备进程可以是CG(Charging Gateway，计费网关)线程，该CG线程在运行时持续接收到CGF(ChargingGateway Functionality，计费网关功能)的话单原始流；设备进程在运行时生成的数据则可以是该话单原始流。在其它实施例中，设备进程也可以是其它的计算机进程，设备进程在运行时生成的数据也不局限于上述的话单原始流，本申请实施例对该待写入数据的具体形式不做限定。
计算机设备获取该设备进程在运行时生成的待写入数据。
步骤S200，将待写入数据写入预设的目标内存分区中，生成内存文件。
本实施例中，内存分区的大小可以是用户预先设定的，也可以是计算机设备根据待写入数据的最大占用空间确定的，在此不做具体限制。
作为一种实施方式，计算机设备对不同的设备进程分别划分相应的内存分区。在其它实施例中，一个设备进程可以使用多个内存分区，或者，多个设备进程可以同时使用同一个内存分区，本实施例在此不做具体限制。
计算机设备获取待写入数据后，将该待写入数据写入该目标内存分区中，生成内存文件；例如，计算机设备根据获取到的话单原始流在目标内存分区中生成对应的计费话单文件，即形成内存文件。
本实施例中，将待写入数据写入该目标内存分区中生成内存文件，而非磁盘文件，即文件的生成不必操作IO写入磁盘，而是写入内存中生成内存文件，因此，减少了系统的IO操作，提高了文件的生成效率。
步骤S300，若内存文件满足预设转存条件，则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
本实施例中，预设转存条件可以是用户自定义的转存策略，计算机设备获取用户输入的转存策略，当内存文件满足该转存策略，计算机设备则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
在其它实施例中，预设转存条件还可以与内存文件的占用空间相关联，或者与内存文件的存储时长相关联。即若内存文件在目标内存分区中的占用空间大于预设的空间阈值，或者，内存文件在目标内存分区中的存储时长大于预设的时长阈值，则表示内存文件满足预设转存条件，计算机设备则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
本实施例中，生成的内存文件为文本文件，由于文本文件的压缩率较低，所以对内存文件进行压缩，得到的压缩后内存文件的占用空间远小于内存文件，计算机设备再将压缩后内存文件转存至指定的磁盘目录中，即目标磁盘分区中，此时所涉及的IO操作量相较于直接将内存文件转存至目标磁盘分区将极大的减小，IO操作的繁忙度也远远降低。
本实施例通过获取待写入数据；待写入数据表示设备进程在运行时生成的数据；将待写入数据写入预设的目标内存分区中，生成内存文件；若内存文件满足预设转存条件，则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区；由此，在文件生成时，将待写入数据写入目标内存分区中生成内存文件，文件的生成不必操作IO写入磁盘，而是写入内存中生成内存文件，因此，减少了系统的IO操作，提高了文件的生成效率；进一步地，在生成的内存文件满足预设转存条件时，再将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区，由于压缩后内存文件的占用空间远小于内存文件，因此，将压缩后内存文件转存至目标磁盘分区时所涉及的IO操作量也极大的减小，IO操作的繁忙度也远远降低，提升了系统效率，同时降低了操作系统IO异常的风险概率。
作为一种实施方式，继续以设备进程是CG线程为例，计算机设备根据获取到的话单原始流在目标内存分区中生成对应的计费话单文件，即形成内存文件后，启用FTP(FileTransfer Protocol，文件传输协议)方式将该内存文件上传至客户指定位置，上传成功后将该内存文件转移到指定的内存压缩目录，再根据预设转存条件对内存压缩目录进行压缩并转存磁盘。避免了传统技术中，基于IO机制生成文件至磁盘，需要上传文件时需要从磁盘中读取文件上传所造成的IO占用率高的问题，本实施例降低了IO占用率，提升了系统效率。
在另一个实施例中，作为一种实施方式，预设转存条件具体包括：内存文件的占用空间大于预设的空间阈值；具体地，空间阈值在实施时可以自行设定，例如，设定空间阈值为目标内存分区容量的80％，即若内存文件在目标内存分区中的占用空间大于目标内存分区的80％，则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区，以确保计算机设备可以将新获取的待写入数据写入目标内存分区中以生成内存文件。
在另一个实施例中，作为一种实施方式，预设转存条件具体包括：内存文件在目标内存分区中的存储时长大于预设的时长阈值；具体地，时长阈值在实施时可以自行设定，例如，设定时长阈值为30分钟，即若内存文件在目标内存分区中的存储时长大于30分钟，则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区，以确保计算机设备可以将新获取的待写入数据写入目标内存分区中以生成内存文件，提升了内存文件的生成效率。
图3为另一个实施例提供的文件管理方法的流程图，在上述图2所示实施例的基础上，如图3所示，本实施例文件管理方法还包括步骤S400，具体地：
步骤S400，存储内存文件的标识、目标内存分区、压缩后内存文件的标识和目标磁盘分区的对应关系。
在本实施例中，存储内存文件的标识、目标内存分区、压缩后内存文件的标识和目标磁盘分区的对应关系，以便于后续基于存储的该对应关系查找和读取指定的内存文件或压缩后内存文件。
图4为另一个实施例提供的文件管理方法的流程图，在上述图3所示实施例的基础上，如图4所示，本实施例步骤S400包括步骤S410或者步骤S420，具体地：
步骤S410，将内存文件的标识与目标内存分区之间的对应关系存储至预设的内存索引表中。
计算机设备获取待写入数据，将待写入数据写入预设的目标内存分区中，生成内存文件，并将内存文件的标识与该目标内存分区之间的对应关系存储至预设的内存索引表中，便于后续查找或读取该内存文件。内存索引表可以存储在计算机设备的内存中。
当需要查找或读取内存文件时，计算机设备则在内存索引表中根据内存文件的标识查找对应的目标内存分区，若查找到对应的目标内存分区，则该目标内存分区即为内存文件在内存中的存储位置，基于该存储位置，读取需要的内存文件。
步骤S420，将压缩后内存文件的标识与目标磁盘分区之间的对应关系存储至预设的磁盘索引表中。
其中，内存文件的标识与压缩后内存文件的标识相同。
在内存文件满足预设转存条件时，计算机设备则将内存文件进行压缩，将压缩后内存文件转存至目标磁盘分区，并将压缩后内存文件的标识与目标磁盘分区之间的对应关系存储至预设的磁盘索引表中。磁盘索引表可以存储在计算机设备的磁盘中。压缩后内存文件是对内存文件进行压缩得到的，因此，内存文件的标识与压缩后内存文件的标识相同。
当需要查找或读取内存文件时，从内存索引表中根据内存文件的标识查找对应的目标内存分区；若在内存索引表中未查找到对应的目标内存分区，则在磁盘索引表中根据压缩后内存文件的标识查找对应的目标磁盘分区，查找到的目标磁盘分区即为压缩后内存文件在磁盘中的存储位置。基于该存储位置，读取需要的压缩后内存文件，对该压缩后内存文件进行解压，则得到内存文件。
进一步地，作为一种实施方式，本实施例步骤S420之前，还包括步骤S430，具体地：
步骤S430，清除内存索引表中内存文件的标识与目标内存分区之间的对应关系。
若内存文件满足预设转存条件，计算机设备则将内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区，在内存文件压缩并转移后，计算机设备清除内存索引表中内存文件的标识与目标内存分区之间的对应关系，并将压缩后内存文件的标识与目标磁盘分区之间的对应关系存储至预设的磁盘索引表中。由此，避免了内存索引表因为内存文件的不断增加而变得冗余，占用过多的内存资源。
图5为另一个实施例提供的文件管理方法的流程图，在上述图4所示实施例的基础上，如图5所示，本实施例步骤S400还包括步骤S440，具体地：
步骤S440，将内存文件的标识、目标内存分区、压缩后内存文件的标识和目标磁盘分区，存储至预设的映射表中。
在本实施例中，计算机设备将内存文件的标识、目标内存分区、压缩后内存文件的标识和目标磁盘分区，存储至预设的映射表中。
映射表中存储有内存文件的标识及内存文件的标识对应的目标内存分区、压缩后内存文件的标识及压缩后内存文件的标识对应的目标磁盘分区，映射表作为内存文件及压缩后内存文件的存储位置的汇总表，记录了全部内存文件及压缩后内存文件的位置。
在查找需要的文件时，计算机设备首先从内存索引表中根据内存文件的标识查找对应的目标内存分区，若在内存索引表中未查找到对应的目标内存分区，则在磁盘索引表中根据压缩后内存文件的标识查找对应的目标磁盘分区，若在磁盘索引表中未查找到对应的的目标磁盘分区，则再在映射表中进行全盘查找，确保了生成文件的存储路径的准确性。
作为一种实施方式，映射表可以存储在计算机设备的内存中，提升查找文件的速度，随着生成文件的增加，映射表容量增大，计算机设备将映射表转移至磁盘中，由于映射表仅仅是一个文件，因此转移至磁盘时涉及的IO操作量很小。本实施例通过将内存文件的标识、目标内存分区、压缩后内存文件的标识和目标磁盘分区，存储至预设的映射表中，确保了生成文件的存储路径的可靠性。
在上述图5所示实施例的基础上，如图6所示，本实施例文件管理方法还包括步骤S510、步骤S520和步骤S530，具体地：
步骤S510，接收目标文件的读取请求。
读取请求包括目标文件的标识。
目标文件的读取请求可以是用户端发送的，例如，以设备进程为CG线程为例，计算机设备根据获取到的话单原始流在目标内存分区中生成对应的计费话单文件，即形成内存文件；在内存文件，即计费话单文件满足预设转存条件，则将计费话单文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
若用户需要查询计费话单文件，则通过用户端发送目标文件的读取请求至计算机设备，计算机设备接收该读取请求。
步骤S520，在内存索引表中查找目标文件的标识对应的内存分区。
内存索引表中存储有各内存文件与各内存分区之间的对应关系。
计算机设备接收到针对目标文件的读取请求后，根据读取请求携带的目标文件的标识，在内存索引表中查找目标文件的标识对应的内存分区，若查找到该目标文件的标识对应的内存分区，则从查找到的该内存分区中读取目标文件。
步骤S530，若在内存索引表中未查找到目标文件的标识，则在磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从磁盘分区中读取压缩后目标文件。
磁盘索引表中存储有各压缩后内存文件与各磁盘分区之间的对应关系。
计算机设备若在内存索引表中未查找到目标文件的标识，则目标文件可能是由于满足预设转存条件，计算机设备将目标文件压缩后，将压缩后目标文件转存至磁盘分区，计算机设备则在磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从磁盘分区中读取压缩后目标文件。
进一步地，本实施例中，步骤S530之后还包括：
步骤S540，若在磁盘索引表中未查找到压缩后目标文件的标识，则在映射表中查找目标文件的标识对应的内存分区或查找压缩后目标文件的标识对应的磁盘分区。
映射表中存储有各内存文件与各内存分区之间的对应关系、以及各压缩后内存文件与各磁盘分区之间的对应关系。
计算机设备若在磁盘索引表中未查找到压缩后目标文件的标识，则在包括各内存文件与各内存分区之间的对应关系、以及各压缩后内存文件与各磁盘分区之间的对应关系的映射表中再次查找目标文件的标识对应的内存分区或查找压缩后目标文件的标识对应的磁盘分区。
步骤S550，从内存分区中读取目标文件或从磁盘分区中读取压缩后目标文件。
计算机设备若在映射表中查找到目标文件的标识对应的内存分区，则从内存分区中读取目标文件；若在映射表中查找到压缩后目标文件的标识对应的磁盘分区，则从磁盘分区中读取压缩后目标文件。
本实施例通过接收目标文件的读取请求；在内存索引表中查找目标文件的标识对应的内存分区；若在内存索引表中未查找到目标文件的标识，则在磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从磁盘分区中读取压缩后目标文件；若在磁盘索引表中未查找到压缩后目标文件的标识，则在映射表中查找目标文件的标识对应的内存分区或查找压缩后目标文件的标识对应的磁盘分区，从内存分区中读取目标文件或从磁盘分区中读取压缩后目标文件；由此，实现了生成文件的读取，在一些实施例中，文件的读取可提供专门的工具或接口以进行文件查询或读取展示，在此不做具体限制。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种文件管理装置，包括：
获取模块10，用于获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；
生成模块20，用于将所述待写入数据写入预设的目标内存分区中，生成内存文件；
压缩转存模块30，用于若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
可选地，所述预设转存条件包括：所述内存文件的占用空间大于预设的空间阈值。
可选地，所述预设转存条件包括：所述内存文件在所述目标内存分区中的存储时长大于预设的时长阈值。
可选地，所述装置还包括：
存储模块，用于存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系。
可选地，所述存储模块包括：
第一存储单元，用于将所述内存文件的标识与所述目标内存分区之间的对应关系存储至预设的内存索引表中；或者，
第二存储单元，用于将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中；所述内存文件的标识与所述压缩后内存文件的标识相同。
可选地，在所述将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中之前，所述装置还包括：
清除模块，用于清除所述内存索引表中所述内存文件的标识与所述目标内存分区之间的对应关系。
可选地，所述存储模块还包括：
第三存储单元，用于将所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区，存储至预设的映射表中。
可选地，所述装置还包括：
接收模块，用于接收目标文件的读取请求；所述读取请求包括目标文件的标识；
第一查找模块，用于在所述内存索引表中查找所述目标文件的标识对应的内存分区；所述内存索引表中存储有各内存文件与各内存分区之间的对应关系；
第二查找模块，用于若在所述内存索引表中未查找到所述目标文件的标识，则在所述磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从所述磁盘分区中读取所述压缩后目标文件；所述磁盘索引表中存储有各压缩后内存文件与各磁盘分区之间的对应关系。
可选地，所述装置还包括：
第三查找模块，用于若在所述磁盘索引表中未查找到所述压缩后目标文件的标识，则在所述映射表中查找所述目标文件的标识对应的内存分区或查找所述压缩后目标文件的标识对应的磁盘分区；所述映射表中存储有各内存文件与各内存分区之间的对应关系、以及各压缩后内存文件与各磁盘分区之间的对应关系；
读取模块，用于从所述内存分区中读取所述目标文件或从所述磁盘分区中读取所述压缩后目标文件。
本实施例提供的文件管理装置，可以执行上述文件管理方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于文件管理装置的具体限定可以参见上文中对于文件管理方法的限定，在此不再赘述。上述文件管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，还提供了一种如图1所示的计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储文件管理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文件管理方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；将所述待写入数据写入预设的目标内存分区中，生成内存文件；若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；将所述待写入数据写入预设的目标内存分区中，生成内存文件；若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种文件管理方法，其特征在于，所述方法包括：
获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；
将所述待写入数据写入预设的目标内存分区中，生成内存文件；
若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
2.根据权利要求1所述的文件管理方法，其特征在于，所述预设转存条件包括：所述内存文件的占用空间大于预设的空间阈值。
3.根据权利要求1所述的文件管理方法，其特征在于，所述预设转存条件包括：所述内存文件在所述目标内存分区中的存储时长大于预设的时长阈值。
4.根据权利要求1所述的文件管理方法，其特征在于，所述方法还包括：
存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系。
5.根据权利要求4所述的文件管理方法，其特征在于，所述存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系，包括：
将所述内存文件的标识与所述目标内存分区之间的对应关系存储至预设的内存索引表中；或者，
将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中；所述内存文件的标识与所述压缩后内存文件的标识相同。
6.根据权利要求5所述的文件管理方法，其特征在于，在所述将所述压缩后内存文件的标识与所述目标磁盘分区之间的对应关系存储至预设的磁盘索引表中之前，所述方法还包括：
清除所述内存索引表中所述内存文件的标识与所述目标内存分区之间的对应关系。
7.根据权利要求5或6任一项所述的文件管理方法，其特征在于，所述存储所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区的对应关系，还包括：
将所述内存文件的标识、所述目标内存分区、所述压缩后内存文件的标识和所述目标磁盘分区，存储至预设的映射表中。
8.根据权利要求7所述的文件管理方法，其特征在于，所述方法还包括：
接收目标文件的读取请求；所述读取请求包括目标文件的标识；
在所述内存索引表中查找所述目标文件的标识对应的内存分区；所述内存索引表中存储有各内存文件与各内存分区之间的对应关系；
若在所述内存索引表中未查找到所述目标文件的标识，则在所述磁盘索引表中查找压缩后目标文件的标识对应的磁盘分区，并从所述磁盘分区中读取所述压缩后目标文件；所述磁盘索引表中存储有各压缩后内存文件与各磁盘分区之间的对应关系。
9.根据权利要求8所述的文件管理方法，其特征在于，所述方法还包括：
若在所述磁盘索引表中未查找到所述压缩后目标文件的标识，则在所述映射表中查找所述目标文件的标识对应的内存分区或查找所述压缩后目标文件的标识对应的磁盘分区；所述映射表中存储有各内存文件与各内存分区之间的对应关系、以及各压缩后内存文件与各磁盘分区之间的对应关系；
从所述内存分区中读取所述目标文件或从所述磁盘分区中读取所述压缩后目标文件。
10.一种文件管理装置，其特征在于，所述装置包括：
获取模块，用于获取待写入数据；所述待写入数据表示设备进程在运行时生成的数据；
生成模块，用于将所述待写入数据写入预设的目标内存分区中，生成内存文件；
压缩转存模块，用于若所述内存文件满足预设转存条件，则将所述内存文件进行压缩，并将压缩后内存文件转存至目标磁盘分区。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN201911347367.XA 2019-12-24 2019-12-24 文件管理方法、装置、计算机设备和计算机可读存储介质 Pending CN111208941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347367.XA CN111208941A (zh) 2019-12-24 2019-12-24 文件管理方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347367.XA CN111208941A (zh) 2019-12-24 2019-12-24 文件管理方法、装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111208941A true CN111208941A (zh) 2020-05-29

Family

ID=70789309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347367.XA Pending CN111208941A (zh) 2019-12-24 2019-12-24 文件管理方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111208941A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966845A (zh) * 2020-08-31 2020-11-20 重庆紫光华山智安科技有限公司 图片管理方法、装置、存储节点及存储介质
CN112241410A (zh) * 2020-10-22 2021-01-19 曙光信息产业(北京)有限公司 数据存储方法、数据索引的构建方法、装置、计算机设备
CN112540984A (zh) * 2020-11-23 2021-03-23 成都佳华物链云科技有限公司 数据存储方法、查询方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436421A (zh) * 2010-09-29 2012-05-02 腾讯科技（深圳）有限公司 缓存数据的方法
US8712968B1 (en) * 2009-07-15 2014-04-29 Symantec Corporation Systems and methods for restoring images
CN110555001A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712968B1 (en) * 2009-07-15 2014-04-29 Symantec Corporation Systems and methods for restoring images
CN102436421A (zh) * 2010-09-29 2012-05-02 腾讯科技（深圳）有限公司 缓存数据的方法
CN110555001A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966845A (zh) * 2020-08-31 2020-11-20 重庆紫光华山智安科技有限公司 图片管理方法、装置、存储节点及存储介质
CN111966845B (zh) * 2020-08-31 2023-11-17 重庆紫光华山智安科技有限公司 图片管理方法、装置、存储节点及存储介质
CN112241410A (zh) * 2020-10-22 2021-01-19 曙光信息产业(北京)有限公司 数据存储方法、数据索引的构建方法、装置、计算机设备
CN112540984A (zh) * 2020-11-23 2021-03-23 成都佳华物链云科技有限公司 数据存储方法、查询方法、装置、电子设备及存储介质
CN112540984B (zh) * 2020-11-23 2023-10-03 成都佳华物链云科技有限公司 数据存储方法、查询方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111208941A (zh) 文件管理方法、装置、计算机设备和计算机可读存储介质
US20200150890A1 (en) Data Deduplication Method and Apparatus
CN109597571B (zh) 数据存储方法、数据读取方法、装置和计算机设备
US10366026B1 (en) Random access to decompressed blocks
CN110727698A (zh) 数据库访问方法、装置、计算机设备和存储介质
CN112306986A (zh) 分布式文件系统的存储方法、装置、设备及存储介质
CN112527562A (zh) 分布式存储系统的数据备份方法、装置和计算机设备
CN116089321A (zh) 内存管理方法、装置、电子装置和存储介质
CN112748877A (zh) 一种文件的整合上传方法及装置、文件的下载方法及装置
CN112817962B (zh) 基于对象存储的数据存储方法、装置和计算机设备
CN113348450A (zh) 一种车载数据存储方法及系统
CN114020691B (zh) 读写分离的数据更新方法及其装置、kv存储系统
CN113704027B (zh) 文件聚合兼容方法、装置、计算机设备和存储介质
CN110113384A (zh) 网络请求处理方法、装置、计算机设备和存储介质
CN109408532A (zh) 数据获取方法、装置、计算机设备和存储介质
CN109656948B (zh) 位图数据处理方法、装置、计算机设备和存储介质
CN109284260B (zh) 大数据文件读取方法、装置、计算机设备及存储介质
CN112800123A (zh) 数据处理方法、装置、计算机设备和存储介质
CN114168225A (zh) 固态硬盘映射表延迟更新方法、装置、计算机设备及存储介质
CN112783866A (zh) 数据读取方法、装置、计算机设备和存储介质
CN108509144B (zh) 数据保存方法和装置
CN110851477A (zh) 流数据处理方法、装置、计算机设备和存储介质
CN116708571B (zh) 一种基于5g通信的智能终端服务方法、系统及存储介质
CN113342853B (zh) 流式数据处理方法和系统
CN115098036A (zh) 固态硬盘低功耗状态转换效率提升方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Applicant after: Jingxin Network System Co.,Ltd.

Address before: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Applicant before: Comba Telecom System (China) Ltd.

CB02 Change of applicant information