CN113918518A - 文件处理方法、装置、设备及存储介质 - Google Patents
文件处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113918518A CN113918518A CN202010664811.7A CN202010664811A CN113918518A CN 113918518 A CN113918518 A CN 113918518A CN 202010664811 A CN202010664811 A CN 202010664811A CN 113918518 A CN113918518 A CN 113918518A
- Authority
- CN
- China
- Prior art keywords
- file
- information
- target
- units
- file unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种文件处理方法、装置、设备及存储介质。该方法包括:若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;根据所述目标文件和所述至少两个文件单元,确定文件单元信息;根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。上述方案能够在目标文件分割为文件单元之后,提取出文件单元相关的文件单元信息建立信息记录表记录于随机存取存储器中,从而解决了任意文件单元被删除后对其他文件单元无法查找或及时删除的问题,以实现对文件单元进行快速有序地查找。
Description
技术领域
本申请实施例涉及对象存储技术领域,尤其涉及一种文件处理方法、装置、设备及存储介质。
背景技术
对象存储是一种基于对象的存储设备,具备智能、自我管理能力,通过web服务协议,如:REST、SOAP,实现对象的读写和存储资源的访问。Obeject对象是对象存储系统中数据存储的基本单位,每个Obeject是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。Object维护自己的属性,从而简化了存储系统的管理任务,增加了灵活性。
客户端存储文件时,对象网关会把文件分片,并转换为存储对象,文件的属性会存储在首对象的扩展属性里面。但是,分片信息保存在首对象的扩展属性里,删除了首对象,则扩展属性丢失,其他的分片对象就会被视为垃圾数据。首对象如果丢失或者被破坏,则其他的分片对象也会被视为垃圾数据。分片数据乱序存储,无法读取有顺序的分片对象。另外,若关闭垃圾回收功能,只会删除首对象,其他的分片对象不能删除,存储空间就不能很快释放,导致新的录像无法写入。若启用垃圾回收功能,垃圾回收进程一直在后台忙于清理垃圾处理,会影响读写业务。
发明内容
本发明实施例提供一种文件处理方法、装置、设备及存储介质,以及时快速查询到分片对象,解决首对象被删除后其他的分片对象被视为垃圾数据遗留,既无法被成功读取,也无法删除的问题。
在一个实施例中,本申请实施例提供了一种文件处理方法,该方法包括:
若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
在另一个实施例中,本申请实施例还提供了一种文件处理装置,该装置包括:
文件单元确定模块,用于若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
文件单元信息确定模块,用于根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
存储模块,用于根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
在又一个实施例中,本申请实施例还提供了一种文件处理设备,包括:一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请实施例任一项所述的文件处理方法。
在再一个实施例中,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例中任一项所述的文件处理方法。
本申请实施例中,通过根据目标文件大小以及预设文件单元规格,对目标文件进行处理得到文件单元,从而实现对目标文件的高效对象存储。通过在目标文件分割为文件单元之后,提取出文件单元相关的文件单元信息建立信息记录表记录于随机存取存储器中,从而解决了任意文件单元被删除后对其他文件单元无法查找或及时删除的问题,以实现对文件单元进行快速有序地查找。
附图说明
图1为本发明一种实施例提供的文件处理方法的流程图;
图2为本发明一种实施例提供的信息记录表结构示意图;
图3为本发明另一实施例提供的文件处理方法的流程图;
图4为本发明又一实施例提供的文件处理方法的流程图;
图5为本发明一种实施例提供的文件处理装置的结构示意图;
图6为本发明一种实施例提供的文件处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一种实施例提供的文件处理方法的流程图。本实施例提供的文件处理方法可适用于对目标文件进行对象存储的情况。典型的,该方法可以适用于对目标对象分割为文件单元存储时,根据文件单元信息建立信息记录表存储于随机存取存储器以便于查找等处理的情况。该方法具体可以由文件处理装置执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在文件处理设备中。参见图1,本申请实施例的方法具体包括:
S110、若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元。
在本申请实施例中,文件处理方法可以由对象网关执行,在客户端需要向存储系统存储文件时,通过对象网关进行处理并存储。其中,目标文件的格式不作限制,可以为图片、文档、表格等格式的文件。预设文件单元规格可以根据实际情况进行设定,可以为对象存储基本单元的大小。
如果目标文件的大小小于或等于预设文件单元规格,则直接将目标文件作为一个存储单元进行存储。如果目标文件的大小大于预设文件单元规格,则需要对目标文件进行分割,得到大小小于或等于预设文件单元规格的文件单元进行存储。例如,预设文件单元规格为4MB,目标文件a.jpg的大小为20MB,则将目标文件分割为5个文件单元,每个文件单元大小为4MB,分别为obj0、obj1、obj2、obj3、obj4。
S120、根据所述目标文件和所述至少两个文件单元,确定文件单元信息。
其中,所述文件单元信息包括目标文件标识、任意一个文件单元的名称以及文件单元的数量;或者,所述文件单元信息包括目标文件标识、目标文件大小、预设文件单元规格以及任意一个文件单元的名称;或者,所述文件单元信息包括目标文件标识、第一个文件单元的名称以及最后一个文件单元的名称。
其中,目标文件标识了一位目标文件名称和/或目标文件ID。示例性的,需要获知文件单元信息,以便对文件单元进行查找并进行后续处理。若文件单元信息包括目标文件标识、任意一个文件单元的名称以及文件单元的数量,则可以首先进行目标文件标识的匹配,再根据任意一个文件单元的名称确定文件单元的前缀名,根据文件单元的数量确定各文件单元的名称。例如,任意一个文件单元的名称为obj3,则确定文件单元的前缀名为obj,文件单元的数量为5个,则可以确定各文件单元的名称,分别为obj0、obj1、obj2、obj3、obj4。
若文件单元信息包括目标文件标识、目标文件大小、预设文件单元规格以及任意一个文件单元的名称,则可以首先进行目标文件标识的匹配,再根据目标文件大小和预设文件单元规格确定文件单元的数量,再根据任意一个文件单元的名称确定文件单元的前缀名,根据文件单元的数量确定各文件单元的名称,以根据各文件单元的名称对文件单元进行查找。
若文件单元信息包括目标文件标识、第一个文件单元的名称以及最后一个文件单元的名称,则可以首先进行目标文件标识的匹配,再根据第一个文件单元的名称和最后一个文件单元的名称,确定各文件单元的名称,例如,第一个文件单元的名称为obj0,最后一个文件单元的名称为obj4,则可以确定各文件单元的名称分别为obj0、obj1、obj2、obj3、obj4。
S130、根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
目前,对象网关将目标文件分为至少两个文件单元后,将文件单元信息存储于第一个文件单元的扩展属性中,删除目标文件时,只会删除第一个文件单元,其余的文件单元被作为垃圾数据,由垃圾回收进程删除。例如垃圾回收进程时间设置为2小时,那么垃圾数据会在2小时后才能被删除。例如客户端需要删除20MB的a.jpg,存储空间只会释放出4MB的第一个文件单元obj0,剩余16MB的文件单元不会马上释放。如果关闭垃圾回收进程,只会删除第一个文件单元,其他文件单元不能删除,存储空间无法被快速释放,导致新的文件无法写入。若启用垃圾回收进程,垃圾回收进程一直在后台忙于清理垃圾处理,会影响读写业务。文件单元信息保存在第一个文件单元的扩展属性里,第一个文件单元被删除、丢失、或损坏,则扩展属性就被删除了,剩余的文件单元会被视为垃圾数据,无法查询得到其他文件单元。
在本申请实施例中,根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元,而不是令文件单元信息作为文件单元的组成部分,从而解决了第一个文件单元被删除,其他文件单元被视为垃圾文件,无法对其他文件单元进行查找的问题。另外,由于信息记录表记录于随机存取存储器中,随机存取存储器的读写速度快,因此提高了处理效率。
根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:将所述文件单元信息备份于外存储器中,用于根据所述文件单元信息建立所述信息记录表。
在本申请实施例中,可以根据文件单元信息生成信息记录表,如表1所示,形成结构化数据,以便于进行查询检索。信息记录表中的记录信息不限于表1中的记录信息,也可以是其他信息,见S120。由于随机存取存储器读写文件数据的速度快,效率高,因此,将信息记录表存储于随机存取存储器中,并对文件单元信息进行备份存储于外存储器中,实现持久化存储,以在设备掉电或故障导致信息记录表丢失时,通过访问外存储器中的文件单元信息及时重新建立信息记录表。
表1
目标文件标识 | a.jpg |
目标文件大小 | 20MB |
预设文件单元规格 | 4MB |
第一个文件单元的名称 | obj0 |
最后一个文件单元的名称 | obj4 |
在本申请实施例中,所述方法还包括:建立存储所述至少两个文件单元的存储桶的存储桶标识,与至少两个文件单元对应的文件单元信息的映射关系,用于根据存储桶标识确定对应的文件单元信息。
示例性的,如图2所示,信息记录表包括存储桶标识以及对应的文件单元信息。至少两个文件单元可能存储于同一个存储桶中,也可能存储于不同的存储桶中。为了便于对文件单元进行查找,因此,在对至少两个文件单元进行存储时,确定其存储的存储桶标识,并建立存储所述至少两个文件单元的存储桶的存储桶标识,与至少两个文件单元对应的文件单元信息的映射关系。存储桶标识可以为存储桶名称、存储桶ID等。在后续对文件单元信息进行查找时,先确定待处理文件对应的存储桶标识,再根据存储桶标识确定对应的文件单元信息,从而缩小了文件单元信息的查找范围,实现文件单元信息的快速查找,提高了处理效率。
在本申请实施例中,所述方法还包括:若所述信息记录表的规格超过第一预设容量阈值,则根据信息记录表中记录信息的存储时间确定第一目标记录信息;将所述第一目标记录信息从所述信息记录表中删除。所述方法还包括:若所述信息记录表的规格低于第二预设容量阈值,则根据文件单元信息的存储时间,确定目标文件单元信息;根据所述目标文件单元信息确定第二目标记录信息,将所述第二目标记录信息添加至所述信息记录表中。
其中,第一目标记录信息可以为存储时间较早的记录信息。目标文件单元信息可以为存储时间较晚的文件单元信息。示例性的,若信息记录表的大小超过第一预设容量阈值,其中包括的记录信息较多,因此可以将存储时间较早的第一目标记录信息删除,以节省存储空间,并提高查找和读取效率。如果信息记录表的大小低于第二预设容量阈值,则可以从外存储器中读取存储时间较晚的目标文件单元信息,生成第二目标记录信息,添加至信息记录表中,以丰富信息记录表的内容。
在本申请实施例中,根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:若接收到对所述待处理文件的处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;其中,所述处理请求为除存储请求以外的处理请求;若是,则根据所述信息记录表,对所述待处理文件进行处理。
其中,处理请求可以为除了文件存储请求以外的请求,例如可以为删除处理请求、读取处理请求、修改处理请求等。示例性的,如果接收到对待处理文件的处理请求,则确定随机存取存储器中是否存在信息记录表。如果存在,则说明在存储待处理文件时时分片后存储的,存储为至少两个文件单元。因此,需要根据信息记录表对至少两个文件单元进行查找,以保证完整查找到待处理文件对应的所有文件单元。如果不存在信息记录表,则确定待处理文件作为一个文件直接存储的,因此直接从外存储器中查找待处理文件进行处理。本申请实施例由于将信息记录表存储于随机存取存储器中,因此,即使至少两个文件单元中第一个文件单元或其他文件单元删除、丢失或损坏,也能够通过随机存取存储器中的信息记录表准确查找到其他文件单元进行处理。
本申请实施例中,通过根据目标文件大小以及预设文件单元规格,对目标文件进行处理得到文件单元,从而实现对目标文件的高效对象存储。通过在目标文件分割为文件单元之后,提取出文件单元相关的文件单元信息,并进行单独存储,从而解决了任意文件单元被删除后对其他文件单元无法查找或及时删除的问题,以实现对文件单元进行快速有序地查找。
图3为本发明另一实施例提供的文件处理方法的流程图。本申请实施例为对上述实施例基础上,对完成目标文件存储处理之后的目标文件删除处理进行详细说明,未在本实施例中详细描述的细节详见上述实施例。参见图3,本实施例提供的文件处理方法可以包括:
S210、若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元。
S220、根据所述目标文件和所述至少两个文件单元,确定文件单元信息。
S230、根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
S240、若接收到对所述目标文件的删除处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表。
其中,删除处理请求为客户端发送的。若接收到客户端发送的文件处理请求,则对文件处理请求进行解析,确定文件处理的类型。如果为目标文件的删除处理请求,则查找随机存取存储器中是否存储有该待处理文件关联的信息记录表,以根据信息记录表执行删除处理操作。
示例性的,可以先将待处理文件标识与信息记录表中的目标文件标识进行匹配,若匹配成功,则说明该信息记录表即为目标文件关联的信息记录表。
S250、若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元。
如果随机存取存储器中存在信息记录表,则根据信息记录表,于外存储器中检索得到待处理文件关联的至少两个文件单元,以对至少两个文件单元执行删除处理操作。具体检索方案见S120的描述部分。
S260、将所述至少两个文件单元从外存储器中删除,并将待处理文件关联的信息记录表中的记录信息从随机存取存储器中删除,以完成目标文件的删除处理。
示例性的,对检索出的至少两个文件单元执行删除处理操作。另外,还可以将该待处理文件关联的信息记录表中的记录信息删除,将备份的文件单元信息从外存储器中删除,以节省存储空间。
在本申请实施例中,如果存储器中不存在所述待处理文件关联的信息记录表,则对该待处理文件直接从外存储器中删除。
本申请实施例的技术方案,通过在接收到目标文件的删除处理请求时,确定随机存取存储器中是否存在所述待处理文件关联的信息记录表,若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元,进而执行删除处理操作,从而在第一个文件单元删除、损坏或丢失的情况下,也能够及时查找到其他文件单元进行删除,提高了文件处理的效率。
图4为本发明又一实施例提供的文件处理方法的流程图。本申请实施例为对上述实施例基础上,对完成目标文件存储处理之后的目标文件读取处理进行详细说明,未在本实施例中详细描述的细节详见上述实施例。参见图4,本实施例提供的文件处理方法可以包括:
S310、若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元。
S320、根据所述目标文件和所述至少两个文件单元,确定文件单元信息。
S330、根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
S340、若接收到对所述目标文件的读取处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表。
其中,读取处理请求为客户端发送的。若接收到客户端发送的文件处理请求,则对文件处理请求进行解析,确定文件处理的类型。如果为待处理文件的读取处理请求,则查找随机存取存储器中是否存储有该待处理文件关联的信息记录表,以信息记录表执行读取处理操作。
示例性的,可以先将待处理文件标识与信息记录表中的目标文件标识进行匹配,若匹配成功,则说明该信息记录表即为目标文件关联的信息记录表。
S350、若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元。
如果随机存取存储器中存在信息记录表,则根据信息记录表,于外存储器中检索得到待处理文件关联的至少两个文件单元,以对至少两个文件单元执行读取处理操作。具体检索方案见S120的描述部分。
S360、根据所述信息记录表,对所述至少两个文件单元进行排序后进行读取,以完成目标文件的读取处理。
示例性的,由于文件单元可能在存储器中乱序存储,因此,可以根据文件单元信息检索到文件单元后进行排序,实现有序读取。例如,检索到的文件单元分别为obj3、obj4、obj1、obj0、obj2,则对文件单元进行排序得到obj0、obj1、obj2、obj3、obj4后进行读取并返回给客户端。
在本申请实施例中,如果存储器中不存在所述待处理文件关联的信息记录表,则直接从存储器中读取该目标文件。
本申请实施例的技术方案,通过接收到对所述目标文件的读取处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表,若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元,以实现文件单元的读取,实现及时存在文件单元删除、损坏或丢失的情况,也能够根据文件单元信息及时准确读取得到待处理文件关联的文件单元,并通过对所述至少两个文件单元进行排序后进行读取,实现了文件单元的有序读取。
图5为本发明一种实施例提供的文件处理装置的结构示意图。该装置可以适用于对目标对象分割为文件单元存储时,根据文件单元信息建立信息记录表存储于随机存取存储器以便于查找等处理的情况。该装置可以由软件和/或硬件的方式实现,该装置可以集成在文件处理设备中。参见图5,该装置具体包括:
文件单元确定模块410,用于若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
文件单元信息确定模块420,用于根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
存储模块430,用于根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
在本申请实施例中,所述装置还包括:
处理请求接收模块,用于若接收到对所述待处理文件的处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;其中,所述处理请求为除存储请求以外的处理请求;
处理模块,用于若是,则根据所述信息记录表,对所述待处理文件进行处理。
在本申请实施例中,所述装置还包括:
删除处理请求接收模块,用于若接收到对所述目标文件的删除处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;
第一查询模块,用于若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元;
删除处理模块,用于将所述至少两个文件单元从外存储器中删除,并将待处理文件关联的信息记录表中的记录信息从随机存取存储器中删除,以完成目标文件的删除处理。
在本申请实施例中,所述装置还包括:
读取处理请求接收模块,用于若接收到对所述目标文件的读取处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;
第二查询模块,用于若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元;
读取处理模块,用于根据所述信息记录表,对所述至少两个文件单元进行排序后进行读取,以完成目标文件的读取处理。
在本申请实施例中,所述文件单元信息包括目标文件标识、任意一个文件单元的名称以及文件单元的数量;
或者,所述文件单元信息包括目标文件标识、目标文件大小、预设文件单元规格以及任意一个文件单元的名称;
或者,所述文件单元信息包括目标文件标识、第一个文件单元的名称以及最后一个文件单元的名称。
在本申请实施例中,所述装置还包括:
备份模块,用于将所述文件单元信息备份于外存储器中,用于根据所述文件单元信息建立所述信息记录表。
在本申请实施例中,所述装置还包括:
第一阈值比较模块,用于若所述信息记录表的规格超过第一预设容量阈值,则根据信息记录表中记录信息的存储时间确定第一目标记录信息;
删除模块,用于将所述第一目标记录信息从所述信息记录表中删除;
第二阈值比较模块,用于若所述信息记录表的规格低于第二预设容量阈值,则根据文件单元信息的存储时间,确定目标文件单元信息;
添加模块,用于根据所述目标文件单元信息确定第二目标记录信息,将所述第二目标记录信息添加至所述信息记录表中。
在本申请实施例中,所述装置还包括:
存储桶标识记录模块,用于记录存储所述至少两个文件单元的存储桶标识,用于根据存储桶标识确定至少两个文件单元的存储桶,并从所述存储桶中查找至少两个文件单元。
本申请实施例所提供的文件处理装置可执行本申请任意实施例所提供的文件处理方法,具备执行方法相应的功能模块和有益效果。
图6为本发明一种实施例提供的文件处理设备的结构示意图。图6示出了适于用来实现本申请实施例的示例性文件处理设备512的框图。图6显示的文件处理设备512仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,文件处理设备512可以包括:一个或多个处理器516;存储器528,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器516执行,使得所述一个或多个处理器516实现本申请实施例所提供的文件处理方法,包括:
若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
文件处理设备512的组件可以包括但不限于:一个或者多个处理器或者处理器516,存储器528,连接不同设备组件(包括存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
文件处理设备512典型地包括多种计算机设备可读存储介质。这些存储介质可以是任何能够被文件处理设备512访问的可用存储介质,包括易失性和非易失性存储介质,可移动的和不可移动的存储介质。
存储器528可以包括易失性存储器形式的计算机设备可读存储介质,例如随机存取存储器(RAM)530和/或高速缓存存储器532。文件处理设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机设备存储介质。仅作为举例,存储系统534可以用于读写不可移动的、非易失性磁存储介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据存储介质接口与总线518相连。存储器528可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540,可以存储在例如存储器528中,这样的程序模块542包括但不限于操作设备、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
文件处理设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器526等)通信,还可与一个或者多个使得用户能与该文件处理设备512交互的设备通信,和/或与使得该文件处理设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且,文件处理设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器520通过总线518与文件处理设备512的其它模块通信。应当明白,尽管图6中未示出,可以结合文件处理设备512使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID设备、磁带驱动器以及数据备份存储设备等。
处理器516通过运行存储在存储器528中的多个程序中其他程序的至少一个,从而执行各种功能应用以及数据处理,例如实现本申请实施例所提供的一种文件处理方法。
本发明一种实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行文件处理方法,包括:
若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的设备、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形存储介质,该程序可以被指令执行设备、装置或者器件使用或者与其结合使用。
计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行设备、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种文件处理方法,其特征在于,所述方法包括:
若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
2.根据权利要求1所述的方法,其特征在于,根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:
若接收到对所述待处理文件的处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;其中,所述处理请求为除存储请求以外的处理请求;
若是,则根据所述信息记录表,对所述待处理文件进行处理。
3.根据权利要求2所述的方法,其特征在于,若所述处理请求为删除处理请求,则在根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:
确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;
若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元;
将所述至少两个文件单元从外存储器中删除,并将待处理文件关联的信息记录表中的记录信息从随机存取存储器中删除,以完成待处理文件的删除处理。
4.根据权利要求2所述的方法,其特征在于,若所述处理请求为读取处理请求,则在根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:
若接收到对所述待处理文件的读取处理请求,则确定随机存取存储器中是否存在所述待处理文件关联的信息记录表;
若是,则根据所述信息记录表,查询所述待处理文件关联的至少两个文件单元;
根据所述信息记录表,对所述至少两个文件单元进行排序后进行读取,以完成待处理文件的读取处理。
5.根据权利要求1所述的方法,其特征在于,所述文件单元信息包括目标文件标识、任意一个文件单元的名称以及文件单元的数量;
或者,所述文件单元信息包括目标文件标识、目标文件大小、预设文件单元规格以及任意一个文件单元的名称;
或者,所述文件单元信息包括目标文件标识、第一个文件单元的名称以及最后一个文件单元的名称。
6.根据权利要求1所述的方法,其特征在于,根据所述文件单元信息建立信息记录表,记录于随机存取存储器中之后,所述方法还包括:
将所述文件单元信息备份于外存储器中,用于根据所述文件单元信息建立所述信息记录表。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述信息记录表的规格超过第一预设容量阈值,则根据信息记录表中记录信息的存储时间确定第一目标记录信息;
将所述第一目标记录信息从所述信息记录表中删除;
若所述信息记录表的规格低于第二预设容量阈值,则根据文件单元信息的存储时间,确定目标文件单元信息;
根据所述目标文件单元信息确定第二目标记录信息,将所述第二目标记录信息添加至所述信息记录表中。
8.一种文件处理装置,其特征在于,所述装置包括:
文件单元确定模块,用于若目标文件大小大于预设文件单元规格,则根据预设文件单元规格对目标文件进行处理,确定至少两个文件单元;
文件单元信息确定模块,用于根据所述目标文件和所述至少两个文件单元,确定文件单元信息;
存储模块,用于根据所述文件单元信息建立信息记录表,记录于随机存取存储器中,以根据所述信息记录表于外存储器中查找至少两个文件单元。
9.一种文件处理设备,其特征在于,所述文件处理设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的文件处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的文件处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010664811.7A CN113918518A (zh) | 2020-07-10 | 2020-07-10 | 文件处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010664811.7A CN113918518A (zh) | 2020-07-10 | 2020-07-10 | 文件处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113918518A true CN113918518A (zh) | 2022-01-11 |
Family
ID=79232262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010664811.7A Pending CN113918518A (zh) | 2020-07-10 | 2020-07-10 | 文件处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113918518A (zh) |
-
2020
- 2020-07-10 CN CN202010664811.7A patent/CN113918518A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109254733B (zh) | 用于存储数据的方法、装置和系统 | |
US10296462B2 (en) | Method to accelerate queries using dynamically generated alternate data formats in flash cache | |
CN111949710B (zh) | 数据存储方法、装置、服务器及存储介质 | |
US20120330907A1 (en) | Storage system for eliminating duplicated data | |
US7536512B2 (en) | Method and apparatus for space efficient identification of candidate objects for eviction from a large cache | |
CN108415986B (zh) | 一种数据处理方法、装置、系统、介质和计算设备 | |
CN113901279B (zh) | 一种图数据库的检索方法和装置 | |
US20130311734A1 (en) | Data copy management for faster reads | |
CN110706148B (zh) | 人脸图像处理方法、装置、设备和存储介质 | |
CN111831618A (zh) | 数据写入方法、数据读取方法、装置、设备及存储介质 | |
WO2020215580A1 (zh) | 一种分布式全局数据去重方法和装置 | |
US10628305B2 (en) | Determining a data layout in a log structured storage system | |
US7991976B2 (en) | Permanent pool memory management method and system | |
CN106528876B (zh) | 分布式系统的信息处理方法及分布式信息处理系统 | |
CN111858393B (zh) | 内存页面管理方法、内存页面管理装置、介质与电子设备 | |
CN114077690A (zh) | 向量数据处理方法、装置、设备及存储介质 | |
CN111581247B (zh) | 数据管理器、时序数据库及信息处理系统 | |
US11520818B2 (en) | Method, apparatus and computer program product for managing metadata of storage object | |
CN101459599A (zh) | 一种实现缓存数据访问与加载并发进行的方法及系统 | |
CN113918518A (zh) | 文件处理方法、装置、设备及存储介质 | |
US12001703B2 (en) | Data processing method and storage device | |
CN108153883B (zh) | 搜索方法和装置、计算机设备、程序产品以及存储介质 | |
US10528904B2 (en) | Workflow processing via policy workflow workers | |
CN112084141A (zh) | 一种全文检索系统扩容方法、装置、设备及介质 | |
CN113326004B (zh) | 云计算环境下高效日志集中化方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |