CN113760851B - 文件处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种文件处理方法、装置、设备及介质。所述方法包括：确定当前文件读取请求中包括的当前文件标识信息；依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中确定目标小文件；将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。采用本申请方案，在继续读取下一小文件时可有很大概率直接依据缓存区中文件存储信息来从存储器读取小文件，从而直接提高了下一小文件的读取速率，间接提升了整个云存储系统的性能。

Description

文件处理方法、装置、设备及介质

技术领域

本发明实施例涉及存储技术领域，尤其涉及一种文件处理方法、装置、设备及介质。

背景技术

随着技术的快速发展，数据的快速存储和读取在监控系统应用中占有极为重要的地位。尤其在涉及到海量图片、视频、音频等小文件的场景下，其数据存储和读取要求更高。

在小文件场景下，文件数量非常多。当需要大量读取小文件时，需频繁调用数据读取接口来访问存储系统，造成存储系统的负载压力倍增，影响存储系统的读取性能，且造成文件读取效率非常低，影响用户体验。因此，如何解决海量小文件的读取效率问题尤为重要。

发明内容

本发明实施例中提供了一种文件处理方法、装置、设备及介质，以实现大幅度提升对海量小文件的读取性能，提高小文件读取效率。

第一方面，本发明实施例中提供了一种文件处理方法，应用于云存储节点，所述方法包括：

确定当前文件读取请求中包括的当前文件标识信息；

依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；

将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

第二方面，本发明实施例中还提供了一种文件处理装置，配置于云存储节点，所述装置包括：

标识确定模块，用于确定当前文件读取请求中包括的当前文件标识信息；

目标确定模块，用于依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；

缓存更新模块，用于将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

第三方面，本发明实施例中还提供了一种电子设备，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现本发明实施例中任一所述的文件处理方法。

第四方面，本发明实施例中还提供了一种可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本发明实施例中任一所述的文件处理方法。

本发明实施例中提供了一种文件处理方法，在读取小文件场景下，可确定当前文件读取请求中的当前文件标识信息，当前文件标识信息中携带有文件存储时间；可根据当前文件标识信息中携带有文件存储时间，从云存储节点的存储器存储的多个小文件中，确定后续可能读取的目标小文件；进而可将后续可能读取的目标小文件的文件存储信息，写入云存储节点的缓存区中，这样后续需要读取下一小文件时可直接从缓存区中查询文件存储信息，便于依据文件存储信息来从存储器中读取小文件。采用本申请方案，在向缓存区中缓存写入文件存储信息时，可基于读取的当前小文件的文件存储时间来进行高命中缓存，这样继续读取下一小文件时可有很大概率直接依据缓存区中文件存储信息来从存储器读取小文件，从而直接提高了下一小文件的读取速率，间接提升了整个云存储系统的性能。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中提供的一种云存储系统的架构示意图；

图2是本发明实施例中提供的一种文件处理方法的流程图；

图3是本发明实施例中提供的一种小文件读取的示意图；

图4是本发明实施例中提供的一种改进的小文件读取的示意图；

图5是本发明实施例中提供的另一种文件处理方法的流程图；

图6是本发明实施例中提供的又一种文件处理方法的流程图；

图7是本发明实施例中提供的一种文件处理装置的结构框图；

图8是本发明实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

为了更好地理解本申请技术方案，下面对文件读取场景进行阐述，在监控系统中，随着不同监控业务的增多，其产生的小文件的数据量也越来越多；例如，可包括人脸智能识别、卡口监控抓拍、车辆检测等类型的数据文件。为了保证数据快速存储和快速读取，通常可采用云存储系统来实现海量小文件的存储和读取。图1是本发明实施例中提供的一种云存储系统的架构示意图，在示出的云存储系统中，可包括：云存储管理服务器CDM和云存储节点CDV，多个云存储节点CDV可组成一个大的云存储集群池CLU，若干云存储集群池CLU再由云存储管理服务器CDM进行管理。

然而，参见图1，在云存储系统中，对于各个监控业务应用对应的元数据和文件数据，会根据负载均衡原则写入到云存储节点CDV管理的存储器资源中。其中，对于写入云存储系统的数据，通常会分布存储在对应云存储节点CDV的存储器资源上且以文件形式存储。这样，在读取小文件时，通常需要遍历云存储节点CDV的存储器资源上的元数据存储区找到对应的元数据信息，然后读取元数据区的文件数据。不难看出，这样遍历读取会对存储器的数据访问接口(磁盘的IO口)造成很大压力，降低读取效率。因此，需要对文件读取方式进行改进，以提高文件读取速率。

下面通过各实施例及各实施例的可选方案，对本申请方案中提供的文件处理方法、装置、设备以及介质进行详细阐述。

图2是本发明实施例中提供的一种文件处理方法的流程图。本实施例方案可适用于连续对多个小文件进行读取的情况，尤其是针对监控业务中产生的小文件进行读取的情形。该方法可由文件处理装置执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。其中，该电子设备可以为云存储系统中的云存储节点设备。如图2所示，本申请实施例中的文件处理方法，可包括以下步骤S210-S230：

S210、确定当前文件读取请求中包括的当前文件标识信息。

在本实施例中，为了快速读取小文件，在读取小文件时，可以引入缓存机制从缓存中读取小文件。例如，图3是本发明实施例中提供的一种小文件读取的示意图，会预先将操作频率(例如访问频率和读写频率)较高的热数据文件保留到缓存中，这样就可从缓存中查找获取热数据文件，实现快速读取小文件。经过分析，上述方式只能提高热数据文件的快速读取和访问，而对于操作频率较低的冷数据和温数据并没有达到快速读取的目的，仍然需要通过遍历扫描存储器来读取文件，这样会导致在连续读取小文件时对存储器的压力不断增大，影响文件读写速率。为此，在具有海量小文件的场景进行连续读取小文件的情况下，需要确定对哪些数据文件进行缓存处理十分关键。

在本实施例中，小文件可为文件大小较小的数据文件，例如，小文件的文件大小一般会小于或等于2M，具体如何区分小文件可根据实际要求确定，这里不做限定。参见图1，客户端可向云存储系统中的云存储节点设备发送文件读取请求，云存储节点设备可响应客户端发送的文件读取请求，来从云存储节点的存储器中读取对应的小文件。当前文件读取请求可为在当前时刻从客户端接收到的文件读取请求。其中，文件读取请求中可包括客户端想要读取的小文件的文件标识信息，例如，文件标识信息可为文件名称。

S220、依据当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件。

在本实施例中，监控业务应用产生的数据文件通常属于小文件，当将监控业务应用产生的小文件写入云存储节点的存储器时，会生成该小文件在存储器的文件标识信息，并将该文件标识上报到客户端进行展示。针对类似监控业务应用产生的小文件，小文件的文件标识信息中会携带小文件在存储器中进行存储时的存储时间特点。其中，小文件的文件标识信息中还包括小文件在存储器进行存储时的文件名称。

在本实施例中，文件存储时间可为用于生成小文件的设备创建或者更改小文件时的时间；比如，用于生成小文件的设备是相机，则抓拍到图片以后记录的时间是抓拍到图片那刻，因此写入到底层物理介质(存储器)中的时间也就是图片抓拍的时间。文件存储时间可为存储在云存储节点的存储器中的小文件的文件写入时间或文件更改时间，该文件写入时间或文件更改时间与用于生成小文件的设备创建生成小文件的时间有关。

在本实施例中，考虑到用户对监控业务类小文件的读取具有一定的时间关联性。即，在连续读取小文件的操作中，当用户读取当前文件读取请求对应的小文件后，接下来将要读取的小文件的文件存储时间与当前文件读取请求对应的小文件的文件存储时间，会有很大的概率是邻近或者同在一定的时间范围内。为此，可依据当前文件读取请求对应的小文件的文件存储时间，从云存储节点的存储器存储的多个小文件中，预测用户在连续读取小文件的一段时间内可能将要读取的小文件，并将其作为目标小文件。

在本实施例中，目标小文件可为用户在读取当前文件读取请求对应的小文件后，在后续读取操作中有很大概率要从云存储节点的存储器存储的多个小文件中读取的小文件。为了保证确定的目标小文件尽可能命中为用户后续将要读取的小文件，且使得目标小文件的文件数量不会过多而导致文件冗余，需要控制确定的目标小文件的文件存储时间与当前文件读取请求所要读取的小文件的文件存储时间邻近。可选地，控制目标小文件的文件存储时间与当前文件标识信息指示的文件存储时间之间的时间差值小于预设值。

S230、将目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

在本实施例中，对于预测得到的将要读取的目标小文件而言，目标小文件的文件数量可能非常多，而缓存区有限可能无法存储全部的小文件；如果先对目标小文件进行筛选，然后将筛选后的目标小文件进行缓存，那么有可能将一些后续可能将要读取的小文件删除，导致无法快速读取，只能遍历存储器来读取这些删除的小文件。因此，本申请方案不会在云存储节点的缓存区中直接存储目标小文件，而是先确定目标小文件的文件存储信息来进行缓存。可选地，文件存储信息可包括小文件在云存储节点的存储器中的小文件存储位置和小文件存储大小。例如，文件存储信息可包括：文件块ID、存储器资源ID、存储片空间ID、小文件在存储片空间的偏移量以及小文件的文件大小。

这样做的好处在于，因为这里确定的文件存储信息不是目标小文件的数据内容本身，而是目标小文件在存储器进行存储时的小文件存储位置和小文件存储大小，因此通过有限的缓存区完全有可能将用于快速读取目标小文件的相关信息进行缓存，而又不会造成缓存区不足。并且，本申请方案借助于时间信息对缓存区中的文件存储信息进行有效更新管理和访问，对于安防行业的卡口图片存储，门禁系统中人脸图片抓拍存储等，可提高文件的读取速率，更好的适应大规模存储系统，且业务层的处理性能由此也得到进一步的提升。

在本实施例中，图4是本发明实施例中提供的一种改进的小文件读取的示意图。参见图4，在确定各个目标小文件的文件存储信息后，可将目标小文件的文件存储信息提前写入云存储节点的缓存区。这样，在将当前文件读取请求对应的当前小文件的文件存储时间附近的其他小文件作为下一小文件进行查找读取时，即下一文件读取请求对应的下一小文件的文件存储时间与当前文件读取请求对应的当前小文件的文件存储时间邻近时，可直接从缓存区中得到下一小文件请求所需要的文件存储信息，并以此来从存储器中读取下一文件读取请求所需的下一小文件。

这样做的好处在于，在读取下一文件读取请求所需的小文件时，可优先依据从缓存区中查找下一小文件的文件存储信息，并依据查找的下一小文件的文件存储信息来从云存储节点的存储器中定向查找读取下一文件读取请求对应的下一小文件，代替通过遍历存储器来查找读取下一小文件，提升了后续读取下一小文件的速率。

在本实施例的一种可选方式中，将目标小文件的文件存储信息，写入云存储节点的缓存区，可包括以下操作：

将目标小文件的文件存储信息与目标小文件的文件标识信息进行关联，并将关联结果缓存写入云存储节点的缓存区。

在本实施方式中，参见图4，云存储节点设备可对云存储节点的存储器中的目标小文件进行编码处理，得到目标小文件的在存储器中的小文件存储位置和小文件存储大小，这里记为文件存储信息。同时，云存储节点设备还可确定云存储节点的存储器中的目标小文件的文件标识信息。基于这个特点可将目标小文件的文件存储信息与目标小文件的文件标识信息进行关联，使得一个文件标识信息关联有唯一的文件存储信息。这样，就可方便根据文件标识信息来查找文件标识信息关联的文件存储信息。

在本实施方式中，参见图4，由于目标小文件是基于用户当前文件读取请求对应的小文件的文件存储时间来预测确定，因此在连续读取小文件的过程中上述确定的目标小文件有很大概率是属于后续将要读取的小文件。为此，可将目标小文件的文件存储信息与目标小文件的文件标识信息之间的关联结果，提前缓存写入云存储节点的缓存区。这样，当后续继续读取下一小文件时，下一小文件的文件存储信息有很大概率是已缓存在缓存区中，从而能够优先通过命中缓存的方式查找到下一小文件的文件存储信息，保证可优先依据文件存储信息来从存储器中查找读取下一小文件，而不需要每次都采用遍历存储器查找下一小文件的方式，提升后续下一小文件的读取效率。

在本实施例中，参见图4，可选地，在确定当前文件读取请求所要读取的当前小文件的文件存储信息，未在云存储节点的缓存区进行缓存时，可触发上述S210-S230的操作来预测接下来可能将要读取的目标小文件，并将接下来可能将要读取的目标小文件的文件存储信息进行提前缓存，便于后续读取下一小文件时能够有很大可能从缓存区查找到下一小文件的文件存储信息，方便依据查找到的文件存储信息来从存储器定向查找下一小文件。

在本实施例中，在一种可选示例中，对于存储器中除操作频率较高的热数据外的小文件，即操作频率较低的冷数据和温数据对应的小文件，可采用本实施例方案来对后续将要读取的目标小文件的进行预测命中，并对命中的目标小文件的文件存储信息进行提前缓存。在另一个可选示例中，对于存储器中全部小文件，不再区分其属于热数据、冷数据或者温数据，均可采用本实施例技术方案对后续将要读取的目标小文件的进行预测命中，并对命中的目标小文件的文件存储信息进行提前缓存。

这样做的好处在于，无论是对于热数据对应的小文件的读取，还是对于冷数据和温数据对应的小文件的连续读取，均可根据用户读取的当前小文件的文件存储时间来预测将要读取的小文件的文件存储信息并提前缓存，从而实现在后续读取部分小文件时能够直接从缓存中得到文件存储信息，并以此来从存储器中定向查找读取下一小文件，而不需要总是遍历存储器查找，能够大幅度降低对存储器的访问压力，提升小文件读取速率。

本发明实施例中提供了一种文件处理方法，采用本申请方案，在向缓存区中缓存写入文件存储信息时，可基于读取的当前小文件的文件存储时间来进行高命中缓存，由于目标小文件是基于用户当前文件读取请求对应的小文件的文件存储时间来预测，因此可保证预测命中的目标小文件有很大概率会包括用户接下来将要读取的小文件，这样在继续读取下一小文件时可有很大概率是直接依据缓存区中文件存储信息来从存储器读取小文件，而不需要遍历存储器来查找下一小文件，从而直接提高了下一小文件的读取速率，间接提升了整个云存储系统的性能。同时，缓存区中不会直接缓存预测将要读取的目标小文件，而是缓存目标小文件的文件存储信息，既能够保证将用于提高下一小文件读取效率的文件存储信息尽可能全部缓存，同时又不会导致有限缓存区的空间不足。

图5是本发明实施例中提供的另一种文件处理方法的流程图，本发明实施例在上述实施例的基础上进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图5所示，本申请实施例中提供的文件处理方法，可以包括以下步骤：

S510、确定当前文件读取请求中包括的当前文件标识信息。

在本实施例中，在确定当前文件读取请求对应的当前小文件的文件存储信息未在云存储节点的缓存区中进行提前缓存时，可遍历云存储节点的存储器中的小文件进行查询，并读取当前文件读取请求对应的当前小文件。在对当前文件读取请求进行处理后，云存储节点设备会启动文件存储信息的更新缓存操作，以将后续将要读取的目标小文件的文件存储信息更新缓存到云存储节点的缓存区，以便优先使用缓存区中的文件存储信息读取下一小文件。

S520、确定允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量。

在本实施例中，虽然缓存区中存储的是目标小文件的文件存储信息，而不是目标小文件的数据文件本身。但是，随着不同业务的增多小文件数据量越来越多，会造成目标小文件的文件存储信息大幅度增多，这样一来即使缓存区存储的是文件存储信息，仍然会造成缓存区的缓存内容爆满。为此，需要对每次缓存更新的文件存储信息的允许缓存量进行限制，即确定每次更新缓存时允许在缓存区更新缓存的目标缓存量，以避免在某一缓存更新阶段的文件存储信息过多，浪费缓存区。

在本实施例的一种可选方式中，确定允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量，可包括步骤A1-A2：

步骤A1、依据当前文件标识信息指示的文件存储时间，与云存储节点的存储器的文件留存期、文件总存储量和当日文件存储容量，计算云存储节点的缓存区的当前缓存权重信息。

在本实施方式中，为了保证向缓存区更新缓存的文件存储信息的缓存量不会过多而导致缓存区不足，同时又保证在确定缓存量时不会忽略小文件的读取场景，而仅考虑缓存区的大小，为此可参考多个维度信息来评价允许向缓存写入的文件存储信息的缓存权重信息。例如，可从当前文件标识信息指示的文件存储时间，与云存储节点的存储器的文件留存期、文件总存储量和当日文件存储容量四个维度，来计算云存储节点的缓存区对应的当前缓存权重信息，以便根据这个缓存权重信息来分析云存储节点的缓存区在当前时刻所允许的合理缓存量。

在本实施方式中，文件留存期可由云存储节点的存储器中现存的各个小文件的文件存储时间确定，例如云存储节点的存储器中最早存储的小文件的文件存储时间与最晚存储的小文件的文件存储时间确定。可选地，预先将文件留存期划分为多个时间区间，每一个时间区间关联有一个时间长度，例如，可将文件留存期划分为文件留存前期、文件留存中期和文件留存后期等多个时间区间；此时，可依据当前文件标识信息指示的文件存储时间，确定其在文件留存期内命中的时间区间并得到该文件存储时间对应的时间长度。进而，可依据当前文件标识信息指示的文件存储时间对应的时间长度，与云存储节点的存储器的文件留存期、文件总存储量和当日文件存储容量，来计算云存储节点的缓存区对应的当前缓存权重信息。在本实施例中，云存储节点的缓存区的缓存权重信息可采用以下公式进行计算：其中，Drp表示云存储节点的存储器中存储的小文件的文件留存期(Data retention period)；Qt表示当前文件标识信息指示的文件存储时间(Query date)；L(Qt)表示当前文件标识信息指示的文件存储时间在文件留存期内命中的时间区间范围所关联的时间长度；Totalcap表示小文件在云存储节点的存储器的文件总存储量(Totalfile cap)；Cap表示小文件在云存储节点的存储器的当日文件存储容量(Storagecapacityof the day)；N表示云存储节点的缓存区的缓存权重。

在本实施例中，可选地，针对文件留存期，还可引入一个计算缓存权重的缓存系数“x”，此时缓存权重其中，缓存系数“x”与当前文件读取请求所要读取的小文件的文件存储时间在文件留存期内命中的时间区间有关。例如，以将文件留存期划分为文件留存前期、文件留存中期和文件留存后期等多个时间区间为例，缓存系数“x”的计算公式如下：

步骤A2、依据当前缓存权重信息和云存储节点的缓存区的预设许可缓存总量，计算得到目标缓存量。

在本实施方式中，在确定云存储节点的缓存区的当前缓存权重信息的情况下，可结合缓存区中可许可写入文件存储信息的数据总量，来计算允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量。例如，允许缓存写入缓存区的缓存量可采用如下公式计算：M＝N*Y；其中，N表示云存储节点的缓存区的缓存权重，Y表示缓存区中可许可写入文件存储信息的数据总量。采用上述可选方式，依据文件留存期、当前查询的小文件的文件存储时间、文件总存储量和当日文件存储容量等参数，通过算法计算缓存更新的文件存储信息的缓存数量，确保缓存区可缓存合理数量的文件存储信息。

S530、依据当前文件标识信息指示的文件存储时间和目标缓存量，从云存储节点的存储器存储的多个小文件中，确定目标小文件。

在本实施例的一种可选方式中，依据当前文件标识信息指示的文件存储时间和目标缓存量，从云存储节点的存储器存储的多个小文件中，确定目标小文件，可包括以下操作：

将云存储节点的存储器存储的多个小文件中，位于当前文件标识信息指示的文件存储时间之前和之后的小文件确定为目标小文件，且使目标小文件的数量小于或等于目标缓存量。

在本实施方式中，待更新缓存到缓存区的文件存储信息的数据信息量为用户查询的小文件的文件存储时间前后各M/2的小文件作为目标小文件，且保证使目标小文件的数量小于或等于目标缓存量。如果查询的小文件的文件存储时间点前或后文件数据量小于M/2，则将查询的小文件的文件存储时间点前后小于M/2的全部小文件作为目标小文件，这样可保证缓存至缓存区的文件存储信息的数量小于或等于目标缓存量。

采用上述可选方式，结合当前文件标识信息指示的文件存储时间和已确定的目标缓存量，可保证从云存储节点的存储器中得到目标小文件，能够高概率的命中用户后续将要读取的小文件，同时又将得到的目标小文件维持在一定的数量内，避免后续缓存文件存储信息是造成缓存数量过多，影响缓存区的缓存容量，实现目标小文件命中概率和数量的兼容平衡。

示例性地，假如当前文件读取请求的读取时间为2019.11.11，当前文件读取请求的所要读取的小文件的文件存储时间为2019.09.09，云存储节点的缓存区中可允许缓存文件存储信息的文件总存储量为100万条。参数设置实际数值可如下内容：Drp＝90天；Qt＝2019.09.09；Cap＝1GB；Totalcap＝90GB；Y＝1000000。以上数据设置后可知文件留存期内的时间范围是2019.08.11～2019.11.11，由于是对文件留存期进行三等分，此时可知当前文件读取请求的所要读取的小文件的文件存储时间位于文件留存期的文件留存前期，即为30天。L(Qt)为该文件存储时间在文件留存期内命中的时间区间的时间长度；同时，由于X的值是属于文件留存期前1/3，因此X＝10。在此基础上，可通过计算公式得到缓存权重值N为：而结合缓存区的预设许可缓存总量，可得到缓存需要更新的文件存储信息的总量为：/>通过计算则把2019.09.09前后的小文件从存储器中各选取/>条作为目标小文件，并将选取的目标小文件的文件存储信息写入缓存区，待下次读取小文件时优先从缓存区中查找文件存储信息并以此来从存储器中定向读取下一小文件。

S540、将目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

本发明实施例中提供了一种文件处理方法，采用本申请方案，在向缓存区中缓存写入文件存储信息时，可基于读取的当前小文件的文件存储时间来进行高命中缓存，能够保证预测命中的目标小文件有很大概率会包括用户接下来将要读取的小文件，这样在继续读取下一小文件时可有很大概率是直接依据缓存区中文件存储信息来从存储器读取小文件，而不需要遍历存储器来查找下一小文件，从而直接提高了下一小文件的读取速率，间接提升了云存储系统的性能。同时，在确定目标小文件时，还会参考允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量，保证能高命中的确定用户接下来将要读取的目标小文件，且保证目标小文件的数量不会过多，以避免有限的缓存区的无法存储目标小文件的文件存储信息。

图6是本发明实施例中提供的又一种文件处理方法的流程图，本发明实施例在上述实施例的基础上进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图6所示，本申请实施例中提供的文件处理方法，可包括以下步骤S610-S650：

S610、确定当前文件读取请求中包括的当前文件标识信息。

S620、依据当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件。

S630、将目标小文件的文件存储信息，写入云存储节点的缓存区。

S640、确定下一文件读取请求中包括的下一文件标识信息。

在本实施例中，参见图2和图4，客户端可向云存储系统的云存储节点发送下一文件读取请求。下一文件读取请求中携带有用于对下一文件读取请求进行云存储节点分配的节点标识，以便将下一文件读取请求分配到其携带的节点标识对应的云存储节点上进行读取请求处理。在云存储系统中，将下一文件读取请求分配到对应的云存储节点后，云存储节点可确定下一文件读取请求中包括的下一文件标识信息。下一文件标识信息中包括用于指示用户通过下一文件读取请求需要读取的小文件的文件名称信息和文件存储时间。

S650、若从云存储节点的缓存区查找到下一文件标识信息关联的文件存储信息，则依据查找到的文件存储信息，从云存储节点的存储器，查找并读取小文件。

在本实施例中，在云存储节点关联的缓存区中，云存储节点关联的缓存区中包括目标小文件的文件存储信息，且一个文件标识信息关联有唯一的文件存储信息。云存储节点可依据下一文件标识信息，查询云存储节点的缓存区缓存的文件存储信息中，是否存在下一文件标识信息关联的文件存储信息。

在本实施例中，若是能够从云存储节点的缓存区中查找到下一文件标识信息关联的文件存储信息，那么就可按照下一文件标识信息关联的文件存储信息指示的文件存储位置和文件存储大小，在云存储节点的存储器中进行小文件定向查找，并读取查找到的小文件。在读取到下一文件读取请求所需的小文件后，可将读取自存储器的小文件发送到客户端，以在客户端显示。

这样做的好处在于，在读取小文件的时候，优先通过命中缓存的方式查找文件存储信息，然后按照文件存储信息在存储器进行定向查找，可以有效的降低读取小文件时对存储器的压力，提高了存储器读写数据的性能，提升小文件读取效率。

在本实施例的一种可选方式中，依据查找到的文件存储信息，从云存储节点的存储器，查找并读取小文件，可包括步骤B1-B2：

步骤B1、通过解析下一文件标识信息关联的文件存储信息，得到该文件存储信息中包括的小文件存储位置和小文件存储大小。文件存储信息可包括小文件在云存储节点的存储器中的小文件存储位置和小文件存储大小。

步骤B2、依据小文件存储位置和小文件存储大小，对云存储节点的存储器进行定向查找，并根据查找结果读取小文件。

在本实施方式中，下一文件读取请求中还可包括一个用于从存储器读取小文件的初始文件读取链接信息。文件读取链接信息可采用URL链接格式。云存储节点可对下一文件标识信息关联的文件存储信息进行解析，得到其中包含的小文件存储位置和小文件存储大小。进而，云存储节点可将得到小文件存储位置和小文件存储大小添加到初始文件读取链接信息，得到最终的文件读取链接信息，这样云存储节点就可依据最终的文件读取链接信息在云存储节点的存储器中进行定向查找小文件。

在本实施例中，若未查找到下一文件标识信息关联的文件存储信息，则依据下一文件标识信息，遍历查找云存储节点的存储器，并读取小文件。同时还可触发云存储节点依据下一文件读取请求中的下一文件标识信息进行下一轮的文件存储信息更新缓存操作。这样，可保证根据下一文件标识信息中指示的文件存储时间不断更新缓存，保证了后续读取小文件时会优先获取缓存中的文件存储信息来读取小文件，提高小文件的读取速率。

本发明实施例中提供了一种文件处理方法，采用本申请方案，在响应当前文件读取请求时，会根据当前文件读取请求中当前文件标识指示的文件存储时间信息，预测接下来将可能读取的目标小文件，提前将一部分目标小文件的文件存储信息写入到缓存区中。当再次读取下一文件读取请求对应的小文件的文件存储时间与当前文件读取请求对应的文件存储时间接近时，可直接使用缓存中存储的下一文件读取请求所需要的文件存储，来从存储器中定向读取小文件，而不需要遍历存储器来读取小文件，有效的降低读取小文件时对磁盘的压力，提高了磁盘读写数据的性能，以及提高小文件的读取速率。

在上述实施例的基础上，本实施例可以与上述一个或者多个实施例中各个可选方案结合，本申请实施例中提供的文件处理方法还可包括：依据云存储节点的缓存区中文件存储信息的使用情况，对已缓存的至少部分文件存储信息进行剔除，以释放缓存区。

在本实施例中，客户端下发文件读取请求后，云存储节点接收到请求后则向缓存区和存储器读取文件。在此过程中，云存储节点会通过缓存更新算法计算需要缓存的文件存储信息数量并缓存。但是，云存储节点的缓存区的容量是有限的，不断更新会导致缓存区满载。为此，对于缓存更新可借助于现有的LFU(即最少被使用)和LRU(最近最少使用)方法作为保护机制，以便已缓存的至少部分文件存储信息进行剔除，以释放缓存区。

在本实施例中，缓存区中有大量的文件存储信息，但是部分文件存储信息可能几乎没有被操作访问，因此在更新缓存区时，可依据云存储节点的缓存区中文件存储信息的使用情况，将这些访问频率较低的文件存储信息进行剔除，释放出缓存区来缓存最新的文件存储信息。这样，能够高效的保证缓存区缓存的文件存储信息的命中率，也确保了新缓存的文件存储信息有可用缓存区来进行存储。

在本实施例中，除了上述缓存区中部分文件存储信息存在访问频率低的问题，云存储节点CDV服务或设备重启会导致云存储节点的缓存区中的文件存储信息出现丢失，这样云存储节点服务或设备恢复正常则无法优先从缓存中读取文件存储信息，降低了小文件的读取速率。为此，在云存储节点CDV服务或者设备重启恢复时。云存储节点CDV首先从云存储节点的存储器中读取重启前保存的文件存储信息，并将其重新写入云存储节点的缓存区中，这样有效能够提高读取访问小文件的速率。

图7是本发明实施例中提供的一种文件处理装置的结构框图。本实施例方案可适用于连续对多个小文件进行读取的情况，尤其是针对监控业务中产生的小文件进行读取的情形。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。其中，该电子设备可以为云存储系统中的云存储节点设备。如图7所示，本申请实施例中的文件处理装置，可包括以下：标识确定模块710、目标确定模块720和缓存更新模块730。其中：

标识确定模块710，用于确定当前文件读取请求包括的当前文件标识信息；

目标确定模块720，用于依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；

缓存更新模块730，用于将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

在上述实施例的基础上，可选地，所述目标小文件的文件存储时间与所述当前文件标识信息指示的文件存储时间邻近。

在上述实施例的基础上，可选地，目标确定模块720包括：

缓存量确定单元，用于确定允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量；

目标确定单元，用于依据当前文件标识信息指示的文件存储时间和所述目标缓存量，从云存储节点的存储器存储的多个小文件中，确定目标小文件。

在上述实施例的基础上，可选地，缓存量确定单元包括：

依据所述当前文件标识信息指示的文件存储时间，与所述云存储节点的存储器的文件留存期、文件总存储量和当日文件存储容量，计算所述云存储节点的缓存区的当前缓存权重信息；

依据所述当前缓存权重信息和所述云存储节点的缓存区的预设许可缓存总量，计算得到所述目标缓存量。

在上述实施例的基础上，可选地，目标确定单元包括：

将所述云存储节点的存储器存储的多个小文件中，位于当前文件标识信息指示的文件存储时间之前和之后的小文件确定为目标小文件，且使所述目标小文件的数量小于或等于所述目标缓存量。

在上述实施例的基础上，可选地，缓存更新模块730包括：

将所述目标小文件的文件存储信息与所述目标小文件的文件标识信息进行关联，并缓存写入所述云存储节点的缓存区。

在上述实施例的基础上，可选地，所述装置还包括：

标识确定模块710，还用于确定下一文件读取请求中包括的下一文件标识信息；

小文件读取模块740，用于若从所述云存储节点的缓存区查找到所述下一文件标识信息关联的文件存储信息，则依据查找到的文件存储信息，从所述云存储节点的存储器，查找并读取小文件。

在上述实施例的基础上，可选地，所述装置还包括：

小文件读取模块740，还用于若未查找到所述下一文件标识信息关联的文件存储信息，则依据下一文件标识信息，遍历查找所述云存储节点的存储器，并读取小文件。

在上述实施例的基础上，可选地，小文件读取模块740包括：

通过解析所述待查文件标识信息关联的文件存储信息，得到该文件存储信息中包括的小文件存储位置和小文件存储大小

依据所述小文件存储位置和小文件存储大小，对所述云存储节点的存储器进行定向查找，并根据查找结果读取小文件。

在上述实施例的基础上，可选地，所述装置还包括：

缓存保护模块750，用于依据所述云存储节点的缓存区中文件存储信息的使用情况，对已缓存的至少部分文件存储信息进行剔除，以释放缓存区。

本发明实施例中所提供的文件处理装置可执行上述本发明任意实施例中所提供的文件处理方法，具备执行该文件处理方法相应的功能和有益效果，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例中所提供的文件处理方法。

图8是本发明实施例中提供的一种电子设备的结构示意图。如图8所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器810和存储装置820；该电子设备中的处理器810可以是一个或多个，图8中以一个处理器810为例；存储装置820用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器810执行，使得所述一个或多个处理器810实现如本发明实施例中任一项所述的文件处理方法。

该电子设备还可以包括：输入装置830和输出装置840。

该电子设备中的处理器810、存储装置820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。

该电子设备中的存储装置820作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的文件处理方法对应的程序指令/模块。处理器810通过运行存储在存储装置820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中文件处理方法。

存储装置820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序进行如下操作：

确定当前文件读取请求中包括的当前文件标识信息；

依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；

将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序还可以进行本发明任意实施例中所提供的文件处理方法中的相关操作。

本发明实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行文件处理方法，该方法包括：

确定当前文件读取请求中包括的当前文件标识信息；

依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；

将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的文件处理方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种文件处理方法，其特征在于，应用于云存储节点，适用于针对监控业务中产生的文件进行读取的情况，包括：

确定当前文件读取请求中包括的当前文件标识信息；

依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；其中，所述目标小文件的文件存储时间与所述当前文件标识信息指示的文件存储时间之间相邻近且时间差值小于预设值；

将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

2.根据权利要求1所述的方法，其特征在于，依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件，包括：

确定允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量；

依据所述当前文件标识信息指示的文件存储时间和所述目标缓存量，从云存储节点的存储器存储的多个小文件中，确定目标小文件。

3.根据权利要求2所述的方法，其特征在于，确定允许缓存写入云存储节点的缓存区的文件存储信息的目标缓存量，包括：

依据所述当前文件标识信息指示的文件存储时间，与所述云存储节点的存储器的文件留存期、文件总存储量和当日文件存储容量，计算所述云存储节点的缓存区的当前缓存权重信息；

依据所述当前缓存权重信息和所述云存储节点的缓存区的预设许可缓存总量，计算得到所述目标缓存量。

4.根据权利要求2所述的方法，其特征在于，依据所述当前文件标识信息指示的文件存储时间和所述目标缓存量，从云存储节点的存储器存储的多个小文件中，确定目标小文件，包括：

将所述云存储节点的存储器存储的多个小文件中，位于当前文件标识信息指示的文件存储时间之前和之后的小文件确定为目标小文件，且使所述目标小文件的数量小于或等于所述目标缓存量。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定下一文件读取请求中包括的下一文件标识信息；

若从所述云存储节点的缓存区查找到所述下一文件标识信息关联的文件存储信息，则依据查找到的文件存储信息，从所述云存储节点的存储器，查找并读取小文件；

若未查找到所述下一文件标识信息关联的文件存储信息，则依据下一文件标识信息，遍历查找所述云存储节点的存储器，并读取小文件。

6.根据权利要求5所述的方法，其特征在于，依据查找到的文件存储信息，从所述云存储节点的存储器，查找并读取小文件，包括：

通过解析所述下一文件标识信息关联的文件存储信息，得到该文件存储信息中包括的小文件存储位置和小文件存储大小

依据所述小文件存储位置和小文件存储大小，对所述云存储节点的存储器进行定向查找，并根据查找结果读取小文件。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

依据所述云存储节点的缓存区中文件存储信息的LFU信息和LRU信息，对已缓存的至少部分文件存储信息进行剔除，以释放缓存区。

8.一种文件处理装置，其特征在于，配置于云存储节点，适用于针对监控业务中产生的文件进行读取的情况，包括：

标识确定模块，用于确定当前文件读取请求中包括的当前文件标识信息；

目标确定模块，用于依据所述当前文件标识信息指示的文件存储时间，从云存储节点的存储器存储的多个小文件中，确定目标小文件；其中，所述目标小文件的文件存储时间与所述当前文件标识信息指示的文件存储时间之间相邻近且时间差值小于预设值；

缓存更新模块，用于将所述目标小文件的文件存储信息，写入云存储节点的缓存区，以供在接收到下一文件读取请求时依据缓存区中文件存储信息来读取小文件。

9.一种电子设备，其特征在于，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-7中任一所述的文件处理方法。

10.一种可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一所述的一种文件处理方法。