CN111984605A - 小文件管理方法、电子设备及存储装置 - Google Patents

Abstract

本申请公开了一种小文件管理方法、存储服务器及存储装置。其中，小文件管理方法包括：响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为待写入小文件分配写入地址；基于待写入小文件的写入信息，生成待写入小文件的索引信息和读取地址；其中，写入信息至少包括写入地址，索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件；按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中。上述方案，能够拒绝掉一些非法的请求、屏蔽掉数据暴露的风险，提高小文件读写的安全性和可靠性。

Description

小文件管理方法、电子设备及存储装置

技术领域

本申请涉及云存储、文件读写技术领域，尤其涉及一种小文件管理方法、电子设备及存储装置。

背景技术

当前云存储系统在面临海量小文件的场景时，由于海量小文件带来的元数据总量庞大，要求的存储空间容量巨大，且元数据操作性能要求较高，使得能存储的文件个数受限，且性能也难以满足业务系统频繁写入删除小文件的要求。

针对于上述情况，一般采用的方式之一就是小文件组合成大文件进行存储。但是现有的方案中很少考虑到系统安全性和可靠性，而安全性和可靠性是数据存储中不可缺少的一部分。

发明内容

本申请主要解决的技术问题是提供一种小文件管理方法、电子设备及存储装置，能够提高小文件读写的安全性和可靠性。

为了解决上述问题，本申请第一方面提供了一种小文件管理方法，包括：响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为待写入小文件分配写入地址；基于待写入小文件的写入信息，生成待写入小文件的索引信息和读取地址；其中，写入信息至少包括写入地址，索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件；按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中。

其中，该方法还包括：接收终端发送的读请求，其中，读请求包括待读取小文件的读取地址；基于待读取小文件的读取地址，获取待读取小文件的写入信息；基于待读取小文件的写入信息，从待读取小文件所在的第二大文件中读取待读取小文件的索引信息；对读取的索引信息进行验证；若验证通过，则基于待读取小文件的写入信息，从第二大文件中读取待读取小文件，并将待读取小文件发送给终端。

其中，写入信息包括：小文件所写入的大文件的标识信息、写入地址和小文件的数据长度；索引信息和读取地址中均至少由小文件所写入的大文件的标识信息、写入地址和小文件的数据长度组成。

其中，对读取的索引信息进行验证，包括：验证读取的索引信息是否满足预设条件；其中，预设条件包括以下至少一种：验证读取的索引信息符合预设格式；由读取的索引信息得到的第二大文件的标识信息与由待读取小文件的读取地址所得到的标识信息一致；由读取的索引信息得到的写入地址与由待读取小文件的读取地址所得到的写入地址一致；由读取的索引信息得到的数据长度与由待读取小文件的读取地址所得到的数据长度是否一致。

其中，基于待写入小文件的写入信息生成待写入小文件的读取地址，包括：基于待写入小文件的至少部分内容生成第一密钥，并利用第一密钥将待写入小文件的数据长度进行加密；基于第一大文件的至少部分内容生成第二密钥，并利用第二密钥将待写入小文件的写入地址以及已加密的数据长度进行加密，得到加密后的关键数据；利用第一大文件的标识信息以及加密后的关键数据生成待写入小文件的读取地址；基于待读取小文件的读取地址，获取待读取小文件的写入信息，包括：基于待读取小文件的读取地址获取第二大文件的标识名称以及加密后的关键数据；基于第二大文件的至少部分内容生成第二密钥，利用第二密钥对关键数据进行解密，得到待读取小文件的写入地址和已加密的数据长度；利用待读取小文件的写入地址，从第二大文件中读取待读取小文件的至少部分内容；基于读取的内容生成第一密钥，利用第一密钥对已加密的数据长度进行解密，得到解密后的待读取小文件的数据长度。

其中，写入至第一大文件中的索引信息为加密数据；在按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中之前，还包括：基于待写入小文件的至少部分内容生成第三密钥，并利用第三密钥将索引信息进行加密；在对读取的索引信息进行验证之前，还包括：基于待读取小文件的写入信息，从待读取小文件所在的第二大文件中读取待读取小文件的至少部分内容；基于读取的内容生成第三密钥，并利用第三密钥对读取的索引信息进行解密，得到解密后的读取的索引信息。

其中，该方法还包括：若检测到待写入小文件成功写入至第一大文件中，则将待写入小文件的索引信息备份至缓存中；判断第一大文件是否满足存储最大值；若是，则确定第一大文件不再写入小文件，将缓存中的所有索引信息作为备份信息写入至第一大文件中，并将述备份信息的写入地址作为备份信息的索引信息存储在第一大文件中。

其中，该方法还包括：接收终端发送的读取地址恢复请求；从第一大文件中获取备份信息的索引信息，并基于备份信息的索引信息，从第一大文件中读取备份信息；利用备份信息中的索引信息重新生成相应小文件的读取地址；将与读取地址恢复请求相关的读取地址发送给终端。

其中，写入至第一大文件中的备份信息为加密数据；在将述备份信息的写入地址作为备份信息的索引信息存储在第一大文件中之前，还包括：基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥将备份信息进行加密；基于备份信息的索引信息，从第一大文件中读取备份信息包括：基于备份信息的索引信息，从第一大文件中读取加密后的备份信息；基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥对加密后的备份信息进行解密。

其中，在将缓存中的所有索引信息作为备份信息写入至第一大文件中之前，方法还包括：若检测到缓存内的备份信息丢失，则向终端发送索引信息恢复请求；接收终端发送的相应小文件的读取地址；利用相应小文件的读取地址重新生成相应小文件的索引信息；将重新生成的索引信息重新备份至缓存中。

为了解决上述问题，本申请第二方面提供一种小文件管理方法，包括：接收终端发送的读请求，其中，读请求包括待读取小文件的读取地址；基于待读取小文件的读取地址，从待读取小文件所在的大文件中读取待读取小文件的索引信息；若读取的索引信息验证通过，则从第二大文件中读取待读取小文件。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括：相互耦接的存储器和处理器；其中，存储器用于存储程序指令以及至少一个大文件；处理器用于执行存储器存储的程序指令，以实现以上一项的方法。

为了解决上述问题，本申请第四方面提供了一种存储装置，包括：用于存储能够被处理器运行的程序指令，程序指令用于实现上述任一方法。

通过该方法，基于小文件的写入信息生成索引信息，并将小文件及其索引信息存储于大文件，且将基于写入信息生成的读取地址发送给终端，由此，终端在利用读取地址进行读取时，能够利用该读取地址从大文件获得对应的索引信息，通过对索引信息进行验证，以确定根据读取地址所读取的小文件的写入信息是否正常，若是，则允许读取验证对应小文件，故可以避免采用不正确读取地址进行读取的非法请求，提高对小文件进行读写的安全性和可靠性。

附图说明

图1是本申请小文件管理方法一实施例的流程示意图；

图2是本申请小文件管理方法一实施例中生成读取地址的流程示意图；

图3是本申请小文件管理方法另一实施例的流程示意图；

图4是本申请小文件管理方法一实施例中获取写入信息的流程示意图；

图5是本申请小文件管理方法再一实施例的部分流程示意图；

图6是本申请小文件管理方法再一实施例中所形成大文件的结构示意图；

图7是本申请小文件管理装置一实施例的结构示意图；

图8是本申请小文件管理装置另一实施例的结构示意图；

图9是本申请电子设备一实施例的结构示意图；

图10是本申请存储装置一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“终端”和“客户端”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请小文件管理方法一实施例的流程示意图。本实施例中，以电子设备作为执行主体进行举例说明。本实施例管理方法包括小文件的存储过程，具体包括以下步骤：

步骤S11：响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为待写入小文件分配写入地址。

例如，运行有相应客户端的终端在生成小文件并需要写入该小文件时，向电子设备发送小文件的写请求，电子设备接收到写请求；其中，该写请求中包括待写入小文件。

电子设备存储有至少一个大文件。在收到来自终端的包含待写入小文件的写请求时，电子设备搜索出当前可写入的第一大文件，具体地，可通过判断当前存储的一大文件是否满足存储最大值来确定是否可写入，若未满足，则确定该大文件可写入。电子设备还在第一大文件中为待写入小文件分配写入地址。本实施例中，该写入地址为待写入小文件在第一大文件中的起始写入地址，该写入地址可以为偏移地址。

步骤S12：基于待写入小文件的写入信息，生成待写入小文件的索引信息和读取地址。

其中，写入信息至少包括写入地址，索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件。本实施例利用小文件的写入信息生成其索引信息，由此在读取时通过验证索引信息来验证小文件的写入信息，进而确定是否可读取对应小文件。

具体地，本文的小文件的写入信息可以但不限包括：该小文件所写入的大文件的标识信息、该小文件在大文件中的写入地址以及该小文件的数据长度。该大文件的标识信息可以为大文件的名称或者大文件的地址等。在一些实施方式中，生成待写入小文件的索引信息可具体包括：电子设备至少将第一大文件的标识信息、待写入小文件的写入地址和数据长度，按照第一预定格式组成待写入小文件的索引信息。在一具体应用中，索引信息为64字节，其中，第0-2个字节为大文件的标识信息，第3-24个字节为小文件的写入地址，第25-36个字节为小文件的数据长度。可以理解的是，该索引信息除包括上述写入信息外，还可包括其他信息，例如该小文件的标识信息、对应终端的地址信息等。

在一些实施方式中，生成待写入小文件的读取地址可具体包括：电子设备至少将第一大文件的标识信息、待写入小文件的写入地址和数据长度，按照第二预定格式组成待写入小文件的读取地址。在一具体应用中，该读取地址为url，该大文件的标识信息为大文件的名称，写入地址为起始偏移地址，故其组成部分如下为：region:bucket/archivefilename:offset/size。其每个字段说明具体如下：

在一些实施方式中，在生成待写入小文件的读取地址之后，可按照写请求中的终端地址，将待写入小文件的读取地址发送给对应终端，以由该终端保存该小文件的读取地址。

步骤S13：按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中。

例如，按照该写入地址，将待写入小文件写入至第一大文件对应位置，并且将待写入小文件的索引信息写在待写入小文件的后面。

在一些实施例中，为了进一步提高小文件读写的安全性，可对索引信息进行加密后再写入至第一大文件中，例如，在执行本步骤S13之前，基于待写入小文件的至少部分内容生成第三密钥，并利用第三密钥将索引信息进行加密，进而在本步骤S13中将加密后的索引信息写入至第一大文件中。具体地，该第三密钥可利用待写入小文件的预设位置或字段上的内容进行生成，例如利用待写入小文件开头的64个字节生成，其中该预设位置或字段可为自定义或者系统默认的。该加密算法可以为对称加密算法，例如为国际数据加密算法(Internationale Data Encrypt Algorithm，IDEA)。利用小文件的内容动态生成对应的第三密钥，无需额外保存该第三密钥，故省去了保存和读取第三密钥的流程，一定程度上保证了加解密过程的效率性；同时，由于每个小文件的内容是不同的，故不同的小文件所对应的第四密钥不同，保证了密钥的随机性，从而整体上提高了安全性。在另一实施例中，为进一步提高小文件读写的安全性和可靠性，可对读取地址进行加密再发送给终端。具体地，请结合参阅图2，本实施例中，本步骤S12中的基于待写入小文件的写入信息生成待写入小文件的读取地址，包括以下子步骤：

子步骤S121：基于待写入小文件的至少部分内容生成第一密钥，并利用第一密钥将待写入小文件的数据长度进行加密。

具体地，该第一密钥可利用待写入小文件的预设位置或字段上的内容进行生成，例如利用待写入小文件开头的64个字节生成，其中该预设位置或字段可为自定义或者系统默认的。该加密算法可以为对称加密算法，例如为IDEA。

子步骤S122：基于第一大文件的至少部分内容生成第二密钥，并利用第二密钥将待写入小文件的写入地址以及已加密的数据长度进行加密，得到加密后的关键数据。

具体地，该第一密钥可利用第一大文件的预设位置上的内容或字段进行生成，例如利用第一大文件开头的64个字节生成，其中该预设位置或字段可为自定义或者系统默认的。该加密算法可以为对称加密算法，例如为IDEA。

子步骤S123：利用第一大文件的标识信息以及加密后的关键数据生成待写入小文件的读取地址。

例如，在获得第一大文件名称archivefilename，并对小文件的初始偏移地址以及数据长度offset进行如上加密之后得到IDEA(offset/IDEA(size))，故生成小文件的读取地址为：region:bucket/archivefilename:IDEA(offset/IDEA(size))。由此，终端利用读取地址请求读取小文件时，可根据其发送的读取地址进行对应解密，并利用解密后的读取地址读取对应小文件的索引信息进行验证并在验证通过时再读取小文件。通过对读取地址加密，终端用户无法直接获知其小文件的写入信息，而且也无法获知其对应密钥，进而无法进行伪造。

本实施例，利用小文件的内容动态生成对应的第一密钥，利用大文件的内容动态生成对应的第二密钥，无需额外保存该第一/第二密钥，故省去了保存和读取第一/第二密钥的流程，一定程度上保证了加解密过程的效率性；同时，由于每个小文件/大文件的内容是不同的，故不同的小文件/大文件所对应的第一/第二密钥不同，保证了密钥的随机性，从而整体上提高了安全性。

请参阅图3，图3是本申请小文件管理方法另一实施例的流程示意图。本实施例管理方法包括小文件读取过程，此外还可以包括或不包括上述小文件存储过程，具体地，该小文件读取过程包括如下步骤：

步骤S31：接收终端发送的读请求，其中，读请求包括待读取小文件的读取地址。

如前面实施例所述，终端在将小文件存储至大文件中后，电子设备会给终端反馈读取地址，终端可将该读取地址保存，以在下次需读取该小文件时，利用该读取地址向电子设备发送读请求以读取该大文件。电子设备在接收到该读请求之后，对该读请求进行解析，得到其中的待读取小文件的读取地址。

步骤S32：基于待读取小文件的读取地址，从待读取小文件所在的大文件中读取待读取小文件的索引信息。

具体地，步骤S32可以包括基于待读取小文件的读取地址，获取待读取小文件的写入信息，基于待读取小文件的写入信息，从待读取小文件所在的第二大文件中读取待读取小文件的索引信息。

如前面实施例，电子设备生成的读取地址是利用小文件的写入信息生成的。故作为逆过程，电子设备基于读取地址获取待读取小文件的相应写入信息。例如，该读取地址为url，具体组成部分如下：region:bucket/archivefilename:offset/size，故电子设备对该url进行拆分，从对应位置得到存储该待读取小文件的第二大文件名称archivefilename、待读取小文件的写入地址offset以及待读取小文件的数据长度size。

在另一实施例中，请结合参阅图4，若发给终端的小文件的读取地址是加密数据，则本步骤S32包括以下子步骤：

子步骤S321：基于待读取小文件的读取地址获取第二大文件的标识名称以及加密后的关键数据。

例如，该读取地址为url，具体组成部分如下：region:bucket/archivefilename:IDEA(offset/IDEA(size))，故电子设备对该url进行拆分，从对应位置得到存储该待读取小文件的第二大文件名称archivefilename、加密后的关键数据IDEA(offset/IDEA(size))。

子步骤S322：基于第二大文件的至少部分内容生成第二密钥，利用第二密钥对关键数据进行解密，得到待读取小文件的写入地址和已加密的数据长度。

其中，该第二密钥的生成及相关解密可参考上述步骤S152的相关描述。接上例，利用生成的第二密钥对加密后的关键数据IDEA(offset/IDEA(size))进行解密得到待读取小文件的写入地址offset和已加密的数据长度IDEA(size)。

子步骤S323：利用待读取小文件的写入地址，从第二大文件中读取待读取小文件的至少部分内容。

例如，在第二大文件中，从写入地址offset开始读取开头的64个字节的内容。

子步骤S324：基于读取的内容生成第一密钥，利用第一密钥对已加密的数据长度进行解密，得到解密后的待读取小文件的数据长度。

其中，该第一密钥的生成及相关解密可参考上述步骤S151的相关描述。接上例，利用生成的第一密钥对待加密后的数据长度IDEA(size)进行解密得到解密后的数据长度size。通过对读取地址进行加密可提高小文件读取的安全性和可靠性。

在得到步骤S32的写入信息后，即可得到待读取小文件在对应大文件的存储位置，进而根据该存储位置，读取待读取小文件的索引信息。例如，索引信息存储在小文件的后面，且每个小文件的索引信息固定为64字节。故从本地查找出步骤S32获取的archivefilename的第二大文件，并从第二大文件的offset+size的地址中读取64个字节的数据，以作为该待读取小文件的索引信息。

当写入至第一大文件中的索引信息为加密数据时，在执行本步骤S33读取到索引信息之后，还包括：基于待读取小文件的写入信息，从待读取小文件所在的第二大文件中读取待读取小文件的至少部分内容；基于读取的内容生成第三密钥，并利用第三密钥对读取的索引信息进行解密，得到解密后的读取的索引信息，由此步骤S34利用解密后的索引信息进行验证。其中，该第三密钥的生成及相关解密可参考上述步骤S13的相关描述。

步骤S33：对读取的索引信息进行验证；若验证通过，则执行步骤S34，否则执行步骤S35。

本实施例中，步骤S33可具体包括：验证读取的索引信息是否满足预设条件。其中，该预设条件可包括以下至少一种：验证读取的索引信息符合预设格式；由读取的索引信息得到的第二大文件的标识信息与由待读取小文件的读取地址所得到的标识信息一致；由读取的索引信息得到的写入地址与由待读取小文件的读取地址所得到的写入地址一致；由读取的索引信息得到的数据长度与由待读取小文件的读取地址所得到的数据长度是否一致。

具体地，索引信息至少由大文件标识信息、写入地址和数据长度组成，且每个组成部分在索引信息的位置是固定的，例如，标识信息为第0-2个字节且由字母组成，写入地址为第3-24个字节且由数字组成，数据长度为第25-36个字节且有数字组成。故验证读取的索引信息符合预设格式，可以为读取的索引信息是由大文件的标识信息和写入地址以及数据长度三部分组成的，即，若读取的索引信息的第0-2个字节只由字母组成、第3-36个字节只由数字组成，则可认为符合预设格式；又或者，由于小文件的真实读取地址和索引信息都是由其写入信息生成，故对其真实读取地址和索引信息获取得到的写入信息必然也是相同的。故可将读取到的索引信息对应位置上的写入信息与步骤S32利用读取地址获得的写入信息进行对比，如判断读取到的索引信息第0-2个字节上的大文件标识信息与步骤S32获得的第二大文件名称archivefilename是否一致，如写入信息一致，则表示该读取地址为正确合法的读取地址，进而可将小文件的信息读取给终端。

步骤S34：基于待读取小文件的写入信息，从第二大文件中读取待读取小文件。

在对步骤S32读取到的索引信息验证通过后，则可将利用读取得到的写入信息而读取到的待读取小文件发送给终端。

步骤S35：丢弃该读请求。

在实际情况下，存在一些用户伪造小文件的读取地址以企图从电子设备中获得到小文件，进而窃取数据信息。故本实施例在对步骤S32读取到的索引信息验证不通过后，则确定该读请求为不正确或非法的请求，故丢弃该读请求，不对其进行响应，并结束流程。或者，电子设备在结束流程之前，还可向终端发送拒绝读取通知，以告知终端由于该读请求不正确无法读取到小文件。

上述实施例中，基于小文件的写入信息生成索引信息，并将小文件及其索引信息存储于大文件，且将基于写入信息生成的读取地址发送给终端，由此，终端在利用读取地址进行读取时，能够利用该读取地址从大文件获得对应的索引信息，通过对索引信息进行验证，以确定根据读取地址所读取的小文件的写入信息是否正常(由于该小文件的真实索引信也是由小文件的真实写入信息生成的，故如读取地址若不正确，则其读取到的索引信息也不是小文件真实索引信息，故可通过查看读取的索引信息属不属于写入信息或者索引信息中的各部分信息与读取地址中的写入信息是否匹配可确定是否正常)，若是，则允许读取验证对应小文件，故可以避免采用不正确读取地址进行读取的非法请求，屏蔽掉数据暴露的风险，因此提高对小文件进行读写的安全性和可靠性。

请参阅图5，图5是本申请小文件管理方法再一实施例的部分流程示意图。本实施例除保存小文件的索引信息外，还保存索引信息的备份信息，以方便后续在索引信息或者读取地址丢失时，可根据该备份信息进行恢复。具体地，本实施例管理方法除包括任一实施例中的步骤外，在存储过程的上述步骤S13之后，还包括：

步骤S51：若检测到待写入小文件成功写入至第一大文件中，则将待写入小文件的索引信息备份至缓存中。

当检测到待写入小文件及其索引信息成功写入第一大文件之后，电子设备可将本次写入的索引信息备份至缓存中。

步骤S52：判断第一大文件是否满足存储最大值。

本实施例中，电子设备内部可起一定时线程，以定时判断当前打开的大文件的大小是否大于或等于可配置的存储最大值；若是，则执行步骤S53；否则等待新的写请求并继续将新的小文件及其索引信息写入至当前打开的小文件中。

步骤S53：确定第一大文件不再写入小文件，将缓存中的所有索引信息作为备份信息写入至第一大文件中，并将述备份信息的写入地址作为备份信息的索引信息存储在第一大文件中。

本实施例中，最终形成的大文件如图6所示，该大文件包括期间至少一个终端发送过来的小文件1、2……及其索引信息，其中每个小文件的索引信息保存在对应小文件的后面，并在该大文件确定不再写入小文件时，将其写入的所有小文件的索引信息从缓存中读取出来并写入至该大文件中，并将该起始写入地址作为该备份信息的索引信息写入至大文件的尾部，故该备份信息的索引信息也成为尾部索引。

在一些实施例中，考虑缓存中的数据如遇到突然断电、强制关机等情况时，会导致缓存中备份信息丢失，故在执将缓存中的所有索引信息作为备份信息写入至第一大文件中之前，方法还可包括：若检测到缓存内的备份信息丢失，则向终端发送索引信息恢复请求；接收终端发送的相应小文件的读取地址；利用相应小文件的读取地址重新生成相应小文件的索引信息；将重新生成的索引信息重新备份缓存中。在缓存中备份信息丢失的情况下，由于大文件中保存的每个小文件的长度不等，故电子设备无法直接从大文件中读取出每个小文件的索引信息。而终端中会保存有各小文件的读取地址，且读取地址与索引信息均由写入信息生成，故在通过向终端获取每个小文件的读取地址，如上述步骤S32可通过每个小文件的读取地址得到每个小文件的写入信息，进而可如上述步骤S12利用每个小文件的写入信息重新生成每个小文件的索引信息，由此作为新的备份信息保存在缓存中或者直接在第一大文件的大小大于或等于存储最大值时直接写入至第一大文件中，由此进一步提高小文件读写的可靠性和安全性。

在一些实施例中，为了进一步提高小文件读写的安全性，可对备份信息进行加密后再写入至第一大文件中，例如，在判断第一大文件满足存储最大值之后，且在执行本步骤S53之前，基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥将备份信息进行加密，进而在本步骤S53中将加密后的备份信息写入至第一大文件中。具体地，该第四密钥可利用第一大文件的预设位置上的内容进行生成，例如利用大文件开头的64个字节生成，该加密算法可以为对称加密算法，例如为IDEA。利用大文件的内容动态生成对应的第四密钥，无需额外保存该第四密钥，故省去了保存和读取第四密钥的流程，一定程度上保证了加解密过程的效率性；同时，由于每个大文件的内容是不同的，故不同的大文件所对应的第四密钥不同，保证了密钥的随机性，从而整体上提高了安全性。

步骤S54：接收终端发送的读取地址恢复请求。

在一些情况下，存在上层业务平台保存的各小文件的读取地址丢失的情况，此时，对应终端向电子设备发送读取地址恢复请求。

步骤S55：从第一大文件中获取备份信息的索引信息，并基于备份信息的索引信息，从第一大文件中读取备份信息。

由于备份信息的索引信息保存在大文件的尾部，故可从第一大文件的尾部读取预设长度(如该备份信息的索引信息设定长度为64个字节，则读取64个字节)的数据作为该备份信息的索引信息。由于该索引信息为备份信息的写入地址，故通过该写入地址可从第一大文件中读取该备份信息，例如在第一大文件中从该写入地址开始读取至最后64个字节(此为备份信息的索引信息)之前的数据，以作为备份信息。

其中，当写入至第一大文件中的备份信息为加密数据时，本步骤S55的基于备份信息的索引信息，从第一大文件中读取备份信息可具体包括：基于备份信息的索引信息，从第一大文件中读取加密后的备份信息；基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥对加密后的备份信息进行解密。其中，该第四密钥的生成及相关解密可参考上述步骤S53的相关描述。

步骤S56：利用备份信息中的索引信息重新生成相应小文件的读取地址。

例如，将读取到的备份信息中的每64个字节的数据作为一小文件的索引信息，利用每个小文件的索引信息得到对应小文件的写入信息，利用写入信息可得到对应小文件的读取地址。

步骤S57：将与读取地址恢复请求相关的读取地址发送给终端。

在获得每个小文件的读取地址后，如终端发送的读取地址恢复请求中包括需要获取读取地址的小文件信息，则可根据该小文件信息查找到相关的小文件的读取地址，并反馈给终端；或者，小文件的索引信息包括对应终端的信息，故可根据每个小文件的索引信息中的终端信息，查出与发送读取地址恢复请求的终端对应的小文件的读取地址，并反馈给终端。

本实施例中，大文件既存储有小文件的一级索引信息，还存储有所有一级索引的备份信息作为二级索引信息，通过该二级索引机制来可实现利用一级索引信息对读请求进行校验，以屏蔽掉非法请求，提高小文件读写的安全性。而且，还可实现对与写入信息相关的信息如小文件的读取地址、一级索引信息进行恢复，以使即使写入信息的相关信息丢失同样可恢复实现对小文件的读取，进一步提高电子设备系统的安全性和可靠性；对应地，该二级索引信息也可利用对与写入信息相关的信息进行恢复，进一步提高电子设备系统的安全性和可靠性。

可以理解的是，在其他实施例中，可选择执行上述步骤S51-S57的部分步骤，例如在不要求利用二级索引信息恢复读取地址的实施例中，可以不执行上述步骤S54-S57。

请参阅图7，图7是本申请小文件管理装置一实施例的结构示意图。该装置700包括分配模块701、生成模块702、写入模块703。

分配模块701用于响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为待写入小文件分配写入地址；

生成模块702用于基于待写入小文件的写入信息，生成待写入小文件的索引信息和读取地址；其中，写入信息至少包括写入地址，索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件；

写入模块703用于按照待写入小文件的写入地址，将待写入小文件和索引信息写入第一大文件中。

请结合参阅图8，该管理装置700还包括接收模块704、读取模块705、验证模块706。

接收模块704用于接收终端发送的读请求，其中，读请求包括待读取小文件的读取地址；

第一读取模块705用于基于待读取小文件的读取地址，从待读取小文件所在的大文件中读取待读取小文件的索引信息；

第二读取模块706用于若读取的索引信息验证通过，则从第二大文件中读取待读取小文件。

在一些实施例中，写入信息包括：小文件所写入的大文件的标识信息、写入地址和小文件的数据长度。

其中，索引信息和读取地址中可以均至少由小文件所写入的大文件的标识信息、写入地址和小文件的数据长度组成。

在一些实施例中，验证模块706具体用于：验证读取的索引信息是否满足预设条件；其中，预设条件包括以下至少一种：验证读取的索引信息符合预设格式；由读取的索引信息得到的第二大文件的标识信息与由待读取小文件的读取地址所得到的标识信息一致；由读取的索引信息得到的写入地址与由待读取小文件的读取地址所得到的写入地址一致；由读取的索引信息得到的数据长度与由待读取小文件的读取地址所得到的数据长度是否一致。

在一些实施例中，生成模块702执行基于待写入小文件的写入信息生成待写入小文件的读取地址，包括：基于待写入小文件的至少部分内容生成第一密钥，并利用第一密钥将待写入小文件的数据长度进行加密；基于第一大文件的至少部分内容生成第二密钥，并利用第二密钥将待写入小文件的写入地址以及已加密的数据长度进行加密，得到加密后的关键数据；利用第一大文件的标识信息以及加密后的关键数据生成待写入小文件的读取地址；读取模块705具体用于：基于待读取小文件的读取地址获取第二大文件的标识名称以及加密后的关键数据；基于第二大文件的至少部分内容生成第二密钥，利用第二密钥对关键数据进行解密，得到待读取小文件的写入地址和已加密的数据长度；利用待读取小文件的写入地址，从第二大文件中读取待读取小文件的至少部分内容；基于读取的内容生成第一密钥，利用第一密钥对已加密的数据长度进行解密，得到解密后的待读取小文件的数据长度。

在一些实施例中，写入至第一大文件中的索引信息为加密数据；管理装置700还包括第一加密模块，用于在写入模块703将索引信息写入第一大文件中之前，基于待写入小文件的至少部分内容生成第三密钥，并利用第三密钥将索引信息进行加密；管理装置700还包括第一解密模块，用于在验证模块706对读取的索引信息进行验证之前，基于待读取小文件的写入信息，从待读取小文件所在的第二大文件中读取待读取小文件的至少部分内容；基于读取的内容生成第三密钥，并利用第三密钥对读取的索引信息进行解密，得到解密后的读取的索引信息。

在一些实施例中，管理装置700还包括：缓存模块，用于若检测到待写入小文件成功写入至第一大文件中，则将待写入小文件的索引信息备份至缓存中；判断模块，用于判断第一大文件是否满足存储最大值；备份模块，用于若是，则确定第一大文件不再写入小文件，将缓存中的所有索引信息作为备份信息写入至第一大文件中，并将备份信息的写入地址作为备份信息的索引信息存储在第一大文件中。

在一些实施例中，管理装置700还包括：第三接收模块，用于接收终端发送的读取地址恢复请求；第三读取模块，用于从第一大文件中获取备份信息的索引信息，并基于备份信息的索引信息，从第一大文件中读取备份信息；第三生成模块，用于利用备份信息中的索引信息重新生成相应小文件的读取地址；发明模块，用于将与读取地址恢复请求相关的读取地址发送给终端。

在一些实施例中，写入至第一大文件中的备份信息为加密数据；管理装置700还包括：第二加密模块，用于在备份模块备份信息的写入地址作为备份信息的索引信息存储在第一大文件中之前，基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥将备份信息进行加密；第三读取模块执行基于备份信息的索引信息，从第一大文件中读取备份信息包括：基于备份信息的索引信息，从第一大文件中读取加密后的备份信息；基于第一大文件的至少部分内容生成第四密钥，并利用第四密钥对加密后的备份信息进行解密。

在一些实施例中，管理装置700还包括：恢复模块，用于在备份模块将缓存中的所有索引信息作为备份信息写入至第一大文件中之前，若检测到缓存内的备份信息丢失，则向终端发送索引信息恢复请求；接收终端发送的相应小文件的读取地址；利用相应小文件的读取地址重新生成相应小文件的索引信息；将重新生成的索引信息重新备份至缓存中。

上述装置的各模块具体执行可参考上述方法实施例的对应步骤，在此不做赘述。可以理解的是，该管理装置700选择性包括上述部分模块，例如，管理装置700也可包括上述接收模块704、读取模块705和验证模块706，而不包括上述、分配模块701、生成模块702、写入模块703。

请参阅图9，图9为本申请电子设备一实施例的结构示意图。具体而言，本实施例中电子设备包括存储器101、处理器102和通信电路103。其中，处理器102分别耦接于存储器101和通信电路103。该电子设备例如是存储服务器。

具体地，通信电路103用于与其他设备如上述终端实现通信。

存储器101用于存储的程序指令、至少一个大文件以及处理器102处理时所需存储的数据。

处理器102控制存储器101及其自身以实现上述小文件管理方法任一实施例的步骤。处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由多个成电路芯片共同实现。

请参阅图10，图10为本申请存储装置一实施例的结构示意图。存储装置200用于存储有能够被处理器运行的程序指令201，以实现上述任一实施例的方法。该存储装置200具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令201的介质，或者也可以为存储有该程序指令201的服务器，该服务器可将存储的程序指令201发送给其他设备运行，或者也可以自运行该存储的程序指令201。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种小文件管理方法，其特征在于，包括：

响应于来自终端的包含待写入小文件的写请求，在当前可写入的第一大文件中为所述待写入小文件分配写入地址；

基于所述待写入小文件的写入信息，生成所述待写入小文件的索引信息和读取地址；其中，所述写入信息至少包括所述写入地址，所述索引信息用于在读取小文件时进行验证，并在验证通过时允许读取对应小文件；

按照所述待写入小文件的写入地址，将所述待写入小文件和所述索引信息写入所述第一大文件中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述终端发送的读请求，其中，所述读请求包括待读取小文件的读取地址；

基于所述待读取小文件的读取地址，获取所述待读取小文件的写入信息；

基于所述待读取小文件的写入信息，从所述待读取小文件所在的第二大文件中读取所述待读取小文件的索引信息；

对所述读取的索引信息进行验证；

若验证通过，则基于所述待读取小文件的写入信息，从所述第二大文件中读取所述待读取小文件，并将所述待读取小文件发送给所述终端。

3.根据权利要求2所述的方法，其特征在于，所述写入信息还包括：小文件所写入的大文件的标识信息和小文件的数据长度；

所述索引信息和读取地址中均至少由所述小文件所写入的大文件的标识信息、写入地址和小文件的数据长度组成。

4.根据权利要求3所述的方法，其特征在于，所述对所述读取的索引信息进行验证，包括：

验证所述读取的索引信息是否满足预设条件；其中，所述预设条件包括以下至少一种：验证所述读取的索引信息符合预设格式；由所述读取的索引信息得到的第二大文件的标识信息与由所述待读取小文件的读取地址所得到的标识信息一致；由所述读取的索引信息得到的写入地址与由所述待读取小文件的读取地址所得到的写入地址一致；由所述读取的索引信息得到的数据长度与由所述待读取小文件的读取地址所得到的数据长度是否一致。

5.根据权利要求3所述的方法，其特征在于，所述基于所述待写入小文件的写入信息生成所述待写入小文件的读取地址，包括：

基于所述待写入小文件的至少部分内容生成第一密钥，并利用所述第一密钥将所述待写入小文件的数据长度进行加密；

基于所述第一大文件的至少部分内容生成第二密钥，并利用所述第二密钥将所述待写入小文件的写入地址以及已加密的数据长度进行加密，得到加密后的关键数据；

利用所述第一大文件的标识信息以及所述加密后的关键数据生成所述待写入小文件的读取地址；

所述基于所述待读取小文件的读取地址，获取所述待读取小文件的写入信息，包括：

基于所述待读取小文件的读取地址获取所述第二大文件的标识名称以及所述加密后的关键数据；

基于所述第二大文件的至少部分内容生成所述第二密钥，利用所述第二密钥对所述关键数据进行解密，得到所述待读取小文件的写入地址和已加密的数据长度；

利用所述待读取小文件的写入地址，从所述第二大文件中读取所述待读取小文件的至少部分内容；

基于所述读取的内容生成第一密钥，利用所述第一密钥对所述已加密的数据长度进行解密，得到解密后的所述待读取小文件的数据长度。

6.根据权利要求2所述的方法，其特征在于，所述写入至所述第一大文件中的索引信息为加密数据；

在所述按照所述待写入小文件的写入地址，将所述待写入小文件和所述索引信息写入所述第一大文件中之前，还包括：

基于所述待写入小文件的至少部分内容生成第三密钥，并利用所述第三密钥将所述索引信息进行加密；

在所述对所述读取的索引信息进行验证之前，还包括：

基于所述待读取小文件的写入信息，从所述待读取小文件所在的第二大文件中读取所述待读取小文件的至少部分内容；

基于所述读取的内容生成第三密钥，并利用所述第三密钥对所述读取的索引信息进行解密，得到解密后的所述读取的索引信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若检测到所述待写入小文件成功写入至所述第一大文件中，则将所述待写入小文件的索引信息备份至缓存中；

判断所述第一大文件是否满足存储最大值；

若是，则确定所述第一大文件不再写入小文件，将缓存中的所有索引信息作为备份信息写入至所述第一大文件中，并将述备份信息的写入地址作为所述备份信息的索引信息存储在所述第一大文件中。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

接收所述终端发送的读取地址恢复请求；

从所述第一大文件中获取所述备份信息的索引信息，并基于所述备份信息的索引信息，从所述第一大文件中读取所述备份信息；

利用所述备份信息中的索引信息重新生成相应小文件的读取地址；

将与所述读取地址恢复请求相关的所述读取地址发送给所述终端。

9.根据权利要求8所述的方法，其特征在于，所述写入至所述第一大文件中的备份信息为加密数据；

在所述将述备份信息的写入地址作为所述备份信息的索引信息存储在所述第一大文件中之前，还包括：

基于所述第一大文件的至少部分内容生成第四密钥，并利用所述第四密钥将所述备份信息进行加密；

所述基于所述备份信息的索引信息，从所述第一大文件中读取所述备份信息包括：

基于所述备份信息的索引信息，从所述第一大文件中读取加密后的备份信息；

基于所述第一大文件的至少部分内容生成第四密钥，并利用所述第四密钥对所述加密后的备份信息进行解密。

10.根据权利要求7所述的方法，其特征在于，在将缓存中的所有索引信息作为备份信息写入至所述第一大文件中之前，所述方法还包括：

若检测到所述缓存内的备份信息丢失，则向所述终端发送索引信息恢复请求；

接收所述终端发送的相应小文件的读取地址；

利用所述相应小文件的读取地址重新生成所述相应小文件的索引信息；

将所述重新生成的索引信息重新备份至所述缓存中。

11.一种小文件管理方法，其特征在于，所述方法包括：

接收终端发送的读请求，其中，所述读请求包括待读取小文件的读取地址；

基于所述待读取小文件的读取地址，从所述待读取小文件所在的大文件中读取所述待读取小文件的索引信息；

若所述读取的索引信息验证通过，则从第二大文件中读取所述待读取小文件。

12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器；其中，

所述存储器用于存储程序指令以及至少一个大文件；

所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至11任一项所述的方法。

13.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至11任一项所述的方法。

Images