CN110765076A - 数据存储方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了数据存储方法、装置、电子设备及存储介质，该方法包括：接收待存储数据，在多个数据文件中为待存储数据选取目标数据文件；基于目标数据文件的文件头部中的数据索引，在目标数据文件中选取未存储数据的存储区域，作为用于存储待存储数据的目标存储区域；将待存储数据存储到目标存储区域，并将待存储数据的相关属性信息记录在目标存储区域对应的数据索引中。本申请实施例的数据存储方法，将包括数据的相关属性信息的数据索引保存在数据文件的文件头部中，每个数据文件分别保存自身存储的各数据的数据索引，一个数据文件中数据索引的损坏，不影响其他数据文件中数据的正常操作，提高了缓存数据的安全性。

Description

数据存储方法、装置、电子设备及存储介质

技术领域

本申请涉及数据存储技术领域，特别是涉及数据存储方法、装置、电子设备及存储介质。

背景技术

在P2P(Peer-to-Peer，伙伴对伙伴)网络上视频资源文件一般被切分成2MB(Mbyte，兆字节)一个块，16KB(Kilobyte，千字节)一个分片进行传输及存储，数据从P2P网络下载到本地后，存储到磁盘缓存中。在提供数据上传服务时，从磁盘缓存中找到对应的数据读取并发送到P2P网络。

现有技术中，通过若干个数据文件加一个SQLite3(Structured Query LanguageLite 3，轻型数据库)数据库的方式实现数据的缓存。各数据文件采用Virtual Disk(虚拟磁盘)的方式存储到磁盘缓存中，可以通过多个线程实现对各虚拟磁盘的异步数据读写，SQLite3数据库存放有所有数据索引，在读写数据时，需要先从SQLite3数据库中找到相应的数据索引，然后按照数据索引对数据文件中的数据进行读写。

但是采用上述方式，在因为磁盘掉盘、设备断电等导致SQLite3数据库操作中断时，容易造成SQLite3数据库文件损坏，SQLite3数据库文件一旦损坏，会造成所有数据索引不可访问，从而造成所有缓存数据的丢失。可见现有技术中缓存数据的安全性和可靠性差。

发明内容

本申请实施例的目的在于提供一种数据存储方法、装置、电子设备及存储介质，以实现提高缓存数据的安全性。具体技术方案如下：

第一方面，本申请实施例提供了一种数据存储方法，应用于数据文件存储系统，所述数据文件存储系统包括多个数据文件，每个所述数据文件预先建立有文件头部，所述文件头部包含数据索引，每个所述数据索引对应至少一个存储区域，所述方法包括：

接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件；

基于所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

第二方面，本申请实施例提供了一种数据存储装置，应用于数据文件存储系统，所述数据文件存储系统包括多个数据文件，每个所述数据文件预先建立有文件头部，所述文件头部包含数据索引，每个所述数据索引对应至少一个存储区域，所述装置包括：

目标文件选取模块，用于接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件；

存储区域确定模块，用于基于所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

存储信息保存模块，用于将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的数据存储方法。

第四方面，在申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据存储方法。

第五方面，在申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据存储方法。

本申请实施例提供的数据存储方法、装置、电子设备及存储介质，应用于数据文件存储系统，数据文件存储系统包括多个数据文件，每个数据文件预先建立有文件头部，文件头部包含数据索引，每个数据索引对应至少一个存储区域。接收待存储数据，在多个数据文件中为待存储数据选取目标数据文件；基于目标数据文件的文件头部中的数据索引，在目标数据文件中选取未存储数据的存储区域，作为用于存储待存储数据的目标存储区域；将待存储数据存储到目标存储区域，并将待存储数据的相关属性信息记录在目标存储区域对应的数据索引中。将包括数据的相关数据信息的数据索引保存在数据文件的文件头部中，每个数据文件分别保存自身存储的各数据的数据索引，一个数据文件中数据索引的损坏，不影响其他数据文件中数据的正常操作，提高了缓存数据的安全性。在同时写入多个数据时，可以分别针对每个数据文件的文件头部进行数据索引的更新，相比于现有技术中所有索引都保存在数据库中，本申请能够通过并发更新方式增加数据索引的写入效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的数据存储方法的一种示意图；

图2为本申请实施例的数据文件建立方法的一种示意图；

图3为本申请实施例的数据文件的一种示意图；

图4为本申请实施例的数据存储方法中索引更新的一种示意图；

图5为本申请实施例的数据读取方法的一种示意图；

图6为本申请实施例的数据读取方法的另一种示意图；

图7为本申请实施例的数据删除方法的一种示意图；

图8为本申请实施例的数据存储方法的另一种示意图；

图9为本申请实施例的多线程操作数据文件的一种示意图；

图10为本申请实施例的数据存储装置的第一种示意图；

图11为本申请实施例的数据存储装置的第二种示意图；

图12为本申请实施例的数据存储装置的第三种示意图；

图13为本申请实施例的数据存储装置的第四种示意图；

图14为本申请实施例的数据存储装置的第五种示意图；

图15为本申请实施例的数据存储装置的第六种示意图；

图16为本申请实施例的数据存储装置的第七种示意图；

图17为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为提高P2P网络中缓存数据的安全性，本申请实施例提供了一种数据存储方法，应用于数据文件存储系统，数据文件存储系统可以包括多个数据文件，每个数据文件预先建立有文件头部，每个文件头部包含数据索引，每个数据索引对应至少一个存储区域，当接收到待存储数据时，在多个数据文件中为待存储数据选取目标数据文件；然后基于目标数据文件的文件头部中的数据索引，在目标数据文件中选取未存储数据的存储区域，作为用于存储待存储数据的目标存储区域；最后可以将待存储数据存储到目标存储区域，并将待存储数据的相关属性信息记录在目标存储区域对应的数据索引中。

因此，本申请中每个数据文件分别保存自身存储的各数据的数据索引，一个数据文件中数据索引的损坏，不影响其他数据文件中数据的正常操作，提高了缓存数据的安全性。此外，在同时写入多个数据时，还可以分别针对每个数据文件的文件头部进行数据索引的更新，相比于现有技术中所有索引都保存在数据库中，本申请能够通过并发更新的方式增加数据索引的写入效率。

下面针对上述技术方案进行具体说明。

参见图1，其为本申请实施例的一种数据存储方法，应用于数据文件存储系统，上述数据文件存储系统包括多个数据文件，每个上述数据文件预先建立有文件头部，上述文件头部包含数据索引，每个上述数据索引对应至少一个存储区域，该方法包括以下步骤：

S101，接收待存储数据，在上述多个数据文件中为上述待存储数据选取目标数据文件。

本申请实施例的应用于数据文件存储系统，因此可以通过数据文件存储系统实现。数据文件存储系统包括多个数据文件，多个数据文件可以存储在一个磁盘上，也可以存储在多个磁盘上，此处不做具体限定。每个数据索引对应至少一个存储区域，在一种可能的实施方式中，数据文件的文件头部中包含多个数据索引，各数据索引分别对应数据文件中不同的存储区域。

当在数据文件存储系统中进行数据存储时，接收待存储数据，并在各数据文件中为待存储数据选取一个数据文件，作为目标数据文件。此处的待存储数据可以为数据文件存储系统外的设备发送的，可以自定义选取目标数据文件的规则，例如在存储区域未使用完的数据文件中，随机选取一个数据文件，作为目标数据文件，或者可以利用相关技术中的负载均衡方法，在多个数据文件选取目标数据文件。

S102，基于上述目标数据文件的文件头部中的数据索引，在上述目标数据文件中选取未存储数据的存储区域，作为用于存储上述待存储数据的目标存储区域。

目标数据文件的文件头部中的数据索引，记录了目标数据文件中各存储区域是否已经存储有数据，可以查询目标数据文件的文件头部中的数据索引，从而确定目标数据文件中未被使用的存储区域，作为用于存储指定数据的目标存储区域。相关技术中，磁盘被划分为多个block(物理块)，block为磁盘中最小的读写操作单位，每个block设置有唯一的地址。数据文件的存储区域本质就是block，数据文件中文件头部的数据索引中记录了该数据索引对应的存储区域中是否已经存储有数据，具体的，数据索引中包含一串字符串，当该数据索引对应的存储区域中存储有数据时，该字符串中会记录有存储的数据的相关属性信息例如数据的名称、存储时间、格式等。反之数据索引中的该字符串的值为0。

当未被使用的存储区域为多个时，可以随机选取一个未被使用的存储区域；在一种可能的实施方式中，可以按照文件头部中各数据索引的默认读取顺序，将首先找到的未被使用的存储区域，作为目标存储区域。其中，数据索引的默认读取顺序是指磁盘的磁头在读取索引区域的过程中，系统默认读取各数据索引的先后顺序。

在一些可能的场景下，目标数据文件中各存储区域可能已经全部存满，此时可以用待存储数据，去覆盖已存储的数据。可以通过相关数据更新算法，在各存储区域中选取存储区域作为目标存储区域，例如，可以在目标数据文件中，选取距离当前时刻的一段时间内，使用次数最少的数据所在的存储区域，作为目标存储区域。

S103，将上述待存储数据存储到上述目标存储区域，并将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中。

待存储数据的相关属性信息可以包括待存储数据的名称、存储时间、格式等，在目标数据文件的文件头部的数据索引中记录指定数据的相关属性信息。相关技术中，磁盘被划分为多个block(物理块)，block为磁盘中最小的读写操作单位，每个block设置有唯一的地址。数据文件的存储区域本质就是block，因此存储区域也会有相应的地址，目标数据文件的文件头部的数据索引中记录有待存储数据的名称/标识与目标存储区域的地址的对应关系，从而后续可以按照待存储数据的标识确定目标存储区域的地址，以方便数据的读取。

在本申请实施例中，将包括数据的相关数据信息的数据索引保存在数据文件的文件头部中，每个数据文件分别保存自身存储的各数据的数据索引，一个数据文件中数据索引的损坏，不影响其他数据文件中数据的正常操作，提高了缓存数据的安全性。在同时写入多个数据时，可以分别针对每个数据文件的文件头部进行数据索引的更新，相比于现有技术中所有索引都保存在数据库中，本申请能够通过并发更新方式增加数据索引的写入效率。

预先建立的各据文件的文件头部包括数据索引，各数据索引分别对应目标数据文件中的各存储区域。在一种可能的实施方式中，参见图2，本申请实施例的数据文件的建立过程包括：

S201，在上述数据文件存储系统的未使用的区域中选取第一预设容量的区域，作为用于建立数据文件的区域。

第一预设容量可以按照实际情况进行设定，第一预设容量表示目标数据文件的大小，例如可以设置为500MB、1000MB、1024MB、或2048MB等。用于建立数据文件的区域(以下称为目标文件区域)可以为连续的存储区域，也可以为非连续的存储区域，此处不作具体限定。

S202，在上述用于建立数据文件的区域中生成待建立数据文件的头部描述信息。

数据文件的头部描述信息用于表示数据文件的类型，位于数据文件的开头，此处的头部描述信息，可以根据数据文件实际的类型进行设定。

S203，在上述用于建立数据文件的区域中选取第二预设容量的区域作为索引区域；其中，上述第二预设容量小于上述第一预设容量。

第二预设容量小于第一预设容量，第二预设容量为用于存储数据索引的索引区域的大小，例如第二预设容量可以为1MB、2MB或4MB等。在用于存储视频数据的场景中，为了方便管理，第二预设容量可以为2MB，即一个块的大小。

S204，在上述索引区域中建立数据索引，其中，每个上述数据索引对应至少一个存储区域。

在索引区域中建立数据索引，各数据索引分别对应目标文件区域中的不同存储区域，即各数据索引的指针分别指向不同的目标文件区域中不同的存储区域。在一种可能的实施方式中，可以将目标文件区域划分为多个块，其中每个块的大小固定，进一步的，还可以将各块分别划分为预设大小的分片，可以针对每个分片设置一个数据索引，也可以针对每个块设置一个数据索引。例如在本申请实施例的数据存储方法用于存储视频数据时，可以将目标文件区域划分为多个块，每个块的大小为2MB，每个块由可以划分为多个16KB的分片，可以针对每个分片分别建立数据索引，也可以针对每个块分别建立数据索引。

本申请实施例中的数据索引可以采用任意相关的索引架构，在一种可能的实施方式中，索引区域包括多个数据索引，每个数据索引称为一个BOX(盒子)，索引区域具体可以包括文件头BOX、文件信息索引BOX、文件信息及数据索引BOX，其中，将文件头BOX称为Ftyp，文件信息索引BOX称为Fidx，文件信息及数据索引BOX称为Finf。每个BOX均包括BOX Header(标头)和BOX Body(身)，各BOX Header包含的字段属性相同，主要为：BOX Size(大小)，用于表示BOX大小；BOX Type(类型)，用于表示BOX类型；BOX Version(版本)，用于表示BOX版本；BOX Flags(标记)，用于表示BOX标记。BOX Body中定义各数据索引的自有参数，例如，文件头BOX的BOX Body：可以包含文件格式版本、魔数、数据文件大小、标记等信息。文件信息索引BOX的BOX Body：包含文件信息及数据索引BOX的个数，文件信息及数据索引BOX单元大小，文件信息及数据索引BOX加密方式标记，文件信息及数据索引BOX的校验方式，文件信息及数据索引BOX条目的校验值。文件信息及数据索引BOX的BOX Body：包含文件ID，文件大小，数据块大小，文件码率，创建时间，访问时间，删除时间，块校验值，块存储位置等。

S205，将上述索引区域添加到上述头部描述信息后，得到文件头部，以在上述数据文件存储系统的未使用的区域中建立上述数据文件。

文件头部包括索引区域，还可以包括文件的数据信息，例如格式、版本等。

各数据文件均可以采用该方式进行创建，在一种可能的实施方式中，本申请的数据文件可以如图3所示，索引区域位于整个数据文件的文件头部，索引区域包括文件头BOX、文件信息索引BOX、文件信息及数据索引BOX，头部描述信息(图中未示出)位于索引区域前，数据区包括多个存储区域，存储区域用于存储数据。

在本申请实施例中，给出了数据文件的建立过程，各数据文件的数据索引相互独立，一个数据文件中数据索引的损坏，不影响其他数据文件中数据的正常操作，提高了缓存数据的安全性。并且可以分别针对每个数据文件进行数据索引的更新，相比于现有技术中所有索引都保存在数据库中，能够总体的数据读写效率。这种数据存储方案可以简单的适应多磁盘的应用场景，数据索引的并发读取能够提高数据读写效率。

本申请实施例中的数据索引可以采用任意相关的索引架构，在一种可能的实施方式是中，上述数据索引包括文件头盒子Box、文件信息索引Box、文件信息及数据索引Box；上述文件头Box表征文件格式属性信息；上述文件信息索引Box用于存储各上述文件信息及数据索引Box的属性信息；上述文件信息及数据索引Box表征各存储区域的数据属性信息。

文件头BOX表征文件格式属性信息，例如，文件格式版本、魔数、数据文件大小、标记等信息；文件信息索引BOX表征各上述文件信息及数据索引BOX的属性信息，例如，文件信息及数据索引BOX的个数，单元大小，加密方式标记，校验方式，条目的校验值等；文件信息及数据索引BOX表征各存储区域的数据属性信息，例如数据ID，数据大小，数据块大小，数据码率，创建时间，访问时间，删除时间，块校验值，块存储位置等。其中，将文件头BOX称为文件头BOX，文件信息索引BOX称为文件信息索引BOX，文件信息及数据索引BOX称为文件信息及数据索引BOX。

因为文件信息及数据索引BOX中记录有每个数据块的校验值，因此可以对每个数据块单独做数据校验，丢弃存在问题的数据。在一种可能的实施方式中，本申请实施例的数据存储方法还包括：响应于针对上述目标数据的校验指令，计算上述目标数据的校验值，作为目标数据校验值；当上述目标数据对应的文件信息及数据索引Box中记录的校验值与上述目标数据校验值不同时，删除上述目标数据。

目标数据可以视为一个数据块(存储区域)中存储的数据，当需要针对存储区域中的目标数据进行校验时，响应于校验指令，通过相关的校验值计算方法，计算目标数据的校验值(以下称为目标数据校验值)。该目标数据所在的存储区域对应的文件信息及数据索引BOX中，记录有目标数据的校验值；若目标数据对应的文件信息及数据索引BOX中记录的校验值与目标数据校验值不同，说明目标数据错误，则执行删除目标数据的步骤。从而减少目标数据读取错误的情况。

因为文件信息索引BOX中记录有每个文件信息及数据索引BOX的校验值，因此可以对每个文件信息及数据索引BOX做数据校验，丢弃存在问题的文件信息及数据索引BOX。

在一种可能的实施方式中，本申请实施例的数据存储方法还包括：响应于针对目标文件信息及数据索引Box的校验指令，计算上述目标文件信息及数据索引Box的校验指令的校验值，作为目标索引校验值；当上述文件信息索引Box中记录的上述目标文件信息及数据索引Box的校验值与上述目标索引校验值不同时，执行将上述指定数据对应的文件信息及数据索引Box初始化的步骤。

文件信息索引Box中记录的目标文件信息及数据索引Box的校验值与上述目标索引校验值不同，说明目标文件信息及数据索引Box存在错误，则初始化目标文件信息及数据索引Box，减少因目标文件信息及数据索引Box错误而造成的读取异常的情况。

当数据文件中因为某种原因导致数据部分损坏，则可以检测出损坏数据并按个丢弃，不会导致整个数据文件不可索引或解析。或者即使数据索引全部损坏的情况下，可以丢弃这个数据文件，但不会丢弃其他数据文件中的数据，影响范围小，缓存数据的安全性高。

可选的，参见图4，上述将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中，包括：

S401，将上述待存储数据的相关属性信息添加到目标文件信息及数据索引Box中，其中，上述目标文件信息及数据索引Box为上述目标存储区域对应的文件信息及数据索引Box。

S402，计算上述目标文件信息及数据索引Box的当前校验值。

S403，将上述目标文件信息及数据索引Box的属性信息写入到上述文件信息索引Box中的指定位置，其中，上述目标文件信息及数据索引Box的属性信息包括上述当前校验值，上述文件信息索引Box中的指定位置为上述目标文件信息及数据索引Box对应的位置。

每次在保存数据时，在数据索引中找到一个空闲的位置，将数据保存到对应的位置，并将该位置序号添加到文件信息及数据索引BOX的对应存储区域的位置记录中。计算更新后的文件信息及数据索引BOX的校验值，并填写到文件信息索引BOX中该文件信息及数据索引BOX对应的位置，将文件信息及数据索引BOX信息写入到文件信息索引BOX中记录的该文件信息及数据索引BOX所在的文件信息及数据索引区的位置中。

在每次读数据时，首先按照待读取的目标数据的标识，例如，数据名称或ID等，查询各数据文件的数据索引，从而得到目标数据的存储地址，然后按照该存储地址，读取目标数据。

可选的，参见图5，上述数据存储方法还包括：

S501，针对待读取的目标数据，遍历各数据文件中的文件信息及数据索引BOX，从文件信息及数据索引BOX中读取目标数据的存储位置。

S502，基于目标数据的存储位置，计算目标数据所在的数据文件，得到目标数据文件。

因为每个数据文件均各自对应相应的区域，根据目标数据的存储位置计算出目标数据所在的数据文件，获取该数据文件ID，根据该数据文件ID找到对应的数据文件，即目标数据文件。

S503，根据目标数据的存储地址，计算出目标数据在目标数据文件中的地址偏移量，按照目标数据的地址偏移量读取上述目标数据。

计算目标数据的存储位置与目标数据文件头部位置的偏移量，得到目标数据对应到目标数据文件的地址偏移量，例如Offset偏移，将磁头指针从目标数据文件的文件头部偏移上述地址偏移量，并读取对应于目标数据大小的数据。

在本申请实施例中，因为每个数据文件的索引区域都是独立的，因此在读取数据时，可以并行针对每个数据文件的文件头部进行数据索引的搜索，相比于现有技术中所有索引都保存在数据库中，能够通过并发搜索的方式增加搜索速度。

因为每个数据文件中均包含各自的文件信息及数据索引BOX，当读取数据时，在一种可能的实施方式中，参见图6，上述数据存储方法还包括：

S601，当在上述目标数据文件中读取目标数据时，查询上述目标数据文件的文件头部中的数据索引，得到上述目标数据的存储地址。

按照待读取的目标数据的名称，遍历各数据文件的文件信息及数据索引BOX，读取目标数据的存储地址，其中，文件信息及数据索引BOX中记录有目标数据的存储地址的数据文件，即为目标数据文件。

S602，根据上述目标数据的存储地址，计算出上述目标数据的地址偏移量，按照上述目标数据的地址偏移量读取上述目标数据。

计算目标数据的存储位置与目标数据文件头部位置的偏移量，得到目标数据对应到目标数据文件的地址偏移量，例如Offset偏移，将磁头指针从目标数据文件的文件头部偏移上述地址偏移量，并读取对应于目标数据大小的数据。

在本申请实施例中，给出的数据读取方式，因为每个数据文件的索引区域都是独立的，因此在读取数据时，可以并行针对每个数据文件的文件头部进行数据索引的搜索，相比于现有技术中所有索引都保存在数据库中，能够通过并发搜索的方式增加搜索速度

当删除数据时，可选的，参见图7，上述数据存储方法还包括：

S701，当在上述目标数据文件中删除指定数据时，查询各上述文件信息及数据索引Box，确定上述指定数据对应的文件信息及数据索引Box。

在删除指定数据时，响应于针对指定数据的删除指令，查询各数据文件的文件信息及数据索引Box，查找到指定数据对应的文件信息及数据索引Box，存储有指定数据对应的文件信息及数据索引Box的数据文件，即为目标数据文件。

S702，将上述指定数据对应的文件信息及数据索引Box初始化。

将指定数据对应的文件信息及数据索引BOX初始化，即将指定数据对应的文件信息及数据索引BOX恢复到相应数据区域没有存储数据时的状态，例如，将指定数据对应的文件信息及数据索引BOX中的校验值重置为0。

S703，计算初始化后的上述指定数据对应的文件信息及数据索引Box的当前校验值，得到目标校验值。

S704，将上述目标校验值写入上述文件信息索引Box的相应位置。

校验值为0时，表示对应的文件信息及数据索引BOX记录不存在。当文件信息及数据索引BOX中记录的块信息或其它任何信息发生变化时，都需要重新计算校验值并更新到文件信息索引BOX中。如果要删除文件信息及数据索引BOX，只需要删除文件信息索引BOX对应的校验值即可。每次删除数据时，将需要删除的数据所在的文件对应的文件信息及数据索引BOX中根据块编号找到存放该块存储位置的标记位置，将该位置的数据重置为0，即无效块存储位置，计算文件信息及数据索引BOX的更新后的校验值，并将该值记录到文件信息索引BOX对应该文件信息及数据索引BOX的位置。每次删除一个数据时，将文件信息索引BOX中记录该数据文件信息及数据索引BOX的校验值重置为0，意为没有校验值，即为对应位置记录的文件信息及数据索引BOX信息无效，即文件信息及数据索引BOX对应的文件被删除。

上述数据存储方法对一个数据文件进行了说明，本领域技术人员可以理解的是，针对一个磁盘上的多个数据文件，均可以采用上述数据存储方法进行操作。各数据文件可以采用虚拟磁盘的方式保存到一个磁盘中，并可以通过多个线程实现对各虚拟磁盘的异步数据读写；也可以对多个磁盘中的各数据文件进行并发操作。当需要管理多个数据文件时，为了提高操作效率，可以通过采用多线程的方式操作多文件。

在一种可的实施方式中，上述数据文件存储系统中运行有多个应用线程，每个上述应用线程对应唯一的编号。

在上述接收待存储数据，在上述多个数据文件中为上述待存储数据选取目标数据文件之后，参见图8，上述方法还包括：

S801，获取上述目标数据文件的数字ID及上述数据文件存储系统中应用线程的数量。

S802，用上述数字ID除以上述数量，得到计算结果中的余数。

S803，将编号与上述余数相对应的应用线程，作为上述目标数据文件对应的应用线程。

可以针对每个数据文件设置唯一的编号，数据文件ID记为：PGF_ID，应用线程总数记为：T_N，应用线程ID记为：T_ID，则PGF_ID Mod T_N即为该PGF_ID对应的数据文件被分配的处理线程。例如，PGF_ID＝10，T_N＝3，则10Mod3为1，即选取T_ID为1的线程处理PGF_ID＝10的数据文件。以2个应用线程和5是数据文件为例，例如图9所示，数据请求队列后建立连个应用线程，分别为应用线程0和应用线程1，各数据文件分别为数据文件1-5，根据上述计算方式，应用线程0负责数据文件0、2、4的数据请求，应用线程1负责数据文件1、3的数据请求。在数据请求处理完成后，将处理结果添加到数据回复队列中

S804，通过上述目标数据文件对应的应用线程，读取上述目标数据文件的文件头部中的数据索引，在上述目标数据文件中选取未存储数据的存储区域，作为用于存储上述待存储数据的目标存储区域。

S805，通过上述目标数据文件对应的应用线程，将上述待存储数据存储到上述目标存储区域，并将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中。

在本申请实施例中，可以通过多个线程对多是数据文件的数据索引进行并发操作，相比于现有技术中所有索引都保存在数据库中，能够通过并发操作增加数据索引的读写效率，从而提高数据读写速度。

本申请实施例还提供了一种数据存储装置，应用于数据文件存储系统，上述数据文件存储系统包括多个数据文件，每个上述数据文件预先建立有文件头部，上述文件头部包含数据索引，每个上述数据索引对应至少一个存储区域，参见图10，上述装置包括：

目标文件选取模块901，用于接收待存储数据，在上述多个数据文件中为上述待存储数据选取目标数据文件。

存储区域确定模块902，用于基于上述目标数据文件的文件头部中的数据索引，在上述目标数据文件中选取未存储数据的存储区域，作为用于存储上述待存储数据的目标存储区域。

存储信息保存模块903，用于将上述待存储数据存储到上述目标存储区域，并将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中。

可选的，参见图11，上述装置还包括：

数据索引查询模块904，用于当在上述目标数据文件中读取目标数据时，查询上述目标数据文件的文件头部中的数据索引，得到上述目标数据的存储地址。

目标数据读取模块905，用于根据上述目标数据的存储地址，计算出上述目标数据的地址偏移量，按照上述目标数据的地址偏移量读取上述目标数据。

可选的，参见图12，上述装置还包括数据文件建立模块906，上述数据文件建立模块906用于：在上述数据文件存储系统的未使用的区域中选取第一预设容量的区域，作为用于建立数据文件的区域；在上述用于建立数据文件的区域中生成待建立数据文件的头部描述信息；在上述用于建立数据文件的区域中选取第二预设容量的区域作为索引区域；其中，上述第二预设容量小于上述第一预设容量；在上述索引区域中建立数据索引，其中，每个上述数据索引对应至少一个存储区域；将上述索引区域添加到上述头部描述信息后，得到文件头部，以在上述数据文件存储系统的未使用的区域中建立上述数据文件。

可选的，上述数据索引包括文件头盒子Box、文件信息索引Box、文件信息及数据索引Box；上述文件头Box表征文件格式属性信息；上述文件信息索引Box用于存储各上述文件信息及数据索引Box的属性信息；上述文件信息及数据索引Box表征各存储区域的数据属性信息。

可选的，上述存储信息保存模块903，具体用于：将上述待存储数据的相关属性信息添加到目标文件信息及数据索引Box中，其中，上述目标文件信息及数据索引Box为上述目标存储区域对应的文件信息及数据索引Box；计算上述目标文件信息及数据索引Box的当前校验值；将上述目标文件信息及数据索引Box的属性信息写入到上述文件信息索引Box中的指定位置，其中，上述目标文件信息及数据索引Box的属性信息包括上述当前校验值，上述文件信息索引Box中的指定位置为上述目标文件信息及数据索引Box对应的位置。

可选的，参见图13，上述装置还包括数据删除模块907，上述数据删除模块907用于：当在上述目标数据文件中删除指定数据时，查询各上述文件信息及数据索引Box，确定上述指定数据对应的文件信息及数据索引Box；将上述指定数据对应的文件信息及数据索引Box初始化；计算初始化后的上述指定数据对应的文件信息及数据索引Box的当前校验值，得到目标校验值；将上述目标校验值写入上述文件信息索引Box的相应位置。

可选的，参见图14，上述装置还包括：第一校验模块908，用于响应于针对上述目标数据的校验指令，计算上述目标数据的校验值，作为目标数据校验值；当上述目标数据对应的文件信息及数据索引Box中记录的校验值与上述目标数据校验值不同时，删除上述目标数据。

可选的，参见图15，上述装置还包括：第二校验模块909，用于响应于针对目标文件信息及数据索引Box的校验指令，计算上述目标文件信息及数据索引Box的校验指令的校验值，作为目标索引校验值；当上述文件信息索引Box中记录的上述目标文件信息及数据索引Box的校验值与上述目标索引校验值不同时，执行将上述指定数据对应的文件信息及数据索引Box初始化的步骤。

可选的，上述数据文件存储系统中运行有多个应用线程，每个上述应用线程对应唯一的编号；参见图16，上述装置还包括：应用线程分配模块910，用于获取上述目标数据文件的数字ID及上述数据文件存储系统中应用线程的数量；用上述数字ID除以上述数量，得到计算结果中的余数；将编号与上述余数相对应的应用线程，作为上述目标数据文件对应的应用线程；

上述存储区域确定模块902，具体用于：通过上述目标数据文件对应的应用线程，读取上述目标数据文件的文件头部中的数据索引，在上述目标数据文件中选取未存储数据的存储区域，作为用于存储上述待存储数据的目标存储区域；

上述存储信息保存模块903，具体用于：通过上述目标数据文件对应的应用线程，将上述待存储数据存储到上述目标存储区域，并将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中。

本申请实施例还提供了一种电子设备，包括：处理器及存储器；

上述存储器，用于存放计算机程序；

上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：

接收待存储数据，在上述多个数据文件中为上述待存储数据选取目标数据文件；

基于上述目标数据文件的文件头部中的数据索引，在上述目标数据文件中选取未存储数据的存储区域，作为用于存储上述待存储数据的目标存储区域；

将上述待存储数据存储到上述目标存储区域，并将上述待存储数据的相关属性信息记录在上述目标存储区域对应的数据索引中。

可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一数据存储方法。

可选的，参见图17，本申请实施例的电子设备还包括通信接口1002和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一数据存储方法。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (20)

1.一种数据存储方法，其特征在于，应用于数据文件存储系统，所述数据文件存储系统包括多个数据文件，每个所述数据文件预先建立有文件头部，所述文件头部包含数据索引，每个所述数据索引对应至少一个存储区域，所述方法包括：

接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件；

基于所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当在所述目标数据文件中读取目标数据时，查询所述目标数据文件的文件头部中的数据索引，得到所述目标数据的存储地址；

根据所述目标数据的存储地址，计算出所述目标数据的地址偏移量，按照所述目标数据的地址偏移量读取所述目标数据。

3.根据权利要求1所述的方法，其特征在于，在所述接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件之前，所述方法还包括：

在所述数据文件存储系统的未使用的区域中选取第一预设容量的区域，作为用于建立数据文件的区域；

在所述用于建立数据文件的区域中生成待建立数据文件的头部描述信息；

在所述用于建立数据文件的区域中选取第二预设容量的区域作为索引区域；其中，所述第二预设容量小于所述第一预设容量；

在所述索引区域中建立数据索引，其中，每个所述数据索引对应至少一个存储区域；

将所述索引区域添加到所述头部描述信息后，得到文件头部，以在所述数据文件存储系统的未使用的区域中建立所述数据文件。

4.根据权利要求1所述的方法，其特征在于，所述数据索引包括文件头盒子Box、文件信息索引Box、文件信息及数据索引Box；

所述文件头Box表征文件格式属性信息；

所述文件信息索引Box用于存储各所述文件信息及数据索引Box的属性信息；

所述文件信息及数据索引Box表征各存储区域的数据属性信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中，包括：

将所述待存储数据的相关属性信息添加到目标文件信息及数据索引Box中，其中，所述目标文件信息及数据索引Box为所述目标存储区域对应的文件信息及数据索引Box；

计算所述目标文件信息及数据索引Box的当前校验值；

将所述目标文件信息及数据索引Box的属性信息写入到所述文件信息索引Box中的指定位置，其中，所述目标文件信息及数据索引Box的属性信息包括所述当前校验值，所述文件信息索引Box中的指定位置为所述目标文件信息及数据索引Box对应的位置。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当在所述目标数据文件中删除指定数据时，查询各所述文件信息及数据索引Box，确定所述指定数据对应的文件信息及数据索引Box；

将所述指定数据对应的文件信息及数据索引Box初始化；

计算初始化后的所述指定数据对应的文件信息及数据索引Box的当前校验值，得到目标校验值；

将所述目标校验值写入所述文件信息索引Box的相应位置。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

响应于针对所述目标数据的校验指令，计算所述目标数据的校验值，作为目标数据校验值；

当所述目标数据对应的文件信息及数据索引Box中记录的校验值与所述目标数据校验值不同时，删除所述目标数据。

8.根据权利要求4所述的方法，其特征在于，所述方法还包括：

响应于针对目标文件信息及数据索引Box的校验指令，计算所述目标文件信息及数据索引Box的校验指令的校验值，作为目标索引校验值；

当所述文件信息索引Box中记录的所述目标文件信息及数据索引Box的校验值与所述目标索引校验值不同时，执行将所述目标文件信息及数据索引Box初始化的步骤。

9.根据权利要求1所述的方法，其特征在于，所述数据文件存储系统中运行有多个应用线程，每个所述应用线程对应唯一的编号；

在所述接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件之后，所述方法还包括：

获取所述目标数据文件的数字ID及所述数据文件存储系统中应用线程的数量；

用所述数字ID除以所述数量，得到计算结果中的余数；

将编号与所述余数相对应的应用线程，作为所述目标数据文件对应的应用线程；

所述基于所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域，包括：

通过所述目标数据文件对应的应用线程，读取所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

所述将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中，包括：

通过所述目标数据文件对应的应用线程，将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

10.一种数据存储装置，其特征在于，应用于数据文件存储系统，所述数据文件存储系统包括多个数据文件，每个所述数据文件预先建立有文件头部，所述文件头部包含数据索引，每个所述数据索引对应至少一个存储区域，所述装置包括：

目标文件选取模块，用于接收待存储数据，在所述多个数据文件中为所述待存储数据选取目标数据文件；

存储区域确定模块，用于基于所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

存储信息保存模块，用于将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

数据索引查询模块，用于当在所述目标数据文件中读取目标数据时，查询所述目标数据文件的文件头部中的数据索引，得到所述目标数据的存储地址；

目标数据读取模块，用于根据所述目标数据的存储地址，计算出所述目标数据的地址偏移量，按照所述目标数据的地址偏移量读取所述目标数据。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括数据文件建立模块，所述数据文件建立模块用于：

在所述数据文件存储系统的未使用的区域中选取第一预设容量的区域，作为用于建立数据文件的区域；

在所述用于建立数据文件的区域中生成待建立数据文件的头部描述信息；

在所述用于建立数据文件的区域中选取第二预设容量的区域作为索引区域；其中，所述第二预设容量小于所述第一预设容量；

在所述索引区域中建立数据索引，其中，每个所述数据索引对应至少一个存储区域；

将所述索引区域添加到所述头部描述信息后，得到文件头部，以在所述数据文件存储系统的未使用的区域中建立所述数据文件。

13.根据权利要求10所述的装置，其特征在于，所述数据索引包括文件头盒子Box、文件信息索引Box、文件信息及数据索引Box；所述文件头Box表征文件格式属性信息；所述文件信息索引Box用于存储各所述文件信息及数据索引Box的属性信息；所述文件信息及数据索引Box表征各存储区域的数据属性信息。

14.根据权利要求13所述的装置，其特征在于，所述存储信息保存模块，具体用于：

将所述待存储数据的相关属性信息添加到目标文件信息及数据索引Box中，其中，所述目标文件信息及数据索引Box为所述目标存储区域对应的文件信息及数据索引Box；

计算所述目标文件信息及数据索引Box的当前校验值；

将所述目标文件信息及数据索引Box的属性信息写入到所述文件信息索引Box中的指定位置，其中，所述目标文件信息及数据索引Box的属性信息包括所述当前校验值，所述文件信息索引Box中的指定位置为所述目标文件信息及数据索引Box对应的位置。

15.根据权利要求13所述的装置，其特征在于，所述装置还包括数据删除模块，所述数据删除模块用于：当在所述目标数据文件中删除指定数据时，查询各所述文件信息及数据索引Box，确定所述指定数据对应的文件信息及数据索引Box；将所述指定数据对应的文件信息及数据索引Box初始化；计算初始化后的所述指定数据对应的文件信息及数据索引Box的当前校验值，得到目标校验值；将所述目标校验值写入所述文件信息索引Box的相应位置。

16.根据权利要求13所述的装置，其特征在于，所述装置还包括：第一校验模块，用于响应于针对所述目标数据的校验指令，计算所述目标数据的校验值，作为目标数据校验值；当所述目标数据对应的文件信息及数据索引Box中记录的校验值与所述目标数据校验值不同时，删除所述目标数据。

17.根据权利要求13所述的装置，其特征在于，所述装置还包括：第二校验模块，用于响应于针对目标文件信息及数据索引Box的校验指令，计算所述目标文件信息及数据索引Box的校验指令的校验值，作为目标索引校验值；当所述文件信息索引Box中记录的所述目标文件信息及数据索引Box的校验值与所述目标索引校验值不同时，执行将所述目标文件信息及数据索引Box初始化的步骤。

18.根据权利要求10所述的装置，其特征在于，所述数据文件存储系统中运行有多个应用线程，每个所述应用线程对应唯一的编号；

所述装置还包括：应用线程分配模块，用于获取所述目标数据文件的数字ID及所述数据文件存储系统中应用线程的数量；用所述数字ID除以所述数量，得到计算结果中的余数；将编号与所述余数相对应的应用线程，作为所述目标数据文件对应的应用线程；

所述存储区域确定模块，具体用于：通过所述目标数据文件对应的应用线程，读取所述目标数据文件的文件头部中的数据索引，在所述目标数据文件中选取未存储数据的存储区域，作为用于存储所述待存储数据的目标存储区域；

所述存储信息保存模块，具体用于：通过所述目标数据文件对应的应用线程，将所述待存储数据存储到所述目标存储区域，并将所述待存储数据的相关属性信息记录在所述目标存储区域对应的数据索引中。

19.一种电子设备，其特征在于，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-9任一所述的数据存储方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的数据存储方法。

Images