CN105138276A - 数据储存方法及数据储存系统 - Google Patents

Abstract

本发明提供一种数据储存方法及数据储存系统，数据储存方法包括：云储存客户端接收前端设备采集的数据，将所采集的数据写入云储存集群，所述云储存集群包括多个数据节点，该步骤包括：所述云储存客户端将所采集的数据写入数据节点；所述数据节点将所采集的数据直接写入第一硬盘；以及所述数据节点向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，其中，所采集的数据不能写入所述云储存集群时，执行紧急处理模式。其能够在数据节点不可用时，保证系统正常运行并防止数据丢失。

Description

数据储存方法及数据储存系统

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种数据储存方法及数据储存系统。

背景技术

现有的监控数据储存系统，通常利用构建在本地文件系统上的分布式文件系统来管理储存在多个硬盘上的音视频数据。例如，HDFS(Hadoop分布式文件系统)或CEPH(一种分布式对象存储和文件系统)通常构建在本地文件系统如ext4、XFS之上，HDFS分布式文件系统或CEPH分布式文件系统中的数据以文件的形式存储在本地文件系统。众所周知，诸如ext4、XFS等通用文件系统目录层次深、元数据复杂容易出现数据不一致的问题，底层文件系统出错又会造成构建于其上的分布式文件系统不稳定，如数据丢失等问题。诸如ext4、XFS等通用文件系统都有页高速缓存(PAGECACHE)，写入的数据不会被立即刷入存储介质，如果机器异常断电就会面临数据丢失的风险。另外随着数据长期不停的写入、更新、删除，这些通用文件系统容易产生磁盘碎片，不仅读写I/O性能会下降而且会降低磁盘使用寿命。

另一方面，传统的安防监控录像过程中，前端设备(如IPC摄像机)所采集的数据的写入通道发生故障，如接收前端数据并负责存储的客户端因机器异常掉电而无法工作时，前端设备所采集的数据就会因绑定的写入通道断开而丢失数据，这种方式数据安全性不高，数据调度不灵活，数据保护性差。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种数据储存方法及数据存储系统，其能够在数据节点不可用时，保证系统正常运行并防止数据丢失。

本发明提供一种数据储存方法，包括：云储存客户端接收前端设备采集的数据，将所采集的数据写入云储存集群，所述云储存集群包括多个数据节点，该步骤包括：所述云储存客户端将所采集的数据写入数据节点；所述数据节点将所采集的数据直接写入第一硬盘；以及所述数据节点向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，其中，所采集的数据不能写入所述云储存集群时，执行紧急处理模式。

优选地，所述第一硬盘上构建有分布式文件系统，所述数据节点直接读写所述第一硬盘。

优选地，当满足如下一条或多条条件时，所述数据节点向所述第一硬盘发送刷缓存指令：写入到所述第一硬盘的数据达到预定阈值；所述刷缓存指令的超时时间达到预定阈值。

优选地，所述数据节点周期性向所述第一硬盘发送刷缓存指令。

优选地，所述云储存客户端与所述数据节点部署在同一设备上。

优选地，所述紧急处理模式包括：所述前端设备通过云端与另一云储存客户端连接，以使所述前端设备继续运行。

优选地，所述紧急处理模式包括：通过所述数据节点和/或其他数据节点，将所述采集数据继续写入所述云储存集群。

优选地，通过所述数据节点，将所述采集数据继续写入所述云储存集群包括：所述云储存客户端继续将所采集的数据写入所述数据节点；以及所述数据节点将该数据节点缓存的所采集的数据备份到第二硬盘。

优选地，所述第二硬盘上构建有分布式文件系统，所述数据节点直接读写所述第二硬盘，其中，将所述数据节点缓存的所采集的数据备份到第二硬盘还包括：所述数据节点还向所述第二硬盘发送刷缓存指令，指示所述第二硬盘将写入所述第二硬盘的数据持久化到存储介质。

优选地，所述数据节点缓存的所采集的数据包括：未写入所述第一硬盘的所采集的数据和/或所述第一硬盘返回刷缓存成功指令回复前已写入所述第一硬盘的所采集的数据。

优选地，所采集的数据不能写入所述云储存集群至少包括：所述数据节点及所述云储存客户端所在设备异常断电，其中，所述设备异常断电时，由一备用电源向所述设备供电。

优选地，所述第一硬盘为机械硬盘，所述第二硬盘为固态硬盘。

根据本发明的又一方面，还提供一种数据储存系统，用于存储前端设备采集的数据，包括：多个云储存客户端，各所述云储存客户端通过云端与一个或多个所述前端设备连接，各所述云储存客户端配置成接收其连接的前端设备所采集的数据，并将所采集的数据写入所述数据节点；以及云储存集群，包括多个所述数据节点，其中，各所述数据节点配置成，将缓存的所采集的数据直接写入第一硬盘；以及向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，其中，所采集的数据不能写入所述云储存集群时，所述数据储存系统执行紧急处理模式。

优选地，各数据节点管理一个或多个第一硬盘及一个或多个第二硬盘，其中，所述第二硬盘配置成在所述紧急处理模式时，备份所述数据节点中缓存的所采集的数据。

优选地，所述第二硬盘还配置成储存元数据。

优选地，所述数据节点至多与一个所述云储存客户端部署在同一设备上。优选地，所述前端设备为摄像前端设备，所采集的数据为音视频数据。

相比现有技术，本发明的优势在于：

1)绕开本地通用文件系统直接读写硬盘，并通过向硬盘发送刷缓存指令的方式更精准的控制数据的写入，避免了本地文件系统因设备异常断电出现数据不一致导致数据丢失。

2)在数据无法写入时，通过将数据节点未写入第一硬盘的数据备份到第二硬盘中，来解决设备异常断电时的数据丢失问题。

3)在数据无法写入时，通过将其负责的前端设备调度到其他正常工作的云储存客户端上继续录像，来解决前端设备无法继续正常录像和丢失数据的问题。

4)本发明提供的数据系统利用云技术保证了在数据无法写入时，数据传输通道的每一个环节都不会丢失数据，保证了数据安全。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明实施例的数据储存系统的示意图。

图2示出了根据本发明实施例的数据储存方法的流程图。

图3示出了根据本发明实施例的数据节点写数据的流程图。

图4示出了根据本发明实施例的数据节点向机械硬盘写数据的示意图。

图5示出了根据本发明实施例的紧急处理模式的流程图。

图6示出了根据本发明实施例的紧急处理模式调度云储存客户端的示意图。

图7示出了根据本发明实施例的紧急处理模式写数据的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

参考图1，图1示出了根据本发明实施例的数据储存系统的示意图。数据储存系统100包括多个前端设备110、由多个数据节点122组成的云储存集群以及多个云储存客户端121。在一些实施例中，云储存集群还包括多个元数据节点，元数据节点用于储存元数据。

各云储存客户端121通过云端与一个或多个前端设备110连接，而一个前端设备110一般仅连接一个云储存客户端121。例如图1中所示的两个前端设备110都可以与图1中上方的云储存客户端121连接，而图1中下方的云储存客户端121不与这两个前端设备110连接，而与其他前端设备连接。在一些变化例中，图1中的两个前端设备110与图1中的两个云储存客户端121一一对应的连接。

优选地，各数据节点122至多与一个云储存客户端121部署在一个设备上。换言之，多个数据节点122的数量大于等于多个云储存客户端121的数量。在一些实施例中，多个数据节点122的数量等于多个云储存客户端121的数量。在一些变化例中，多个数据节点122的数量大于多个云储存客户端121的数量。

一个云储存客户端121可以将数据写入本地的数据节点122，也可以通过云端将数据写入其他数据节点122中。数据节点122可以接收本地的云储存客户端121的数据，也可以通过云端接收其他云存储客户端121的数据。

多个前端设备110可以是前端摄像机，其配置成采集数据，例如前端摄像机采集音视频数据。各云储存客户端121配置成接收其连接的前端设备110所采集的数据，并将所采集的数据写入数据节点122。各数据节点122管理一个或多个第一硬盘及一个或多个第二硬盘，并配置成将所采集的数据写入第一硬盘。第二硬盘配置储存元数据，并用于备份所采集的数据，具体备份方式将在下面详细描述。优选地，第一硬盘可以是机械硬盘，第二硬盘可以是固态硬盘。

结合图1，进一步参考图2，其示出了根据本发明实施例的数据储存方法的流程图。图2具体示出4个步骤。

步骤S210：前端设备将所采集的数据发送到与其连接的云储存客户端。

云储存客户端随后通过步骤S220至步骤S240将所采集的数据写入数据节点。

步骤S220：云储存客户端将所采集的数据写入数据节点。

步骤S230：数据节点将所采集的数据写入第一硬盘，例如机械硬盘。

步骤S240：数据节点向第一硬盘发送刷缓存指令，指示第一硬盘将所写入的数据持久化到第一硬盘的盘片。

具体而言，当数据储存系统正常运行时，本发明提供的数据储存方法执行上述步骤S210至步骤S240，而当所采集的数据不能写入云储存集群时，本发明提供的数据储存方法执行紧急处理模式，紧急处理模式将结合图5至图7进行描述。

优选地，上述步骤S230及步骤S240中，数据节点绕过通用文件系统直接将数据写入裸设备(机械硬盘和固态硬盘)。具体而言，结合图3及图4说明通用文件系统将数据直接写入裸设备的实施例。

首先是步骤S310，格式化裸设备(机械硬盘210和固态硬盘220)，直接在机械硬盘210和固态硬盘220上构建数据存储布局，即硬盘数据存储结构。例如直接在机械硬盘210和固态硬盘220上构建分布式文件系统。

具体而言，在一些实施例中，步骤S310仅在数据节点122首次写数据前执行。

步骤S320：数据节点122使用缓存I/O(BufferI/O)方式将元数据写入固态硬盘220中。

步骤S330：数据节点122使用直接I/O(DirectI/O)方式绕过系统通高速缓存将用户数据直接写入机械硬盘210中。具体而言，上述步骤S320及步骤S330可以同步或异步执行。在一些变化例中，上述步骤S320及步骤S330可以顺序或倒序执行，本领域技术人员可以依据需求实现更多的变化例。

步骤S340：数据节点122向机械硬盘210发送刷缓存指令，指示机械硬盘210将写入机械硬盘210的数据持久化到机械硬盘210的盘片上。

具体而言，在优选地实施例中，数据节点122周期性向机械硬盘210发送刷缓存指令。在一些变化例中，当满足如下两个条件中得任一个或多个时，数据节点122发送刷缓存指令：已写入机械硬盘210的数据量和刷缓存指令的超时时间。已写入机械硬盘210的数据量指的是已写入机械硬盘210但未持久化到机械硬盘210的数据量。刷缓存指令的超时时间指的是离上次发送刷缓存指令的时间。在一些变化例中，刷缓存指令的超时时间指的是离上次接收到机械硬盘210返回的刷缓存成功指令的时间。优选地，已写入的数据量默认是4MB，刷缓存超时时间默认为50ms，可根据机械硬盘210性能、硬件配置和系统实现进行调节调优。例如，在一些实施例中，根据默认配置当每次向机械硬盘210写入4MB数据后向其发送刷缓存指令，如果在50ms超时时间到达时，写入的数据量不足4MB也需要发送刷缓存指令。

优选地，数据节点122在向机械硬盘210发送刷缓存指令并成功返回之后，删除其缓存的已写入机械硬盘210的数据。

结合图5至图7进行描述本发明提供的数据储存方法中的紧急处理模式。具体而言，当所采集的数据不能写入云储存集群时，本发明提供的数据储存方法执行紧急处理模式。

例如，当云储存客户端121和数据节点122所在的设备节点异常断电，当云储存客户端121因所在设备节点异常掉电即将无法工作时，一方面通过云端将该云储存客户端121连接的前端设备调度到其他正常的云储存客户端121上。另一方面，该云储存客户端121缓存的数据会继续写入到云存储集群中。具体而言，该云储存客户端121缓存的数据可以通过云端网络将数据发送到其他数据节点和/或写入本地数据节点122来将缓存的数据会继续写入到云存储集群中。

写入与本地数据节点122中的数据通过备用电池供的处理来保证数据不丢失。具体而言，当设备节点异常断电，由备用电池(BBU)暂时向设备节点提供电量。由于备用电池的电量无法支持设备节点上机械硬盘210的运转，因此，在备用电池供电时机械硬盘210会停止工作。为了防止，机械硬盘210停止工作时的数据丢失，可以将数据节点122缓存的数据临时备份到固态硬盘(SSD)220中。数据节点122缓存的数据包括没有写入机械硬盘210的数据和已经写入机械硬盘210但未持久化到机械硬盘210的数据。具体而言，已经写入机械硬盘210但未持久化到机械硬盘210的数据可以指，收到机械硬盘210回复的刷缓存成功指令之前已经写入机械硬盘210的数据。待设备节点恢复交流电源供电后再将备份到固态硬盘220中的数据写入机械硬盘210，并删除固态硬盘220上的备份以释放空间。

在图5所示的具体实施例中，紧急处理模式包括4个步骤。

步骤S510：由备用电池暂时提供电量，此时数据节点122进入紧急处理模式。断开交流电的数据节点122专注于完成数据保护工作，通知所有云储存客户端不要再将数据流调度到该数据节点122上。

步骤S520：通过云端将即将无法工作的云储存客户端121连接的前端设备120调度到其他设备节点上正常工作的云储存客户端121，进而继续录像。具体而言，可以挑选负载较小的一些云储存客户端。一般来说，负载的衡量标准是：根据连接到云储存客户端的前端设备的数目和所连接的前端设备的总流量决定。前端设备的调度尽量满足前端设备在各个云储存客户端间的分配均衡。

具体参见图6所示的实施例，图6示出的两个前端设备110原本都与图6中下方的云储存客户端121连接，但云储存客户端121所在的设备节点异常断电，因此，这两个前端设备110通过云端进而分别与图6中上方的两个云储存客户端121连接以继续录像。

步骤S530：云储存客户端121将自身缓存的数据继续写入到云存储集群中，具体而言，该云储存客户端121缓存的数据可以通过云端网络将数据发送到其他数据节点来将缓存的数据会继续写入到云存储集群中。在一些变化例中，该云储存客户端121缓存的数据还可以通过写入与本地数据节点122来将缓存的数据会继续写入到云存储集群中。写入本地的数据通过步骤S540的处理来保证数据不丢失。

步骤S540：将数据节点122缓存的数据临时备份到固态硬盘220中。数据节点122缓存的数据包括没有写入机械硬盘210的数据和已经写入机械硬盘210但未持久化到机械硬盘210的数据。在一个优选例中，数据节点122向固态硬盘220发送刷缓存指令指示将写入的数据持久化到存储介质。具体而言，数据节点122向固态硬盘220发送刷缓存指令的方式与数据节点122向机械硬盘210发送刷缓存指令的方式类似。待设备节点恢复交流电源供电后再将备份到固态硬盘220中的数据写入机械硬盘210，并删除固态硬盘220上备份的数据以释放空间。

相比现有技术，本发明的优势在于：

1)绕开本地通用文件系统直接读写硬盘，并通过向硬盘发送刷缓存指令的方式更精准的控制数据的写入，避免了本地文件系统因设备异常断电出现数据不一致导致数据丢失。

2)在数据无法写入时，通过将数据节点未写入第一硬盘的数据备份到第二硬盘中，来解决设备异常断电时的数据丢失问题。

3)在数据无法写入时，通过将其负责的前端设备调度到其他正常工作的云储存客户端上继续录像，来解决前端设备无法继续正常录像和丢失数据的问题。

4)本发明提供的数据系统利用云技术保证了在数据无法写入时，数据传输通道的每一个环节都不会丢失数据，保证了数据安全。

以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。

Claims (17)

1.一种数据储存方法，其特征在于，包括：

云储存客户端接收前端设备采集的数据，将所采集的数据写入云储存集群，所述云储存集群包括多个数据节点，该步骤包括：

所述云储存客户端将所采集的数据写入数据节点；

所述数据节点将所采集的数据直接写入第一硬盘；以及

所述数据节点向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，

其中，所采集的数据不能写入所述云储存集群时，执行紧急处理模式。

2.如权利要求1所述的数据储存方法，其特征在于，所述第一硬盘上构建有分布式文件系统，所述数据节点直接读写所述第一硬盘。

3.如权利要求1或2所述的数据储存方法，其特征在于，当满足如下一条或多条条件时，所述数据节点向所述第一硬盘发送刷缓存指令：

写入到所述第一硬盘的数据达到预定阈值；

所述刷缓存指令的超时时间达到预定阈值。

4.如权利要求3所述的数据储存方法，其特征在于，所述数据节点周期性向所述第一硬盘发送刷缓存指令。

5.如权利要求1或2所述的数据储存方法，其特征在于，所述云储存客户端与所述数据节点部署在同一设备上。

6.如权利要求5所述的数据储存方法，其特征在于，所述紧急处理模式包括：

所述前端设备通过云端与另一云储存客户端连接，以使所述前端设备继续运行。

7.如权利要求5所述的数据储存方法，其特征在于，所述紧急处理模式包括：

通过本地的所述数据节点和/或云端的其他数据节点，将所述采集数据继续写入所述云储存集群。

8.如权利要求7所述的数据储存方法，其特征在于，通过所述数据节点，将所述采集数据继续写入所述云储存集群包括：

所述云储存客户端继续将所采集的数据写入所述数据节点；以及

所述数据节点将该数据节点缓存的所采集的数据备份到第二硬盘。

9.如权利要求8所述的数据储存方法，其特征在于，所述第二硬盘上构建有分布式文件系统，所述数据节点直接读写所述第二硬盘，其中，将所述数据节点缓存的所采集的数据备份到第二硬盘还包括：

所述数据节点还向所述第二硬盘发送刷缓存指令，指示所述第二硬盘将写入所述第二硬盘的数据持久化到存储介质。

10.如权利要求8或9所述的数据储存方法，其特征在于，所述数据节点缓存的所采集的数据包括：

未写入所述第一硬盘的所采集的数据和/或所述第一硬盘返回刷缓存成功指令回复前已写入所述第一硬盘的所采集的数据。

11.如权利要求8或9所述的数据储存方法，其特征在于，所采集的数据不能写入所述云储存集群至少包括：所述数据节点及所述云储存客户端所在设备异常断电，

其中，所述设备异常断电时，由一备用电源向所述设备供电。

12.如权利要求8或9所述的数据储存方法，其特征在于，所述第一硬盘为机械硬盘，所述第二硬盘为固态硬盘。

13.一种数据储存系统，用于存储前端设备采集的数据，包括：

多个云储存客户端，各所述云储存客户端通过云端与一个或多个所述前端设备连接，各所述云储存客户端配置成接收其连接的前端设备所采集的数据，并将所采集的数据写入数据节点；以及

云储存集群，包括多个所述数据节点，其中，各所述数据节点配置成，

将缓存的所采集的数据直接写入第一硬盘；以及

向所述第一硬盘发送刷缓存指令，指示所述第一硬盘将所写入的数据持久化所述第一硬盘的盘片，

其中，所采集的数据不能写入所述云储存集群时，所述数据储存系统执行紧急处理模式。

14.如权利要求13所述的数据储存系统，其特征在于，各数据节点管理一个或多个第一硬盘及一个或多个第二硬盘，其中，所述第二硬盘配置成在所述紧急处理模式时，备份所述数据节点中缓存的所采集的数据。

15.如权利要求14所述的数据储存系统，其特征在于，所述第二硬盘还配置成储存元数据。

16.如权利要求13所述的数据储存系统，其特征在于，所述数据节点至多与一个所述云储存客户端部署在同一设备上。

17.如权利要求13至16任一项所述的数据储存系统，其特征在于，所述前端设备为摄像前端设备，所采集的数据为音视频数据。