CN103207894A - 一种多路实时视频数据存储系统及其进行缓存控制的方法 - Google Patents

Abstract

本发明公开了一种多路实时视频数据存储系统及其进行缓存控制的方法，所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口，以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器。其中，采用了DRAM存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块，具有较高的读写速度、保证主机回写数据的可靠性，同时也降低存储系统控制器的开销，提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制，实现了多ActivedSlaves租赁权状态下文件映像信息的一致性。

Description

一种多路实时视频数据存储系统及其进行缓存控制的方法

技术领域

本发明涉及数据存储领域，尤其涉及的是一种多路实时视频数据存储系统及其进行缓存控制的方法。

背景技术

随着科学技术的发展，在我们熟悉的物质城市的身边已经迅速形成一个信息化、虚拟化或者说是数字化的“新城市”。在这个“新城市”中，可以通过网络进行在线购物、远程医疗、在线学习。人们将生活在“智慧社区”之中。

目前，国内外对智慧社区的研发主要集中在智慧社区系统集可视对讲、家居安防、非接触卡门禁、周界防范、电子巡更、网络化停车场、四表远抄、家电控制、无线安防、远程交互几个领域。智慧社区其具体实现方法是利用云计算与物联网这两大新兴技术作为基础平台与基础信息采集手段，结合已有流行的控制器与相关软件，做增量式开发。

然而现有智慧社区中，传统的实时视频数据解决方案为了确保海量数据的可靠与可用性，往往采用昂贵的硬件存储设备进行备份与冗余，随着视频监控清晰度的提高，长时间实时视频监控数据的廉价可靠的保存成为智慧社区发展的瓶颈。智慧社区对存储系统的存储容量、数据可用性以及I/O性能等方面提出了巨大挑战。构建超大容量、高性能、高可靠性的存储系统是智慧社区工业界一直追求的目标。现代存储系统往往由成百上千个存储节点组成，多个存储节点同时出现故障概率大大增加，会出现因存储节点故障导致数据丢失的灾难性后果。因此，如何设计多节点容错存储系统的数据容错方案，如何提高多节点容错存储系统的 I/O 性能，已是智慧社区实施生产中迫切需要解决的问题。

为了解决上述问题，本发明专利采用已有开源软件Hadoop作为分布式文件存储系统。Hadoop的最大优势在于采用廉价的计算机作为存储设备，利用冗余机制实现存储数据的可靠性。虽然Hadoop解决了智慧社区海量数据的存储问题，然而由于Hadoop的NameNode（名字节点）采用主热备的架构，为了降低失效备援带来的性能的损失，NameNode（名字节点）采用元数据的方式仅仅对文件系统的管理数据进行统一高效管理，并将此管理过程划分为初始阶段、复制阶段和失效备援阶段三个阶段。为了简化Namenode（名字节点）与Datanode（数据节点）之间的文件系统管理元数据的同步，在Hadoop的分布式文件存储系统HDFS（Hadoop Distributed File System， hadoop分布式文件系统）中，在某个时间间隔，namenode（名字节点）提供一个租赁权去认证一个写入者，造成在任何时刻仅仅能够由一个客户端写入。这种写入的机制明显满足不了智慧社区开发中，多路实时视频数据流快速连续写入。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种多路实时视频数据存储系统及其进行缓存控制的方法。

本发明解决技术问题所采用的技术方案如下：

一种基于HDFS的多路实时视频数据存储系统，所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口，以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器，其中，

所述系统缓存包括动态随机存取存储器和固态硬盘，所述动态随机存取存储器用于缓存主机的主机读数据块和主机写数据块，所述固态硬盘用于存放主机写回所述存储系统的主机写数据块；

系统控制器包括缓存控制器，所述缓存控制器用于建立待写队列和已写队列，所述待写队列用于存放所述动态随机存取存储器的主机写队列中未写入存储节点的主机写数据块；所述已写队列用于存放所述动态随机存取存储器的主机写队列中已写入存储节点的主机写数据块。

所述的基于HDFS的多路实时视频数据存储系统，其中，所述缓存控制器还用于控制当动态随机存取存储器的主机写队列中加入一个新的主机写数据块时，所述待写队列也加入该主机写数据块。

所述的基于HDFS的多路实时视频数据存储系统，其中，所述缓存控制器还用于在将新的主机写数据库加入待写队列时，先查找所述待写队列中是否已包含该新的主机写数据块所在条带的其他主机写数据块，如是则将该新的主机写数据块数据块加入到所在条带的水平链表表尾，如不是则新建一个水平链表加入到其表尾；

并在 DRAM 缓存中主机写队列的一水平链表上的主机写数据块被写入到存储节点后将所述待写队列中对应的水平链表删除，并将该水平链表加入到已写队列当中。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，

缓存控制器构建多个管理节点，包括一个主节点和多个活跃从节点；

活跃节点向主 节点注册自身信息；

同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，所述活跃从节点向主节点注册自身信息的步骤具体包括：

活跃从节点发送一个包含IP地址的注册请求给主节点；

当主节点收到这个请求时，通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表，注册该活跃从节点。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，所述活跃从节点向主节点注册自身信息的步骤具体还包括：

主节点发送一个带所述IP地址列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点；

活跃从节点收到所述应答信息后更新自身的IP地址列表，并发送确认信息给主节点；当主节点接收到所有活跃从节点的确认信息时检测通过，完成注册过程。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据的步骤具体包括：检测文件版本、检测分布式文件系统映像文件和同步初始元数据。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据步骤之后还包括：

在客户端进行数据复制时，主节点与活跃从节点之间进行元数据同步。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，所述主节点与活跃从节点之间进行元数据同步的步骤具体包括：

在主节点端，通过一元数据容器组件从客户端请求处理线程中收集元数据；所述元数据容器组件控制内存写的处理、磁盘写的处理以及多个客户端并发请求的提交；

在活跃从节点端，通过一接收器组件将收到的元数据放入元数据缓冲区中，并对获取的元数据进行内存读或磁盘读的处理。

本发明所提供的多路实时视频数据存储系统及其进行缓存控制的方法，由于采用了DRAM 存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块，具有较高的读写速度、保证主机回写数据的可靠性，同时也降低存储系统控制器的开销，提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制，实现了多Actived Slaves租赁权状态下文件映像信息的一致性。

附图说明

图1是本发明提供的多路实时视频数据存储系统结构示意图。

图2是本发明提供的多路实时视频数据存储系统的一优选实施例的结构示意图。

图3是本发明提供的多路实时视频数据存储系统中缓存控制器建立的缓存队列示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的主要思想是， 在智能社区中，通过数量众多的存储节点构建超大容量的多路实时视频数据存储系统，通过大量存储节点的并行工作获得较高的磁盘访问吞吐率，通过系统缓存减少磁盘访问，提高系统吞吐率，通过多个存储节点容错提高数据可靠性，从而实现理想海量存储系统的大容量、高可靠性和高性能的特点。

本发明的多路实时视频数据存储系统基于Hadoop HDFS（Hadoop Distributed File System，hadoop分布式文件系统），本发明的多路实时视频数据存储系统的Namenode（名字节点）控制部分基于DRAM（Dynamic Random Access Memory，即动态随机存取存储器）和固态硬盘的多元化存储介质缓存结构体系架构，如图1所示，该系统包括两个对外访问接口：主机访问接口10和存储节点访问接口20，以及系统控制器30和系统缓存40。其中，外部主机通过网络或总线连接主机访问接口10，如存储区域网络 SAN或光纤通道，进而访问智慧社区的多路实时视频数据存储系统；存储节点通过网络或总线连接存储节点访问接口20，以便本发明的多路实时视频数据存储系统也通过网络或总线访问各存储节点。存储节点可以是单个硬盘或网络存储节点。多路实时视频数据存储系统的系统控制器30是整个系统的核心，缓存管理、数据块置换、磁盘数据块的预取都是由系统控制器完成，另外磁盘数据可靠性也是由系统控制器来实现，包括数据布局管理，冗余数据的计算和用户数据的恢复。系统缓存40用于存储主机的读写数据，能够大大提高系统性能，通过“局部性原理”减少对磁盘的访问。

进一步地，为了满足多路实时视频数据的快速写入Hadoop HDFS，本发明采用基于DRAM和固态硬盘的多元化存储介质缓存结构 M-Cache对HDFS的Namenode（名字节点）结构进行优化。如图2所示，将DRAM存储器41和固态硬盘42作为系统缓存，同时在系统控制器30中设置缓存控制器31，通过缓存控制器31控制系统缓存40，控制建立缓存队列，通过所述缓存队列控制主机写数据块的写入。这种方式的优点在于启动快，快速随机读取延迟小，具有相对固定的读取时间。 

根据主机访问方式的不同，本发明的多路实时视频数据存储系统将缓存数据分为两类：主机读数据块和主机写数据块。为保证主机写入数据速度，主机在向本发明的存储系统写入数据块时通常以正确写入到存储系统的系统缓存中为写入结束。因此在存储系统的缓存设计中如何保证主机写数据块能够正确写入到系统缓存显得尤为重要。由于DRAM掉电后会丢失数据，常见的磁盘阵列在 DRAM缓存上会加上电池，以保证电源故障时能够将系统缓存中的主机写数据暂时保存。基于 DRAM 结合备用电池这种方式构造的NVRAM（Non-Volatile Random Access Memory，非易失性随机访问存储器） 在系统可靠性和可扩展性方面都很差。由于Flash （闪存）具有良好的随机读写性能和永久存储能力，因此，本发明将基于 Flash 的固态硬盘应用到存储系统的系统缓存中，使多节点的存储系统既有较高的读写速度，又有很高的数据可靠性。这种采用多元化存储介质作为系统缓存的存储系统，能够充分发挥各种存储介质的优良特性，大大提升了系统性能。

优选地，在上述系统缓存的架构中，DRAM 存储器主要用来缓存主机的读写数据，具有较高的读写速度、而固态硬盘主要用来存储主机写回存储系统的写数据块，保证主机回写数据的可靠性，同时也降低存储系统控制器的开销，提高系统性能。

更进一步地，应用于智慧社区的多路实时视频数据存储系统的访问接口除了简单地完成系统缓存的读写外，还需要完成Namenode元数据的逻辑地址到实际的Datanode（数据节点）磁盘物理地址的映射以及保证数据块在HDFS中可靠地存储。在本发明提供的智慧社区多路实时视频数据存储系统结构中，固态硬盘缓存仅存放主机写数据块，且容量通常大于 DRAM 缓存中的主机写队列长度。根据存放在Namenode中固态硬盘缓存中的主机写数据块是否已写入Datanode中的磁盘，本发明通过在系统控制器中设置缓存控制器，通过缓存控制器建立两个队列来对主机读写数据进行管理，两个队列分别为待写队列和已写队列，每个队列同 DRAM 缓存中的Namenode主机写队列一样为二维链表结构，如图3所示。其中，Sn.m分别表示各个数据块，n和m均为自然数，而Sn.1、Sn.2、…和Sn.m组成一个个水平链表。

具体地，根据图3所示，智慧社区的多路实时视频数据存储系统缓存管理队列结构，待写队列存放的是Namenode DRAM 缓存中主机写队列的还未写入存储节点的主机写数据块。当 DRAM 缓存中主机写队列加入一个新的主机写数据块时，待写队列也加入该数据块。加入的方法是先查找待写队列中是否已包含该主机写数据块所在条带的其他数据块，如是则将该数据块加入到所在条带的水平链表表尾，如不是则新建一个水平链表加入到待写链表的表尾。当 DRAM 缓存中主机写队列的某个水平链表上的数据块被写入到存储节点后则将待写队列中对应的水平链表删除，然后将该水平链表加入到已写队列当中。已写队列采用先进先出FIFO(First In, First Out)的方式管理，从待写队列中删除的水平链表都是插入到已写队列的队首，待写队列每次新增的链表表项即数据块都是从已写队列的队尾取。因此，本发明的多路实时视频数据存储系统缓存管理的两个队列中，待写队列同 DRAM 缓存的主机写队列同步，而已写队列采用 FIFO 管理。通过上述缓存管理队列，能够大大提升系统性能。

进一步地，由于现有Hadoop的分布式文件存储系统HDFS中，在某个时间间隔，Namenode提供一个租赁权给一个认证者写入，造成在任何时刻仅仅能够由一个客户端写入，也即是Hadoop运行时间只有一个活动的Namenode进行控制，这远远不能够满足在智慧社区开发中，多路实时视频数据流快速连续写入的要求。因此，本发明对Hadoop的Namenode主热备架构进行优化，将NameNode主热备架构设计成为Namenode Primary-Actived Slaves（主名字节点的活跃从节点）架构，在该架构中，缓存控制器构建多个管理节点，具体地，包括一个Primary 节点，也就是主节点，还包括多个Actived Slaves 节点，也就是活跃从节点，主节点与活跃从节点进行数据交互，包括活跃从节点向主节点进行注册、数据同步等流程。主节点与客户端进行通信，接收客户端的读写请求，并进行相应的处理；而活跃从节点与存储节点即数据节点通信进行数据交互，活跃从节点记录着存储在存储节点中数据的元数据，主节点与活跃从节点之间的数据交互只针对元数据。

在Namenode Primary-Actived Slaves架构中，当Namenode的主节点启动后，活跃从节点向主节点进行注册，从而使得主节点了解已存在的活跃从节点初始化状况，其主要注册过程如下：

注册处理从一个活跃从节点发送一个包含IP地址的注册请求给主节点，当主节点收到这个请求时，它通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表，注册该活跃从节点。同时主节点发送一个带此列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点。然后，活跃从节点收到来自主节点的应答信息，更新自身的IP地址列表，并发送确认信息给活跃从节点。与此同时，主节点等待由已注册的活跃从节点发送回来的确认信息，如果所有被注册活跃从节点都已经发送确认信息，则检测通过。如果没有超时即已完成，则注册过程结束。否则主节点通过从相应的IP地址列表中移除该活跃从节点，并取消那些没有收到确认信息的活跃从节点的注册。然后重新发送更新后的IP地址信息给所有已注册活跃从节点。这个过程一直循环执行，直到所有注册过程完成。这个注册过程能够保证所有活跃的活跃从节点在初始化过程中能被主节点注册。通过上述注册过程，主节点能够同时管理多个活跃从节点，主节点能够同时发出多个租赁权，供多个活跃从节点认证，实现多个活跃从节点同时与主节点进行元数据交互，进而实现了多活跃从节点与多数据节点之前的快速写。

当注册过程结束后，活跃从节点的初始元数据需要与主节点进行同步。同步过程具体分为三个步骤：检测文件版本、检测分布式文件系统映像文件和同步元数据。

具体地，在检测文件版本步骤中，主节点请求活跃从节点传输它们的版本文件信息，并检测这些信息是否与主节点上的版本文件信息一致。如果不一致则活跃从节点进行记录。在检测分布式文件系统映像文件的步骤中。主节点检测活跃从节点中的文件镜像信息是否与主节点中的一致。如果活跃从节点中存在节点不一致，则该活跃从节点被认为是不一致的，主节点将记录活跃从节点作为一个不一致的节点。最后，在元数据同步阶段，主节点请求不一致的活跃从节点对文件版本信息或者文件镜像信息重新刷新。主节点发送一份初始的元数据给不一致的活跃从节点。每一个活跃从节点接收元数据作为初始的一致性元数据。

进一步地，在数据复制过程中，主节点与活跃从节点之间也需要进行同步。主节点与活跃从节点之间的元数据同步过程，其中，主节点与活跃从节点之间有相同的软件和硬件配置，他们之间通过网络通信。为了确保可靠的数据传输，其通信基于面向连接的TCP协议。在主节点，通过一元数据容器组件从客户端请求处理线程中收集元数据，该组件控制着内存写的处理、磁盘写的处理以及多个客户端并发请求的提交。同时这个元数据容器组件通过自适应分析还负责实时运行过程中备份数据同步模式的修改，来满足在不同执行环境中（网络带宽等）不同负载的性能需求。在活跃从节点，接收器组件将收到的元数据放入元数据缓冲区中。通过一元数据句柄组件从元数据缓冲区中获取元数据，并对获取的元数据进行处理，包括内存读、磁盘读。在活跃从节点中设置一个适配器组件，它按照来自主节点的控制信息改变复制的同步模式。同时这个适配器组件还基于元数据处理性能和网络速度去调整元数据缓冲区的尺寸，以便根据需要调整获取元数据的大小。这样通过这种HDFS中管理节点与数据节点之间文件映像信息的同步机制，实现了多Actived Slaves租赁权状态下文件映像信息的一致性。

综上所述，本发明提供的多路实时视频数据存储系统及其进行缓存控制的方法，采用了DRAM 存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块，具有较高的读写速度、保证主机回写数据的可靠性，同时也降低存储系统控制器的开销，提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制，实现了多Actived Slaves租赁权状态下文件映像信息的一致性。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，例如，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1. 一种基于HDFS的多路实时视频数据存储系统，所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口，以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器，其特征在于，

所述系统缓存包括动态随机存取存储器和固态硬盘，所述动态随机存取存储器用于缓存主机的主机读数据块和主机写数据块，所述固态硬盘用于存放主机写回所述存储系统的主机写数据块；

系统控制器包括缓存控制器，所述缓存控制器用于建立待写队列和已写队列，所述待写队列用于存放所述动态随机存取存储器的主机写队列中未写入存储节点的主机写数据块；所述已写队列用于存放所述动态随机存取存储器的主机写队列中已写入存储节点的主机写数据块。

2.根据权利要求1所述的基于HDFS的多路实时视频数据存储系统，其特征在于，所述缓存控制器还用于控制当动态随机存取存储器的主机写队列中加入一个新的主机写数据块时，所述待写队列也加入该主机写数据块。

3.根据权利要求2所述的基于HDFS的多路实时视频数据存储系统，其特征在于，所述缓存控制器还用于在将新的主机写数据库加入待写队列时，先查找所述待写队列中是否已包含该新的主机写数据块所在条带的其他主机写数据块，如是则将该新的主机写数据块数据块加入到所在条带的水平链表表尾，如不是则新建一个水平链表加入到其表尾；

并在 DRAM 缓存中主机写队列的一水平链表上的主机写数据块被写入到存储节点后将所述待写队列中对应的水平链表删除，并将该水平链表加入到已写队列当中。

4.根据权利要求1至3任一项所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，

缓存控制器构建多个管理节点，包括一个主节点和多个活跃从节点；

活跃节点向主 节点注册自身信息；

同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据。

5.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，所述活跃从节点向主节点注册自身信息的步骤具体包括：

活跃从节点发送一个包含IP地址的注册请求给主节点；

当主节点收到这个请求时，通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表，注册该活跃从节点。

6.根据权利要求5所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，所述活跃从节点向主节点注册自身信息的步骤具体还包括：

主节点发送一个带所述IP地址列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点；

活跃从节点收到所述应答信息后更新自身的IP地址列表，并发送确认信息给主节点；当主节点接收到所有活跃从节点的确认信息时检测通过，完成注册过程。

7.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据的步骤具体包括：检测文件版本、检测分布式文件系统映像文件和同步初始元数据。

8.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据步骤之后还包括：

在客户端进行数据复制时，主节点与活跃从节点之间进行元数据同步。

9.根据权利要求8所述的多路实时视频数据存储系统进行缓存控制的方法，其特征在于，所述主节点与活跃从节点之间进行元数据同步的步骤具体包括：

在主节点端，通过一元数据容器组件从客户端请求处理线程中收集元数据；所述元数据容器组件控制内存写的处理、磁盘写的处理以及多个客户端并发请求的提交；

在活跃从节点端，通过一接收器组件将收到的元数据放入元数据缓冲区中，并对获取的元数据进行内存读或磁盘读的处理。

Images