CN103207894A - 一种多路实时视频数据存储系统及其进行缓存控制的方法 - Google Patents

一种多路实时视频数据存储系统及其进行缓存控制的方法 Download PDF

Info

Publication number
CN103207894A
CN103207894A CN2013100813591A CN201310081359A CN103207894A CN 103207894 A CN103207894 A CN 103207894A CN 2013100813591 A CN2013100813591 A CN 2013100813591A CN 201310081359 A CN201310081359 A CN 201310081359A CN 103207894 A CN103207894 A CN 103207894A
Authority
CN
China
Prior art keywords
node
write
main frame
storage system
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100813591A
Other languages
English (en)
Inventor
刘淑华
艾建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ZHIZHENG TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN ZHIZHENG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ZHIZHENG TECHNOLOGY Co Ltd filed Critical SHENZHEN ZHIZHENG TECHNOLOGY Co Ltd
Priority to CN2013100813591A priority Critical patent/CN103207894A/zh
Publication of CN103207894A publication Critical patent/CN103207894A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多路实时视频数据存储系统及其进行缓存控制的方法,所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口,以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器。其中,采用了DRAM存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块,具有较高的读写速度、保证主机回写数据的可靠性,同时也降低存储系统控制器的开销,提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制,实现了多ActivedSlaves租赁权状态下文件映像信息的一致性。

Description

一种多路实时视频数据存储系统及其进行缓存控制的方法
技术领域
本发明涉及数据存储领域,尤其涉及的是一种多路实时视频数据存储系统及其进行缓存控制的方法。
背景技术
随着科学技术的发展,在我们熟悉的物质城市的身边已经迅速形成一个信息化、虚拟化或者说是数字化的“新城市”。在这个“新城市”中,可以通过网络进行在线购物、远程医疗、在线学习。人们将生活在“智慧社区”之中。
目前,国内外对智慧社区的研发主要集中在智慧社区系统集可视对讲、家居安防、非接触卡门禁、周界防范、电子巡更、网络化停车场、四表远抄、家电控制、无线安防、远程交互几个领域。智慧社区其具体实现方法是利用云计算与物联网这两大新兴技术作为基础平台与基础信息采集手段,结合已有流行的控制器与相关软件,做增量式开发。
然而现有智慧社区中,传统的实时视频数据解决方案为了确保海量数据的可靠与可用性,往往采用昂贵的硬件存储设备进行备份与冗余,随着视频监控清晰度的提高,长时间实时视频监控数据的廉价可靠的保存成为智慧社区发展的瓶颈。智慧社区对存储系统的存储容量、数据可用性以及I/O性能等方面提出了巨大挑战。构建超大容量、高性能、高可靠性的存储系统是智慧社区工业界一直追求的目标。现代存储系统往往由成百上千个存储节点组成,多个存储节点同时出现故障概率大大增加,会出现因存储节点故障导致数据丢失的灾难性后果。因此,如何设计多节点容错存储系统的数据容错方案,如何提高多节点容错存储系统的 I/O 性能,已是智慧社区实施生产中迫切需要解决的问题。
为了解决上述问题,本发明专利采用已有开源软件Hadoop作为分布式文件存储系统。Hadoop的最大优势在于采用廉价的计算机作为存储设备,利用冗余机制实现存储数据的可靠性。虽然Hadoop解决了智慧社区海量数据的存储问题,然而由于Hadoop的NameNode(名字节点)采用主热备的架构,为了降低失效备援带来的性能的损失,NameNode(名字节点)采用元数据的方式仅仅对文件系统的管理数据进行统一高效管理,并将此管理过程划分为初始阶段、复制阶段和失效备援阶段三个阶段。为了简化Namenode(名字节点)与Datanode(数据节点)之间的文件系统管理元数据的同步,在Hadoop的分布式文件存储系统HDFS(Hadoop Distributed File System, hadoop分布式文件系统)中,在某个时间间隔,namenode(名字节点)提供一个租赁权去认证一个写入者,造成在任何时刻仅仅能够由一个客户端写入。这种写入的机制明显满足不了智慧社区开发中,多路实时视频数据流快速连续写入。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种多路实时视频数据存储系统及其进行缓存控制的方法。
本发明解决技术问题所采用的技术方案如下:
一种基于HDFS的多路实时视频数据存储系统,所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口,以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器,其中,
所述系统缓存包括动态随机存取存储器和固态硬盘,所述动态随机存取存储器用于缓存主机的主机读数据块和主机写数据块,所述固态硬盘用于存放主机写回所述存储系统的主机写数据块;
系统控制器包括缓存控制器,所述缓存控制器用于建立待写队列和已写队列,所述待写队列用于存放所述动态随机存取存储器的主机写队列中未写入存储节点的主机写数据块;所述已写队列用于存放所述动态随机存取存储器的主机写队列中已写入存储节点的主机写数据块。
所述的基于HDFS的多路实时视频数据存储系统,其中,所述缓存控制器还用于控制当动态随机存取存储器的主机写队列中加入一个新的主机写数据块时,所述待写队列也加入该主机写数据块。
所述的基于HDFS的多路实时视频数据存储系统,其中,所述缓存控制器还用于在将新的主机写数据库加入待写队列时,先查找所述待写队列中是否已包含该新的主机写数据块所在条带的其他主机写数据块,如是则将该新的主机写数据块数据块加入到所在条带的水平链表表尾,如不是则新建一个水平链表加入到其表尾;
并在 DRAM 缓存中主机写队列的一水平链表上的主机写数据块被写入到存储节点后将所述待写队列中对应的水平链表删除,并将该水平链表加入到已写队列当中。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,
缓存控制器构建多个管理节点,包括一个主节点和多个活跃从节点;
活跃节点向主 节点注册自身信息;
同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,所述活跃从节点向主节点注册自身信息的步骤具体包括:
活跃从节点发送一个包含IP地址的注册请求给主节点;
当主节点收到这个请求时,通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表,注册该活跃从节点。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,所述活跃从节点向主节点注册自身信息的步骤具体还包括:
主节点发送一个带所述IP地址列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点;
活跃从节点收到所述应答信息后更新自身的IP地址列表,并发送确认信息给主节点;当主节点接收到所有活跃从节点的确认信息时检测通过,完成注册过程。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据的步骤具体包括:检测文件版本、检测分布式文件系统映像文件和同步初始元数据。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据步骤之后还包括:
在客户端进行数据复制时,主节点与活跃从节点之间进行元数据同步。
所述的多路实时视频数据存储系统进行缓存控制的方法,其中,所述主节点与活跃从节点之间进行元数据同步的步骤具体包括:
在主节点端,通过一元数据容器组件从客户端请求处理线程中收集元数据;所述元数据容器组件控制内存写的处理、磁盘写的处理以及多个客户端并发请求的提交;
在活跃从节点端,通过一接收器组件将收到的元数据放入元数据缓冲区中,并对获取的元数据进行内存读或磁盘读的处理。
本发明所提供的多路实时视频数据存储系统及其进行缓存控制的方法,由于采用了DRAM 存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块,具有较高的读写速度、保证主机回写数据的可靠性,同时也降低存储系统控制器的开销,提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制,实现了多Actived Slaves租赁权状态下文件映像信息的一致性。
附图说明
图1是本发明提供的多路实时视频数据存储系统结构示意图。
图2是本发明提供的多路实时视频数据存储系统的一优选实施例的结构示意图。
图3是本发明提供的多路实时视频数据存储系统中缓存控制器建立的缓存队列示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的主要思想是, 在智能社区中,通过数量众多的存储节点构建超大容量的多路实时视频数据存储系统,通过大量存储节点的并行工作获得较高的磁盘访问吞吐率,通过系统缓存减少磁盘访问,提高系统吞吐率,通过多个存储节点容错提高数据可靠性,从而实现理想海量存储系统的大容量、高可靠性和高性能的特点。
本发明的多路实时视频数据存储系统基于Hadoop HDFS(Hadoop Distributed File System,hadoop分布式文件系统),本发明的多路实时视频数据存储系统的Namenode(名字节点)控制部分基于DRAM(Dynamic Random Access Memory,即动态随机存取存储器)和固态硬盘的多元化存储介质缓存结构体系架构,如图1所示,该系统包括两个对外访问接口:主机访问接口10和存储节点访问接口20,以及系统控制器30和系统缓存40。其中,外部主机通过网络或总线连接主机访问接口10,如存储区域网络 SAN或光纤通道,进而访问智慧社区的多路实时视频数据存储系统;存储节点通过网络或总线连接存储节点访问接口20,以便本发明的多路实时视频数据存储系统也通过网络或总线访问各存储节点。存储节点可以是单个硬盘或网络存储节点。多路实时视频数据存储系统的系统控制器30是整个系统的核心,缓存管理、数据块置换、磁盘数据块的预取都是由系统控制器完成,另外磁盘数据可靠性也是由系统控制器来实现,包括数据布局管理,冗余数据的计算和用户数据的恢复。系统缓存40用于存储主机的读写数据,能够大大提高系统性能,通过“局部性原理”减少对磁盘的访问。
进一步地,为了满足多路实时视频数据的快速写入Hadoop HDFS,本发明采用基于DRAM和固态硬盘的多元化存储介质缓存结构 M-Cache对HDFS的Namenode(名字节点)结构进行优化。如图2所示,将DRAM存储器41和固态硬盘42作为系统缓存,同时在系统控制器30中设置缓存控制器31,通过缓存控制器31控制系统缓存40,控制建立缓存队列,通过所述缓存队列控制主机写数据块的写入。这种方式的优点在于启动快,快速随机读取延迟小,具有相对固定的读取时间。 
根据主机访问方式的不同,本发明的多路实时视频数据存储系统将缓存数据分为两类:主机读数据块和主机写数据块。为保证主机写入数据速度,主机在向本发明的存储系统写入数据块时通常以正确写入到存储系统的系统缓存中为写入结束。因此在存储系统的缓存设计中如何保证主机写数据块能够正确写入到系统缓存显得尤为重要。由于DRAM掉电后会丢失数据,常见的磁盘阵列在 DRAM缓存上会加上电池,以保证电源故障时能够将系统缓存中的主机写数据暂时保存。基于 DRAM 结合备用电池这种方式构造的NVRAM(Non-Volatile Random Access Memory,非易失性随机访问存储器) 在系统可靠性和可扩展性方面都很差。由于Flash (闪存)具有良好的随机读写性能和永久存储能力,因此,本发明将基于 Flash 的固态硬盘应用到存储系统的系统缓存中,使多节点的存储系统既有较高的读写速度,又有很高的数据可靠性。这种采用多元化存储介质作为系统缓存的存储系统,能够充分发挥各种存储介质的优良特性,大大提升了系统性能。
优选地,在上述系统缓存的架构中,DRAM 存储器主要用来缓存主机的读写数据,具有较高的读写速度、而固态硬盘主要用来存储主机写回存储系统的写数据块,保证主机回写数据的可靠性,同时也降低存储系统控制器的开销,提高系统性能。
更进一步地,应用于智慧社区的多路实时视频数据存储系统的访问接口除了简单地完成系统缓存的读写外,还需要完成Namenode元数据的逻辑地址到实际的Datanode(数据节点)磁盘物理地址的映射以及保证数据块在HDFS中可靠地存储。在本发明提供的智慧社区多路实时视频数据存储系统结构中,固态硬盘缓存仅存放主机写数据块,且容量通常大于 DRAM 缓存中的主机写队列长度。根据存放在Namenode中固态硬盘缓存中的主机写数据块是否已写入Datanode中的磁盘,本发明通过在系统控制器中设置缓存控制器,通过缓存控制器建立两个队列来对主机读写数据进行管理,两个队列分别为待写队列和已写队列,每个队列同 DRAM 缓存中的Namenode主机写队列一样为二维链表结构,如图3所示。其中,Sn.m分别表示各个数据块,n和m均为自然数,而Sn.1、Sn.2、…和Sn.m组成一个个水平链表。
具体地,根据图3所示,智慧社区的多路实时视频数据存储系统缓存管理队列结构,待写队列存放的是Namenode DRAM 缓存中主机写队列的还未写入存储节点的主机写数据块。当 DRAM 缓存中主机写队列加入一个新的主机写数据块时,待写队列也加入该数据块。加入的方法是先查找待写队列中是否已包含该主机写数据块所在条带的其他数据块,如是则将该数据块加入到所在条带的水平链表表尾,如不是则新建一个水平链表加入到待写链表的表尾。当 DRAM 缓存中主机写队列的某个水平链表上的数据块被写入到存储节点后则将待写队列中对应的水平链表删除,然后将该水平链表加入到已写队列当中。已写队列采用先进先出FIFO(First In, First Out)的方式管理,从待写队列中删除的水平链表都是插入到已写队列的队首,待写队列每次新增的链表表项即数据块都是从已写队列的队尾取。因此,本发明的多路实时视频数据存储系统缓存管理的两个队列中,待写队列同 DRAM 缓存的主机写队列同步,而已写队列采用 FIFO 管理。通过上述缓存管理队列,能够大大提升系统性能。
进一步地,由于现有Hadoop的分布式文件存储系统HDFS中,在某个时间间隔,Namenode提供一个租赁权给一个认证者写入,造成在任何时刻仅仅能够由一个客户端写入,也即是Hadoop运行时间只有一个活动的Namenode进行控制,这远远不能够满足在智慧社区开发中,多路实时视频数据流快速连续写入的要求。因此,本发明对Hadoop的Namenode主热备架构进行优化,将NameNode主热备架构设计成为Namenode Primary-Actived Slaves(主名字节点的活跃从节点)架构,在该架构中,缓存控制器构建多个管理节点,具体地,包括一个Primary 节点,也就是主节点,还包括多个Actived Slaves 节点,也就是活跃从节点,主节点与活跃从节点进行数据交互,包括活跃从节点向主节点进行注册、数据同步等流程。主节点与客户端进行通信,接收客户端的读写请求,并进行相应的处理;而活跃从节点与存储节点即数据节点通信进行数据交互,活跃从节点记录着存储在存储节点中数据的元数据,主节点与活跃从节点之间的数据交互只针对元数据。
在Namenode Primary-Actived Slaves架构中,当Namenode的主节点启动后,活跃从节点向主节点进行注册,从而使得主节点了解已存在的活跃从节点初始化状况,其主要注册过程如下:
注册处理从一个活跃从节点发送一个包含IP地址的注册请求给主节点,当主节点收到这个请求时,它通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表,注册该活跃从节点。同时主节点发送一个带此列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点。然后,活跃从节点收到来自主节点的应答信息,更新自身的IP地址列表,并发送确认信息给活跃从节点。与此同时,主节点等待由已注册的活跃从节点发送回来的确认信息,如果所有被注册活跃从节点都已经发送确认信息,则检测通过。如果没有超时即已完成,则注册过程结束。否则主节点通过从相应的IP地址列表中移除该活跃从节点,并取消那些没有收到确认信息的活跃从节点的注册。然后重新发送更新后的IP地址信息给所有已注册活跃从节点。这个过程一直循环执行,直到所有注册过程完成。这个注册过程能够保证所有活跃的活跃从节点在初始化过程中能被主节点注册。通过上述注册过程,主节点能够同时管理多个活跃从节点,主节点能够同时发出多个租赁权,供多个活跃从节点认证,实现多个活跃从节点同时与主节点进行元数据交互,进而实现了多活跃从节点与多数据节点之前的快速写。
当注册过程结束后,活跃从节点的初始元数据需要与主节点进行同步。同步过程具体分为三个步骤:检测文件版本、检测分布式文件系统映像文件和同步元数据。
具体地,在检测文件版本步骤中,主节点请求活跃从节点传输它们的版本文件信息,并检测这些信息是否与主节点上的版本文件信息一致。如果不一致则活跃从节点进行记录。在检测分布式文件系统映像文件的步骤中。主节点检测活跃从节点中的文件镜像信息是否与主节点中的一致。如果活跃从节点中存在节点不一致,则该活跃从节点被认为是不一致的,主节点将记录活跃从节点作为一个不一致的节点。最后,在元数据同步阶段,主节点请求不一致的活跃从节点对文件版本信息或者文件镜像信息重新刷新。主节点发送一份初始的元数据给不一致的活跃从节点。每一个活跃从节点接收元数据作为初始的一致性元数据。
进一步地,在数据复制过程中,主节点与活跃从节点之间也需要进行同步。主节点与活跃从节点之间的元数据同步过程,其中,主节点与活跃从节点之间有相同的软件和硬件配置,他们之间通过网络通信。为了确保可靠的数据传输,其通信基于面向连接的TCP协议。在主节点,通过一元数据容器组件从客户端请求处理线程中收集元数据,该组件控制着内存写的处理、磁盘写的处理以及多个客户端并发请求的提交。同时这个元数据容器组件通过自适应分析还负责实时运行过程中备份数据同步模式的修改,来满足在不同执行环境中(网络带宽等)不同负载的性能需求。在活跃从节点,接收器组件将收到的元数据放入元数据缓冲区中。通过一元数据句柄组件从元数据缓冲区中获取元数据,并对获取的元数据进行处理,包括内存读、磁盘读。在活跃从节点中设置一个适配器组件,它按照来自主节点的控制信息改变复制的同步模式。同时这个适配器组件还基于元数据处理性能和网络速度去调整元数据缓冲区的尺寸,以便根据需要调整获取元数据的大小。这样通过这种HDFS中管理节点与数据节点之间文件映像信息的同步机制,实现了多Actived Slaves租赁权状态下文件映像信息的一致性。
综上所述,本发明提供的多路实时视频数据存储系统及其进行缓存控制的方法,采用了DRAM 存储器来缓存主机的读写数据以及固态硬盘来存储主机写回存储系统的写数据块,具有较高的读写速度、保证主机回写数据的可靠性,同时也降低存储系统控制器的开销,提高系统性能。并且HDFS中管理节点与数据节点之间文件映像信息的同步机制,实现了多Actived Slaves租赁权状态下文件映像信息的一致性。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,例如,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1. 一种基于HDFS的多路实时视频数据存储系统,所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口,以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器,其特征在于,
所述系统缓存包括动态随机存取存储器和固态硬盘,所述动态随机存取存储器用于缓存主机的主机读数据块和主机写数据块,所述固态硬盘用于存放主机写回所述存储系统的主机写数据块;
系统控制器包括缓存控制器,所述缓存控制器用于建立待写队列和已写队列,所述待写队列用于存放所述动态随机存取存储器的主机写队列中未写入存储节点的主机写数据块;所述已写队列用于存放所述动态随机存取存储器的主机写队列中已写入存储节点的主机写数据块。
2.根据权利要求1所述的基于HDFS的多路实时视频数据存储系统,其特征在于,所述缓存控制器还用于控制当动态随机存取存储器的主机写队列中加入一个新的主机写数据块时,所述待写队列也加入该主机写数据块。
3.根据权利要求2所述的基于HDFS的多路实时视频数据存储系统,其特征在于,所述缓存控制器还用于在将新的主机写数据库加入待写队列时,先查找所述待写队列中是否已包含该新的主机写数据块所在条带的其他主机写数据块,如是则将该新的主机写数据块数据块加入到所在条带的水平链表表尾,如不是则新建一个水平链表加入到其表尾;
并在 DRAM 缓存中主机写队列的一水平链表上的主机写数据块被写入到存储节点后将所述待写队列中对应的水平链表删除,并将该水平链表加入到已写队列当中。
4.根据权利要求1至3任一项所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,
缓存控制器构建多个管理节点,包括一个主节点和多个活跃从节点;
活跃节点向主 节点注册自身信息;
同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据。
5.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,所述活跃从节点向主节点注册自身信息的步骤具体包括:
活跃从节点发送一个包含IP地址的注册请求给主节点;
当主节点收到这个请求时,通过将包含在请求信息中的活跃从节点IP地址信息写入活跃从节点的IP地址列表,注册该活跃从节点。
6.根据权利要求5所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,所述活跃从节点向主节点注册自身信息的步骤具体还包括:
主节点发送一个带所述IP地址列表内容的应答信息给所有已经被注册到主节点IP地址列表中的活跃从节点;
活跃从节点收到所述应答信息后更新自身的IP地址列表,并发送确认信息给主节点;当主节点接收到所有活跃从节点的确认信息时检测通过,完成注册过程。
7.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据的步骤具体包括:检测文件版本、检测分布式文件系统映像文件和同步初始元数据。
8.根据权利要求4所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,所述同步活跃从节点缓存的初始元数据与主节点缓存的初始元数据步骤之后还包括:
在客户端进行数据复制时,主节点与活跃从节点之间进行元数据同步。
9.根据权利要求8所述的多路实时视频数据存储系统进行缓存控制的方法,其特征在于,所述主节点与活跃从节点之间进行元数据同步的步骤具体包括:
在主节点端,通过一元数据容器组件从客户端请求处理线程中收集元数据;所述元数据容器组件控制内存写的处理、磁盘写的处理以及多个客户端并发请求的提交;
在活跃从节点端,通过一接收器组件将收到的元数据放入元数据缓冲区中,并对获取的元数据进行内存读或磁盘读的处理。
CN2013100813591A 2013-03-14 2013-03-14 一种多路实时视频数据存储系统及其进行缓存控制的方法 Pending CN103207894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100813591A CN103207894A (zh) 2013-03-14 2013-03-14 一种多路实时视频数据存储系统及其进行缓存控制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100813591A CN103207894A (zh) 2013-03-14 2013-03-14 一种多路实时视频数据存储系统及其进行缓存控制的方法

Publications (1)

Publication Number Publication Date
CN103207894A true CN103207894A (zh) 2013-07-17

Family

ID=48755116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100813591A Pending CN103207894A (zh) 2013-03-14 2013-03-14 一种多路实时视频数据存储系统及其进行缓存控制的方法

Country Status (1)

Country Link
CN (1) CN103207894A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488564A (zh) * 2013-09-13 2014-01-01 北京航空航天大学 一种分布式实时测试系统多路测试数据压缩与归并方法
CN105511805A (zh) * 2015-11-26 2016-04-20 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
CN106997362A (zh) * 2016-01-25 2017-08-01 华为技术有限公司 一种缓存预热的方法、装置及数据库系统
CN107295030A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种数据写入方法、装置、数据处理方法、装置及系统
CN107861891A (zh) * 2017-11-14 2018-03-30 郑州天迈科技股份有限公司 用于公交车载硬盘的音视频数据存取方法
CN109189339A (zh) * 2018-08-28 2019-01-11 郑州云海信息技术有限公司 一种存储系统下自动配置缓存加速方法
CN109360335A (zh) * 2018-10-31 2019-02-19 湖南金码智能设备制造有限公司 一种自动组柜方法和自助购物系统
CN110046202A (zh) * 2019-03-07 2019-07-23 中国人民解放军海军工程大学 基于内存键值数据库的综合电力系统实时数据管理方法
CN111182026A (zh) * 2019-11-27 2020-05-19 武汉常恒科技有限公司 一种智能云盒子
CN111796772A (zh) * 2020-07-07 2020-10-20 西北工业大学 缓存的管理方法、缓存节点及分布式存储系统
CN112083881A (zh) * 2020-08-24 2020-12-15 云南财经大学 一种基于持久化内存的一体化天文数据采集与存储系统
CN112328512A (zh) * 2020-09-22 2021-02-05 北京计算机技术及应用研究所 一种应用于多控存储系统的缓存同步系统及方法
CN113220693A (zh) * 2021-06-02 2021-08-06 北京字节跳动网络技术有限公司 计算存储分离系统及其数据访问方法、介质和电子设备
CN113553379A (zh) * 2021-07-23 2021-10-26 中信银行股份有限公司 一种数据采集方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622606A (zh) * 2006-12-06 2010-01-06 弗森多系统公司(dba弗森-艾奥) 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN101937321A (zh) * 2010-09-15 2011-01-05 中兴通讯股份有限公司 一种实现混合缓存的方法和装置
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622606A (zh) * 2006-12-06 2010-01-06 弗森多系统公司(dba弗森-艾奥) 用于作为大容量、非易失性存储器的高速缓存的固态存储器的装置、系统和方法
CN101937321A (zh) * 2010-09-15 2011-01-05 中兴通讯股份有限公司 一种实现混合缓存的方法和装置
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘文娟: "基于Hadoop的文件同步存储系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
许春聪等: "分布式文件系统存储介质评测与分析", 《计算机学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488564B (zh) * 2013-09-13 2016-08-31 北京航空航天大学 一种分布式实时测试系统多路测试数据压缩与归并方法
CN103488564A (zh) * 2013-09-13 2014-01-01 北京航空航天大学 一种分布式实时测试系统多路测试数据压缩与归并方法
CN105511805A (zh) * 2015-11-26 2016-04-20 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置
CN105511805B (zh) * 2015-11-26 2019-03-19 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置
CN106997362B (zh) * 2016-01-25 2021-01-15 华为技术有限公司 一种缓存预热的方法、装置及数据库系统
CN106997362A (zh) * 2016-01-25 2017-08-01 华为技术有限公司 一种缓存预热的方法、装置及数据库系统
CN107295030A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种数据写入方法、装置、数据处理方法、装置及系统
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
CN107861891A (zh) * 2017-11-14 2018-03-30 郑州天迈科技股份有限公司 用于公交车载硬盘的音视频数据存取方法
CN109189339A (zh) * 2018-08-28 2019-01-11 郑州云海信息技术有限公司 一种存储系统下自动配置缓存加速方法
CN109189339B (zh) * 2018-08-28 2021-08-20 郑州云海信息技术有限公司 一种存储系统下自动配置缓存加速方法
CN109360335A (zh) * 2018-10-31 2019-02-19 湖南金码智能设备制造有限公司 一种自动组柜方法和自助购物系统
CN110046202A (zh) * 2019-03-07 2019-07-23 中国人民解放军海军工程大学 基于内存键值数据库的综合电力系统实时数据管理方法
CN110046202B (zh) * 2019-03-07 2023-05-26 中国人民解放军海军工程大学 基于内存键值数据库的综合电力系统实时数据管理方法
CN111182026A (zh) * 2019-11-27 2020-05-19 武汉常恒科技有限公司 一种智能云盒子
CN111796772A (zh) * 2020-07-07 2020-10-20 西北工业大学 缓存的管理方法、缓存节点及分布式存储系统
CN111796772B (zh) * 2020-07-07 2024-05-07 西北工业大学 缓存的管理方法、缓存节点及分布式存储系统
CN112083881A (zh) * 2020-08-24 2020-12-15 云南财经大学 一种基于持久化内存的一体化天文数据采集与存储系统
CN112083881B (zh) * 2020-08-24 2022-10-18 云南财经大学 一种基于持久化内存的一体化天文数据采集与存储系统
CN112328512A (zh) * 2020-09-22 2021-02-05 北京计算机技术及应用研究所 一种应用于多控存储系统的缓存同步系统及方法
CN113220693A (zh) * 2021-06-02 2021-08-06 北京字节跳动网络技术有限公司 计算存储分离系统及其数据访问方法、介质和电子设备
CN113220693B (zh) * 2021-06-02 2023-10-20 北京火山引擎科技有限公司 计算存储分离系统及其数据访问方法、介质和电子设备
CN113553379A (zh) * 2021-07-23 2021-10-26 中信银行股份有限公司 一种数据采集方法及装置

Similar Documents

Publication Publication Date Title
CN103207894A (zh) 一种多路实时视频数据存储系统及其进行缓存控制的方法
US10387673B2 (en) Fully managed account level blob data encryption in a distributed storage environment
CN103268318B (zh) 一种强一致性的分布式键值数据库系统及其读写方法
EP3062226B1 (en) Data replication method and storage system
CN103885895B (zh) 容错集群存储系统中的写入性能
US9880753B2 (en) Write requests in a distributed storage system
CN109327539A (zh) 一种分布式块存储系统及其数据路由方法
JP6225262B2 (ja) 分散データグリッドにおいてデータを同期させるためにパーティションレベルジャーナリングをサポートするためのシステムおよび方法
WO2013018808A1 (ja) 分散ストレージシステムおよび方法
CN109074297A (zh) 在同步复制的数据集中启用数据完整性检查和更快的应用恢复
WO2018137327A1 (zh) 一种主备机数据传递方法、控制节点以及数据库系统
CN107832423B (zh) 一种用于分布式文件系统的文件读写方法
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
TW200929950A (en) Packet forwarding apparatus and method for virtualization switch
US12105983B2 (en) Resilient implementation of client file operations and replication
CN102833580A (zh) 基于infiniband的高清视频应用系统及方法
WO2022218160A1 (zh) 一种数据访问系统、方法、设备以及网卡
US9703701B2 (en) Address range transfer from first node to second node
CN102023816A (zh) 一种对象存储系统的对象存放策略和访问方法
CN105589887A (zh) 分布式文件系统的数据处理方法及分布式文件系统
JP2015527620A (ja) 計算機システム、サーバ、及び、データ管理方法
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN106873902B (zh) 一种文件存储系统、数据调度方法及数据节点
CN102917005A (zh) 一种支持事务的海量存储访问方法及装置
US7725654B2 (en) Affecting a caching algorithm used by a cache of storage system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170301