CN106021585A - 一种基于时空特性的交通事件视频存取方法及系统 - Google Patents

Abstract

本发明提供一种基于时空特性的交通事件视频存取方法及系统。所述基于时空特性的交通事件视频存取方法包括：获取交通事件视频小文件；根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件；所述合并文件中还包括小文件索引表；将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。本发明方案能提高存取效率。

Description

一种基于时空特性的交通事件视频存取方法及系统

技术领域

本发明涉及一种数据存取技术领域，特别是涉及一种基于时空特性的交通事件视频存取方法及系统。

背景技术

视频监控是智能交通系统中的一大重要应用。在现代城市交通监管系统中，为了有效监控交通路况，每个交通路口通常都装配有摄像头，分别用于车辆违章事件检测、车辆队列长度检测、车辆追踪等，每个摄像头都源源不断产生视频数据。交通视频包含大量交通状况正常的视频数据流和部分含有交通事件的视频数据流，其中交通事件类型包括交通拥挤、超速、车辆逆行、违章停车等。在真实交通场景中，人们更加关注后者。因此，两种视频数据采用同样的方式存储在一起往往不合理。在传统交通监控系统中，通常采用集中的存储服务器存放所有数据，操作员之后需要手动回放视频以查找某个特定的交通事件，因为这种存储系统不能很好地将有事件视频和无事件视频区分开来。目前，具有事件检测功能的智能摄像头能已经可以对事件进行结构化的描述，已有学者对具有事件的视频部分进行高清晰度传输，对无事件的视频内容进行低清晰度传输，从而分离出了具有事件的文件。此外，含有事件的视频文件往往是小文件。对这些有交通事件的海量小文件存储和检索技术的研究，对于交警部门分析特定区域的交通事故特性具有实际意义。如何高效存储海量交通事件视频小文件和快速查询路口交通事件进行回放已成为智能交通监管系统中的重要主题。

HDFS(Hadoop Distributed File System)是一个适合构建于廉价计算机集群之上的分布式文件系统，具有低成本、高可靠性、高吞吐量的特点。HDFS是一个“一次写入多次读取”的文件访问模型。交通视频数据特点具有实时产生，顺序写，无需修改的特点，正符合HDFS的设计特点。然而HDFS本质上是一种流式分块文件系统，设计之初主要是为了处理大文件(文件大小通常在几百兆以上)，在处理交通事件视频小文件时，会产生一些问题，本发明的小文件指的是包含持续数秒或数分钟的交通事件视频数据，通常文件大小小于10MB。在HDFS中，任何数据块(block)、文件或者目录在内存中均以对象的形式存储，每个对象约占150B，随着越来越多的事件文件到来，Namenode越来越多内存会被占用，Namenode所在机器的内存大小将可能成为集群的制约点。另外，某时间段内某路段上发生的交通事件通常不止一件，如果这些事件不合并存在一个数据块内，当读取某时间段某些相邻路段事件视频时，需要不断从一个Datanode跳到另一个Datanode，影响读取性能。其次，访问大量小文件速度远远小于访问几个大文件。

目前HDFS小文件存储方法众多，Mackey G等人利用HAR(Hadoop Archive)技术实现小文件的合并，提高了HDFS中元数据的存储效率；Xuhui Liu等人提出了适用于WebGIS储机制，提高了小文件的存储和访问效率。江柳等人提出将小文件存储到Hbase中通过文件合并与分解操作提高文件的存储效率，这种方案的一个缺点就是随着文件的增多会造成Hbase大量的合并与分解操作占用大量系统资源严重影响系统的性能，并且Hbase只支持简单的字符类型，对其它的图片等类型支持不好还需用户单独的处理。虽然目前不少HDFS小文件存储方法已被提出，但是现有方法都没有考虑到交通事件视频的发生时间、发生区域以及实时产生的特性，因而用目前已有方法进行交通事件小视频文件的存取往往会导致查询交通事件视频效率低下。

因此，如何实现在HDFS高效存储海量交通事件视频小文件和快速查询路口交通事件进行回放就成为了本领域技术人员亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于时空特性的交通事件视频存取方法及系统，用于解决现有技术中HDFS不能高效存储海量交通事件视频小文件的问题。

为实现上述目的及其他相关目的，本发明提供一种基于时空特性的交通事件视频存取方法，所述基于时空特性的交通事件视频存取方法包括：获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息；根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息；将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

可选地，所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。

可选地，每个缓存设定一个最近更新时间，所述合并处理条件包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。

可选地，所述基于时空特性的交通事件视频存取方法还包括：建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。

可选地，所述基于时空特性的交通事件视频存取方法还包括：客户端接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。

可选地，所述基于时空特性的交通事件视频存取方法还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。

本发明还提供一种基于时空特性的交通事件视频存取系统，所述基于时空特性的交通事件视频存取系统包括：交通事件视频小文件获取模块，用于获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息；交通事件视频小文件分配模块，用于根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；交通事件视频小文件合并模块，用于当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息；合并文件存储模块，用于将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

可选地，所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。

可选地，每个缓存设定一个最近更新时间，所述合并处理条件包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。

可选地，所述基于时空特性的交通事件视频存取系统还包括：倒排链表建立模块，用于建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。

可选地，所述基于时空特性的交通事件视频存取系统还包括交通事件视频查询模块，用于接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。

可选地，所述交通事件视频查询模块还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。

如上所述，本发明的一种基于时空特性的交通事件视频存取方法及系统，具有以下有益效果：1，结合交通视频的时空特性将事件小文件合并，减少了HDFS名字节点内存使用率；2，可以高效存取交通事件视频，从而有效减少了用户查询时间。本发明根据交通事件视频的时间和区域特性把距离在阈值范围内路段上的源源不断到来的事件视频小文件合并到一起，当合并后文件大小达到一定值或者距离在阈值范围内的路段上很久没有事件发生时，把合并后文件存储到HDFS中。本发明还提出了一种基于倒排索引思想的索引机制对存储到HDFS中的合并后文件以及小文件创建索引，以便能快速查询到所需事件。当用户根据路段和时间查询事件视频时，相关数据块可以缓存到本地。当查询某时间段某区域路段上事件视频时，本发明提出的存取方法能有效地缩短查询时间以及减少HDFS系统中Namenode内存占用。

附图说明

图1显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的流程示意图。

图2显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的系统架构示意图。

图3显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的存取流程示意图。

图4显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的分配合并流程示意图。

图5显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的倒排索引建立流程示意图。

图6显示为本发明的一种基于时空特性的交通事件视频存取方法的一实施例的查询流程示意图。

图7显示为本发明的一种基于时空特性的交通事件视频存取系统的一实施例的模块示意图。

元件标号说明

1 基于时空特性的交通事件视频存取系统

11 交通事件视频小文件获取模块

12 交通事件视频小文件分配模块

13 交通事件视频小文件合并模块

14 合并文件存储模块

S1～S4 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种基于时空特性的交通事件视频存取方法。在一个实施例中，所述基于时空特性的交通事件视频存取方法包括：

步骤S1，获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息。在一个实施例中，路段编号由一串连续的11个数字组成，如59565108098，59565108097。事件小文件名构成如：路段编号-开始时间-截止时间。此处路段编号指的是事件发生地点，开始时间指的是事件发生的开始时间，截止时间指的是事件发生完成时间。事件小文件名格式如59565108098-20151128073205-20151128073217，表明这个事件小文件于2015年11月28号上午7:32分在路段59565108098发生并且持续了12秒。

步骤S2，根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内。在一个实施例中，存储客户端中有用来暂存事件小视频的缓冲区，即buffer[0]，buffer[1]，….每个缓冲区的中心路段编号由第一个暂存在此缓冲区的事件小视频的路段编号决定。例如，对于buffer[0]，第一个到达buffer[0]暂存的事件小视频为59565108098-20141128073205-20141128073217，那么它的路段编号59565108098将被作为buffer[0]的中心路段编号。每个非空buffer都有一个中心路段编号，它用于判断到来的事件小视频文件能否被暂存在某个特定的buffer中。

步骤S3，当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息。在一个实施例中，所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。在一个实施例中，每个缓存设定一个最近更新时间，所述合并处理条件还包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。在一个实施例中，合并后文件名格式为：中心路段编号-起始时间-截止时间。此处的中心路段编号是第一个到来而暂存在此buffer中的事件小视频文件的路段编号，buffer中的事件小视频文件是按照到达此buffer中的顺序合并在一起的。合并后文件名的起始时间指的是这个合并文件中第一个视频小文件发生的开始时间；截止时间指的是这个合并文件中最后一个视频小文件发生的截止时间。例如事件小视频文件59565108098-20151128070110-20151128070118是第一个到达buffer[i]的文件，事件小视频文件59565108067-20141128070500-20141128070512是最后到达buffer[i]的文件，那么当buffer[i]中的事件小视频文件被合并后，得到的合并后文件名则为59565108098-20151128070110-20151128070512。小文件索引表用于存储合并后文件中每个事件小视频文件的元数据。小文件索引表是和合并后文件一起发送到HDFS存储在DataNode里。从HDFS取出合并后文件时，小文件索引表被一起取到本地缓存，之后根据小文件索引表，读取符合路段和时间段的事件小视频文件。小文件索引表的结构如下所示，其中的偏移位置指的是合并后文件中的事件小文件的起始位置。

步骤S4，将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

在一个实施例中，所述基于时空特性的交通事件视频存取方法还包括：建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。在一个实施例中，所述属性值的时间段为半小时，在另一实施例中，所述属性值的时间段为1小时。

在一个实施例中，所述基于时空特性的交通事件视频存取方法还包括：客户端接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。

在一个实施例中，所述基于时空特性的交通事件视频存取方法还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。

在一个实施例中，本发明的基于时空特性的交通事件视频存取方法的系统架构如图2所示，它包含获取交通事件视频的智能摄像头(smart cameras)、将不同大区域发生的事件视频分配给不同的存储客户端暂存的分配器(dispatcher)、一些为事件视频暂存以及合并并且建立索引的存储客户端(storing clients)、搜索客户端(search clients)、响应搜索的服务器(requestprocesser)。其中，存储客户端负责接收交通事件视频小文件，并根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，接着，当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件；将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件；并针对合并文件建立倒排链表(即索引，或称为倒排索引)。所述交通视频小文件通过智能摄像头采集，并通过分配器按照空间区域分配到不同的存储客户端处理。搜索客户端接收搜索条件，并通过响应搜索的服务器获取搜索结果，包括从缓存(cache)中读取或从HDFS集群中读取。整个系统架构工作的存取方法如图3所示。先基于时空特性合并小事件视频文件，合并小文件的同时创建小文件索引，并将合并文件存储到HDFS中。同时对合并文件采用改进的倒排索引策略建立倒排索引，通过倒排索引实现快速查询，包括从缓存中读取结果或从HDFS中读取查询结果。

在一个实施例中，所述交通事件视频小文件的分配和合并流程如图4所示，在智能摄像头实时地将有事件视频小文件传过来后，寻找一个buffer，并且buffer的中心路段编号在当前小文件的路段编号阈值范围内(事件视频小文件发生路段与buffer的中心路段间的跳数小于阈值范围)，将当前小文件放入该buffer，即将视频小文件暂存在系统存储客户端。或者，找到一个空的buffer来存放事件视频小文件，并把该事件的路段编号作为该buffer的中心路段编号。当buffer[i]文件大小满足要求或者是很久没有小文件暂存到buffer[i]时，将buffer[i]中所有小文件合并后，对合并文件命名并存入HDFS，同时清除buffer[i]中的内容。在另一实施例中，考虑到一种较坏情况：有的路段及其附近发生了一些事件，但是之后又很久都没有发生事件，导致的情况是有些buffer非空，不过其文件内容大小很久都不能达到64MB-2KB，这种情况下的buffer里暂存的小文件很久都不能被合并存到HDFS里。由于小文件在被存储到HDFS里之前不能被用户查询到，因此此种情况可能会导致用户不能较及时地查询到此类事件视频。为了避免这种情况，当有小文件暂存在某buffer时，我们为此buffer设置一个最近更新时间。监控系统暂存客户端的非空buffer，若监控到系统当前时间和buffer[i]的最近更新时间差值超过时间阈值，就buffer[i]里的小文件和表3.1所示的小文件索引表合并，并存储到HDFS系统中。

在一个实施例中，含有交通事件的视频片段大小通常不超过10MB。当buffer里的文件总大小符合条件后或是buffer等待时间达到上限后，将buffer里的小文件合并成大文件，并存储到HDFS系统中。为了能快速搜索到事件视频，可以每隔一段时间对该时间段内存储到HDFS的合并后创建索引。这样当用户查询事件视频时，系统根据查询的时间段条件归并相应时间段以得出待查的合并后文件名。此思想是基于传统的倒排索引策略并加以改进而得。倒排索引是包含倒排链表格式的索引，倒排链表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引。带有倒排索引的文件我们称为倒排索引文件。

在一个实施例中，索引创建大致过程如图5所示，对于每个合并后文件，如果它的事件发生时间和索引键IK的时间段有交集，此合并后文件名会被放入IK对应的值集合中。当用户查找某路段在某时间段发生的事件时，根据查找路段和时间段计算出索引键，合并这些索引键对应的值，即得到应该从HDFS集群读取的合并后文件的名字。具体地，当把一个合并后文件存储到HDFS后，系统记录此合并后文件的文件名到MF中，其中MF是用来记录做增量索引前的时间里被存储到HDFS集群里的合并后文件的名字的变量。每到半点或整点时间(根据预设的时间段)，根据MF里的合并后文件名为存储到HDFS的合并后文件建立索引。用合并后文件名的第二和第三部构成的时间段和半点时间段做交集得到半点时间段集合T。再根据合并后文件名第一部分代表的中心路段编号R，将合并后文件名加入到索引键为R-t对应的值中，其中t∈T。

例如，当访问存储在HDFS集群中的事件文件时，要根据路段编号-半点时间段到合并后文件名映射获取合并文件名，然后根据合并后文件名从HDFS中读取文件。在此映射中，路段编号-半点时间段是键，合并后文件名是值。其中，路段编号-半点时间段具体格式表示为类似{…...,59565108098-20141128080000-20141128083000,59565108098-20141128083000-20141128090000,59565108098-20141128090000-20141128093000,…...}。每隔半小时为这半小时内存储到HDFS的合并后文件创建索引，合并后文件名的三个部分决定该合并后文件放入哪些值的集合中。例如，某合并后文件名MFN是59565108098-20151128062803-20151128071220，计算得MF的时间段部分和20151128060000-20151128063000，20151128063000-20151128070000和20151128070000-20151128073000这三时间段有交集。因此，将MF放入键为59565108098-20151128060000-20151128063000，59565108098-20151128063000-20151128070000和59565108098-20151128070000-20151128073000的值的集合中。

在一个实施例中，如图6所示，本发明还提供了快速查询方法。首先，接收用户输入的查询的时间段PT，路段编号R。通过用户输入的要查询的路段编号计算出距离阈值范围内的路段编号集合。接着，根据用户输入的时间段计算出符合条件的半点时间段集合，结合步骤1得到的路段编号集合，得到索引键，归并这些索引键得到的值是要从HDFS取的合并后文件的文件名。具体地，当查找交通事件时，给定路段、起始时间和截止时间，若事件视频文件全不在本地，则根据既定阈值计算出待查路段编号集合RTSS。例如，当起始时间为2015年11月28号7:10am，截止时间为2015年11月28号8:20am，对于每个rts∈RTSS，归并索引键为rts-20151128070000-20151128073000，rts-20151128073000-20151128080000和rts-20151128080000-20151128083000的值，去重得到待从HDFS集群读取的合并后文件的文件名。用户在事件查询页面输入欲查路段编号R，起始时间t1和截止时间t2(即时间段PT)。根据R获得距离在阈值范围内的路段编号集合，设为待查路段集合RTS，获取客户端本地存储的已查路段标记树HSRT(该标记树用Trie树结构存储已查路段，已查路段标记树存储在用户本地。已查路段和待查路段集合RTS相关)，从HSRT里查询RTS，若待查路段集合里每一个路段都能在已查路段标记树里查询到，则所有待查询事件视频都已在被取到本地缓存，根据小文件索引表从本地缓存中读取文件即可，无需再去HDFS集群中查找。如果不符合上面的条件，则系统会对在待查路段里而不在已查路口标记树里的路段，结合起始时间和截止时间，算出索引键。若键对应的值有不为空的，根据改进的倒排索引策略获取值，即是从HDFS中读取的合并后文件的文件名，根据文件名，去HDFS取满足用户查询条件的小文件结合本地缓存中满足查询条件的小文件，响应用户，另外后台线程根据已计算出的合并后文件名将整块大文件缓存到用户本地；若计算出的各索引键对应的值都为空，说明所有待读取视频文件都已在本地缓存，根据小文件索引表在本地缓存中读取相应小文件。

在一个实施例中，事件视频的查询流程如下：1，用户查询事件视频时，输入查询路段RW，起始时间t1和截止时间t2，根据RW计算出与其跳数在阈值范围内的路段编号集合，设为待查路段集合RTS，其中两路段之间跳数为路段到另一路段要经过的路口数。从已查路段标记树HSRT里查找待查路段集合RTS。若对于有rts∈HSRT，那么根据小文件索引表，读取本地缓存中的事件小文件。2，对在待查路段集合而不在已查路口标记树里的路段，根据起始时间t1和截止时间t2，算出索引键，若索引键对应的值不为空，则将在待查路段集合而不在已查路口标记树里的路段加入已查路口标记树，跳到3。否则，若所有索引键对应的值都为空，则把在待查路段集合而不在已查路口标记树里的路段加入已查路口标记树，那么根据小文件索引表，读取本地缓存中的事件小文件。3，归并所有的非空索引值，去重后得到待查询的合并后文件的文件名集合，利用文件名去HDFS取文件时分两步。第一步，读取合并后文件里的小文件索引，根据小文件索引读取本合并后文件中的发生在路段RW且其发生时间和时间时间构成的时间段和由t1和t2构成的时间段有交集的小文件，返回给用户客户端，供查看。第二步，查询页面响应后，请求处理器再根据之前计算出的合并后文件名向HDFS发出读取请求，将整块数据下载到用户客户端。

本发明还提供一种基于时空特性的交通事件视频存取系统，所述基于时空特性的交通事件视频存取系统可以应用如上所述的基于时空特性的交通事件视频存取方法。在一个实施例中，如图7所示，所述基于时空特性的交通事件视频存取系统1包括交通事件视频小文件获取模块11，交通事件视频小文件分配模块12，交通事件视频小文件合并模块13以及合并文件存储模块14。其中：

交通事件视频小文件获取模块11用于获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息。在一个实施例中，路段编号由一串连续的11个数字组成，如59565108098，59565108097。事件小文件名构成如：路段编号-开始时间-截止时间。此处路段编号指的是事件发生地点，开始时间指的是事件发生的开始时间，截止时间指的是事件发生完成时间。事件小文件名格式如59565108098-20151128073205-20151128073217，表明这个事件小文件于2015年11月28号上午7:32分在路段59565108098发生并且持续了12秒。

交通事件视频小文件分配模块12与交通事件视频小文件获取模块11相连，用于根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内。在一个实施例中，存储客户端中有用来暂存事件小视频的缓冲区，即buffer[0]，buffer[1]，….每个缓冲区的中心路段编号由第一个暂存在此缓冲区的事件小视频的路段编号决定。例如，对于buffer[0]，第一个到达buffer[0]暂存的事件小视频为59565108098-20141128073205-20141128073217，那么它的路段编号59565108098将被作为buffer[0]的中心路段编号。每个非空buffer都有一个中心路段编号，它用于判断到来的事件小视频文件能否被暂存在某个特定的buffer中。

交通事件视频小文件合并模块13与交通事件视频小文件分配模块12相连，用于当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息。在一个实施例中，所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。在一个实施例中，每个缓存设定一个最近更新时间，所述合并处理条件还包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。在一个实施例中，合并后文件名格式为：中心路段编号-起始时间-截止时间。此处的中心路段编号是第一个到来而暂存在此buffer中的事件小视频文件的路段编号，buffer中的事件小视频文件是按照到达此buffer中的顺序合并在一起的。合并后文件名的起始时间指的是这个合并文件中第一个视频小文件发生的开始时间；截止时间指的是这个合并文件中最后一个视频小文件发生的截止时间。例如事件小视频文件59565108098-20151128070110-20151128070118是第一个到达buffer[i]的文件，事件小视频文件59565108067-20141128070500-20141128070512是最后到达buffer[i]的文件，那么当buffer[i]中的事件小视频文件被合并后，得到的合并后文件名则为59565108098-20151128070110-20151128070512。小文件索引表用于存储合并后文件中每个事件小视频文件的元数据。小文件索引表是和合并后文件一起发送到HDFS存储在DataNode里。从HDFS取出合并后文件时，小文件索引表被一起取到本地缓存，之后根据小文件索引表，读取符合路段和时间段的事件小视频文件。

合并文件存储模块14与交通事件视频小文件合并模块13相连，用于将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

在一个实施例中，所述基于时空特性的交通事件视频存取系统1还包括：倒排链表建立模块，用于建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。

在一个实施例中，所述基于时空特性的交通事件视频存取系统还包括交通事件视频查询模块，用于接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。在一个实施例中，所述交通事件视频查询模块还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。

综上所述，本发明的一种基于时空特性的交通事件视频存取方法及系统，具有以下有益效果：1，结合交通视频的时空特性将事件小文件合并，减少了HDFS名字节点内存使用率；2，可以高效存取交通事件视频，从而有效减少了用户查询时间。本发明根据交通事件视频的时间和区域特性把距离在阈值范围内路段上的源源不断到来的事件视频小文件合并到一起，当合并后文件大小达到一定值或者距离在阈值范围内的路段上很久没有事件发生时，把合并后文件存储到HDFS中。本发明还提出了一种基于倒排索引思想的索引机制对存储到HDFS中的合并后文件以及小文件创建索引，以便能快速查询到所需事件。当用户根据路段和时间查询事件视频时，相关数据块可以缓存到本地。当查询某时间段某区域路段上事件视频时，本发明提出的存取方法能有效地缩短查询时间以及减少HDFS系统中Namenode内存占用。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于时空特性的交通事件视频存取方法，其特征在于，所述基于时空特性的交通事件视频存取方法包括：

获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息；

根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；

当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息；

将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

2.根据权利要求1所述的基于时空特性的交通事件视频存取方法，其特征在于：所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。

3.根据权利要求1或2所述的基于时空特性的交通事件视频存取方法，其特征在于：每个缓存设定一个最近更新时间，所述合并处理条件包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。

4.根据权利要求1所述的基于时空特性的交通事件视频存取方法，其特征在于：所述基于时空特性的交通事件视频存取方法还包括：建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。

5.根据权利要求4所述的基于时空特性的交通事件视频存取方法，其特征在于：所述基于时空特性的交通事件视频存取方法还包括：客户端接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。

6.根据权利要求5所述的基于时空特性的交通事件视频存取方法，其特征在于：所述基于时空特性的交通事件视频存取方法还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。

7.一种基于时空特性的交通事件视频存取系统，其特征在于：所述基于时空特性的交通事件视频存取系统包括：

交通事件视频小文件获取模块，用于获取交通事件视频小文件，所述交通事件视频小文件名中包括路段编号、开始时间信息、截止时间信息；

交通事件视频小文件分配模块，用于根据所述交通事件视频小文件的路段编号将所述交通事件视频小文件分配到不同的缓存中处理，每个缓存中所存储的所有交通事件视频小文件的路段编号对应的路段与所存储的第一个交通事件视频小文件的路段编号对应的路段间的距离都在预设的距离阈值范围内；

交通事件视频小文件合并模块，用于当任一个缓存中的交通事件视频小文件满足预设的合并处理条件时，将所述缓存中的所有交通事件视频小文件合并成一个合并文件，所述合并文件名包括路段编号、开始时间信息、截止时间信息；所述合并文件名的路段编号为所述缓存中第一个交通事件视频小文件名的路段编号，所述合并文件名的开始时间信息为所述缓存中所有交通事件视频小文件名中最早的开始时间信息，所述合并文件名的截止时间信息为所述缓存中所有交通事件视频小文件名中最晚的截止时间信息；所述合并文件中还包括小文件索引表，所述小文件索引表包括所述合并文件中所有交通事件视频小文件信息，包括每一个交通事件视频小文件的路段编号、开始时间信息、截止时间信息，文件大小信息，在所述合并文件中的开始位置信息；

合并文件存储模块，用于将所述合并文件存储到HDFS中，清除所述合并文件对应缓存中的文件。

8.根据权利要求7所述的基于时空特性的交通事件视频存取系统，其特征在于：所述合并处理条件包括：所述缓存中的所有交通事件视频小文件的总大小大于或等于预设的合并文件大小。

9.根据权利要求7或8所述的基于时空特性的交通事件视频存取系统，其特征在于：每个缓存设定一个最近更新时间，所述合并处理条件包括：当监测到系统当前时间与所述缓存的最近更新时间的差值大于或等于设定的时间阈值时。

10.根据权利要求7所述的基于时空特性的交通事件视频存取系统，其特征在于：所述基于时空特性的交通事件视频存取系统还包括：倒排链表建立模块，用于建立倒排链表，所述倒排链表的每一项包括一个属性值和具有所述属性值的记录集合；所述属性值包括路段编号和时间段信息；当合并文件名的路段编号对应的路段与所述属性值的路段编号对应的路段间的距离在预设的距离阈值范围内，且所述合并文件名的开始时间信息到截止时间信息的时间段与所述属性值的时间段有交集时，将所述合并文件名加入到具有所述属性值的记录集合中。

11.根据权利要求7所述的基于时空特性的交通事件视频存取系统，其特征在于：所述基于时空特性的交通事件视频存取系统还包括交通事件视频查询模块，用于接收待查询的路段编号和时间段信息；确定与所述待查询的路段编号对应的路段的距离在所述距离阈值范围内的所有路段对应的路段编号集合；针对所述路段编号集合中的每一个路段编号，在倒排链表中找到与所述路段编号和待查询的时间段信息确定对应的合并文件名记录；在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端；针对每一个所述合并文件，读取所述合并文件中的小文件索引表，找到路段编号与待查询的路段编号相同同时开始时间信息到截止时间信息的时间段与待查询的时间段信息重叠的小文件。

12.根据权利要求11所述的基于时空特性的交通事件视频存取系统，其特征在于：所述交通事件视频查询模块还包括：在所述客户端查找是否已经缓存所述合并文件名的合并文件，如果存在，则直接获取所述合并文件名对应的合并文件；如果不存在，则在HDFS中获取所有所述合并文件名对应的合并文件缓存到所述客户端。