CN107066483A - 一种交通行业指标数据编码及存储方法 - Google Patents

Abstract

一种交通行业指标数据编码及存储的方法，该方法由监测指标配置服务、监测指标数据生成服务组成。监测指标配置服务定义了指标数据的各属性及编码；监测指标数据生成服务根据监测指标配置服务定义的指标数据的属性及编码进而生成指标值，进而保存到分布式数据库中。监测指标管理清晰、易维护。hbase相对于关系数据库，通过时间戳很容易实现指标数据的多版本存储、追溯。数据以文件系统方式保存在各数据节点上，自动切分数据，使得数据存储自动具有水平扩展；通过不断增加廉价的机器，来增加计算和存储能力；满足指标数据持续增长要求。5000W条数据使用hbase导入30分钟以可以内完成，查询同一个指标所有数据2秒可以完成。

Description

一种交通行业指标数据编码及存储方法

技术领域

本发明涉及一种交通行业指标数据编码及存储方法。利用指标数据编码、自定义的数据结构，对指标数据高并发读写操作的方法。

背景技术

交通领域大数据分析和应用的场景相当多：一个是大数据本身的技术处理平台，另一个是数据分析和挖掘算法。

对于交通线路规划和设计是一个大数据潜在的应用场景，传统的交通线路规划往往需要在前期投入大量的人力进行OD调查和数据收集。特别是在交通卡普及后，对于OD流量数据完全可以从交通的卡中采集到相关的交通流量和流向数据，包括同一张卡每天的行走路线和换乘次数等详细信息。对于一个上千万人口的大城市而言，每天的流量数据都会相当大，单一分析一天的数据可能没有相关的价值，而分析一个周期的数据趋势变化则会相当有价值。结合交通流量流向数据趋势变化，可以很好的帮助公交运营线路的调整，换乘站的设计等很多内容。

从单一的交通流量流向数据动态分析仅仅是一个方面，大数据往往更加强调相关性分析。比如对于在某一个时间段内公交流量和流向数据发生明细的趋势变化的时候，这个趋势变化的究竟和哪些潜在的大事件或其它影响因素的变化存在相关性，如何去分析这些相关性并做出正确的应对。

就智能交通来说，现在的智慧交通应用往往已经能够很方面的进行整个大城市环境下的交通状况监控并发布相应的道路状况信息。在GPS导航中往往也可以实时的看到相应的拥堵路况等信息，而方便驾驶者选择新的路线。但是这仍然是一种事后分析和处理的机制，一个好的智能导航和交通流诱导系统一定是基于大量的实时数据分析为每个车辆给出最好的导航路线，而不是在事后进行处理。对于智能交通中的交通流分配和诱导等模型很复杂，而且面对大量的实时数据采集，根据模型进行实时分分析和计算，给出有价值的结果，这个在原有的信息技术下确实很难解决。随着物联网和车联网，分布式计算，基于大数据的实时流处理等各种技术的不断城市，智能的交通导航和趋势分析预测将逐步成为可能。

随着智慧城市的建设，城市里面到处都是摄像头采集数据，当锁定一个车辆后如何根据车辆的特征或车牌号等信息，实时的追踪到车辆的行走路线和位置。这里面往往需要实时的视频数据采集，采集数据的实时分析和比对，给出相应的参考信息和数据。对于视频流和图像信息的比对和分析往往更加耗费计算资源，需要更长的计算周期，要从城市成千上万个摄像头里面采集数据并进行实时分析完全满足大数据常说的海量数据，异构数据，速度和价值等四个维度的特征。

交通行业数据有流数据、数据文件、数据库文件、在线文字和图片、音频视频流等。要在这些基础数据基础上，建立指标体系，进行监测，反应交通状况。其中有结构化数据、非结构化数据和半结构化数据，要对这些数据进行分析建模。

发明内容

针对上述问题，本发明提供一种交通行业指标数据编码及存储的方法，实现交通行业指标数据存储和快速查询。

为实现上述目的，本发明采用以下技术方案：

一种交通行业指标数据编码及存储的方法，该方法由监测指标配置服务、监测指标数据生成服务组成。监测指标配置服务定义了指标数据的各属性及编码；监测指标数据生成服务根据监测指标配置服务定义的指标数据的属性及编码进而生成指标值，进而保存到分布式数据库中。具体实施的流程包括以下步骤：

步骤1：监测指标配置服务。

监测指标配置服务包括指标数据的空间维度维护、监测指标维护。指标数据的空间维度为树形结构，共8级，每一级占4位，为16进制数字，共32位，监测指标编码编码由服务后台根据规则自动生成。监测指标编码由空间维度编码+时间范围+日期特征+时间特征+指标+单位+来源组成。

步骤2：监测指标数据生成服务。

监测指标数据生成服务根据步骤1：监测指标配置服务中的监测指标编码生成指标值并存储。

接收主题库消息，根据配置生成指标值，获取和主题相关的指标集合；遍历指标并根据配置生成指标。其他依赖该指标的指标，通过调度生成。指标值存储在分布式数据库hbase中，使用“监测指标编码+时间”作为RowKey。

与现有技术相比，本发明具有以下明显的优势：

监测指标管理清晰、易维护。hbase相对于关系数据库，通过时间戳很容易实现指标数据的多版本存储、追溯。数据以文件系统方式保存在各数据节点上，自动切分数据，使得数据存储自动具有水平扩展；通过不断增加廉价的机器，来增加计算和存储能力；满足指标数据持续增长要求。

采用本发明后，项目上三年的指标值5000W左右，插入oracle需要7个小时，查询一个指标所有的数据要15秒左右。使用hbase导入30分钟以可以内完成(三个节点，设备配置和oracle一样)，查询同一个指标所有数据2秒可以完成。

附图说明

图1空间维度编码结构示意图；

图2监测指标编码结构示意图；

图3为监测指标配置流程图。

图4为监测指标数据生成服务流程图。

具体实施方式

下面结合附图1-2和具体实施方式对本发明做进一步说明。

本发明所述的方法包括以下步骤：

监测指标配置，包括以下步骤：

步骤1.1调研数据和需求，整理待生成指标及计算方法，如：刷卡数据、流量数据等，以及指标计算方法。

步骤1.2根据1.1结果，整理空间维度数据，建立树形结构：如：区县、线路、站点、检查站、检测器等；将空间维度数据进行导入。

步骤1.3选择空间维度、指标、单位、时间范围、时间特征、来源、计算公式，创建监测指标。

监测指标数据生成服务，包括以下步骤：

步骤2.1监听消息队列，找到关联的指标，生成指标数据。

步骤2.2如果生成成功，查询依赖该指标的其他指标，并判断当前时间是否大于要生成时间；如果大于生成时间，发送生成指标消息。否则，放入缓存。

步骤2.3定时调度，遍历缓存，判断当前时间是否大于要生成时间；如果大于生成时间，发送生成指标消息。

Claims (3)

1.一种交通行业指标数据编码及存储的方法，其特征在于：该方法由监测指标配置服务、监测指标数据生成服务组成；监测指标配置服务定义了指标数据的各属性及编码；监测指标数据生成服务根据监测指标配置服务定义的指标数据的属性及编码进而生成指标值，进而保存到分布式数据库中；具体实施的流程包括以下步骤：

步骤1：监测指标配置服务；

监测指标配置服务包括指标数据的空间维度维护、监测指标维护；指标数据的空间维度为树形结构，共8级，每一级占4位，为16进制数字，共32位，监测指标编码编码由服务后台根据规则自动生成；监测指标编码由空间维度编码+时间范围+日期特征+时间特征+指标+单位+来源组成；

步骤2：监测指标数据生成服务；

监测指标数据生成服务根据步骤1：监测指标配置服务中的监测指标编码生成指标值并存储；

接收主题库消息，根据配置生成指标值，获取和主题相关的指标集合；遍历指标并根据配置生成指标；其他依赖该指标的指标，通过调度生成；指标值存储在分布式数据库hbase中，使用“监测指标编码+时间”作为RowKey。

2.根据权利要求1所述的一种交通行业指标数据编码及存储的方法，其特征在于：监测指标配置，包括以下步骤：

步骤1.1整理原始数据，如：刷卡数据、流量数据等，找出数据与检测指标的关系；

步骤1.2整理空间维度数据，建立树形：线路、站点、检查站、检测器；将空间维度数据进行导入；

步骤1.3选择空间维度、指标、单位、时间范围、时间特征、来源、计算公式，创建监测指标。

3.根据权利要求1所述的一种交通行业指标数据编码及存储的方法，其特征在于：监测指标数据生成服务，包括以下步骤：

步骤2.1监听消息队列，找到关联的指标，生成指标数据；

步骤2.2如果生成成功，查询依赖该指标的其他指标，检查是否到生成时间，如果到了，发送生成指标消息；没有的话，放入缓存，通过定时调度触发；

步骤2.3定时调度，遍历缓存，如果生成时间到了，发送生成指标消息。