CN103701855B

CN103701855B - 基于ldm3的省域its大数据云处理中心构建实现方法

Info

Publication number: CN103701855B
Application number: CN201310629530.8A
Authority: CN
Inventors: 陈湘军; 阮雅端; 陈飞玲; 杨越; 盛希冬; 陈启美
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2013-11-30
Filing date: 2013-11-30
Publication date: 2016-10-12
Anticipated expiration: 2033-11-30
Also published as: CN103701855A

Abstract

基于LDM³的省域ITS大数据云处理中心构建实现方法，基于LDM³交通系统框架，实现分层分级的数据采集、处理与信息服务，所述省域ITS大数据云处理中心包括外场设备、交通数据云处理中心和服务接口，交通数据云处理中心设置分级数据库和应用服务器。本发明提出了省域智能交通数据采集、传输、存储、加工及服务的大数据云处理实现方法，构造了含并列位于逻辑顶层的信息汇聚层和应用层的立体信息网络架构LDM³，各应用层中的应用籍以信息交互、共享资源，摈弃设立大量中间件的“打补丁”交互方式。

Description

基于LDM3的省域ITS大数据云处理中心构建实现方法

技术领域

本发明属于智能交通信息技术领域，针对省域交通运营过程中的海量交通数据提供分层的数据源采集与存储、数据细化汇聚加工、信息推送实等数据处理流程，具体为一种基于LDM³的省域ITS大数据云处理中心构建实现方法。

背景技术

一般认为，大数据特性在于“4V，Volume、Velocity、Variety、Veracity”，即数据量大、速度变化快、多样性、价值密度低，智能运输系统ITS的大数据尤以代表。以江苏路网为例，全省高速公路总里程约5000km，省域内水网密布、长江穿越，春秋两季浓雾较多，路网车辆多、道路占有率高，交通流量大。就数据量来说，全省5000km高速公路按摄像机密度1路/2km，1Mbps/路，流量约2.5G/s，仅一天容量为200T。若另加有车检、微波、浮动车GPS、ETC收费等数据，数据量和复杂性更可观。然而平时，无事故时往往价值却不大；交通参数的分析，往往需辅加气象信息，予以关联。因此如何从高容度、看似非关联数据提取有价值的信息是十分重要的。

应用信息系统中，数据源是被动的，系统从功能出发，需要底层采集多元数据、经大量分析挖掘数据的复杂计算，获得自身所需信息。各应用系统各自独立，这就给应用系统间的信息交互带来一定困难。

应用信息系统对数据的需求，往往不一，如粒度或精度、历史数据再现、实时数据监测、未来趋势预测等等。ITS面临各种层面、不同粒度的信息流服务。

此外，ITS系统区域化分布，异构系统之间功能调用或数据交换需要大量的中间件或Agent代理，且易随系统扩展而膨胀。传统基于功能调用的方法无法应对未来ITS发展，必须构建基于信息流的服务点播与信息推送模式。

因此，值得研究运用云计算、大数据技术解决ITS问题。表1列出了ITS数据特点，以及存在的处理难点。

表1交通数据特点、处理难点

发明内容

本发明针对传统的智能交通数据源众多、异构、数据量大、用户需求不一等现状，为解决数据层次复杂，负载不均，系统结构复杂等问题，提供一种信的云处理中心构建实现方法。

本发明的技术方案为：基于LDM³的省域ITS大数据云处理中心构建实现方法，基于LDM³交通系统框架，实现分层分级的数据采集、处理与信息服务，所述省域ITS大数据云处理中心包括外场设备、交通数据云处理中心和服务接口，交通数据云处理中心设置分级数据库和应用服务器，其中：

LDM³交通系统框架在逻辑上由下至上包括实体层、网络传输层、信息汇聚层和应用层，对应到实体系统中：实体层对应外场设备，网络传输层为IP网络传输平台，信息汇聚层对应分级数据库，应用层对应应用服务器；实体层将采集的各种数据通过网络传输层传输至信息汇聚层，信息汇聚层对接受的信息进行统一处理，实现数据的统一采集，提供统一的数据交换格式，分级数据库是数据处理中心，信息汇聚层为应用层提供信息服务，应用层通过服务接口与外部用户连接，外部用户包括异构平台和其它数据系统。

信息汇聚层通过分级数据库实现物理与逻辑上的分层，逻辑上自底向上划分为“源数据库”、“细化汇聚数据库”及“应用推送精细库”三级，物理上分别对应设置数据库硬件，分级数据库进行数据处理时，使用“被动+主动+自动”信息获取与服务方式，所述“被动”指当外部用户或内部应用服务器向分级数据库提取数据时，分级数据库被动地向其提供数据；“主动”是指分级数据库主动向外部用户或内部应用服务器推送数据；“自动”是指外场设备、分级数据库与应用服务器之间的自动数据流动。

分级数据库中，源数据库为底层，采集存储外场设备的多源异构数据，并通过ASN.1协议和XML语言实现对不同厂家和接口的外场设备互操作与数据共享；细化汇聚数据库数据来源是底层源数据库的粗加工数据，将源数据库数据经过筛选、合并、并联的基本数据库操作，形成面向不同的ITS主题的专题数据；应用推送精细库是在细化汇聚数据库基础上再次精细加工而形成的信息流，加工手段包括视图聚合和规则挖掘，提供面向专门应用接口的信息流。

应用层的各应用服务器是基于分级数据库信息流构建的，包括交通态势、动态高危区域DBA、出行服务和网络服务质量评测，应用服务器中的系统构建采用基于信息流的软件工程方式，根据业务需要配备新的信息流，组合出新的应用模块，满足应用拓展需求。

服务接口包括Web服务和Web页面两种界面方式。

交通数据云处理中心以GIS地图为载体展示数据信息，根据数据信息信息特点，GIS地图被划分为基础地图、稳态地图、瞬态/动态地图3层。

本发明提出了省域智能交通数据采集、传输、存储、加工及服务的大数据云处理实现方法，构造了含并列位于逻辑顶层的信息汇聚层和应用层的立体信息网络架构LDM³，各应用层中的应用籍以信息交互、共享资源，摈弃设立大量中间件的“打补丁”交互方式。有益效果如下：

1）提出基于LDM³的顶层ITS架构，解决了各ITS规范标准；

2）提出统一基于LDM³底层原语、语法和通信协议。由于信息汇聚层提供了的统一的数据采集和交换格式，底层异构外场设备便于替换和信息穿层。基于ASN.1/XML/Web Service构造标准化的原语、协议和服务接口，解决异源设备互操作、异构系统功能调用与数据交换问题；

3）提出数据源的“被动、主动、自动”的信息获取流程。LDM³大数据云中心服务器分为“源数据库、汇聚细化数据库、应用推送精细库”三级，将数据量大而价值低数据，在云计算平台经过数据筛选、融合、关联挖掘等复杂高速运算，凝练成信息流后推送给各应用系统，降低应用层大量工作站/终端的运算载荷，降低设备“门槛”，节省大量资金；

4）通过交通数据云处理中心的分级数据库实现数据云端存储与调用，提供基于服务点播放和信息推送的信息流服务，基于云端存储、运算、服务，降低子系统设计的复杂性，减少终端运算负担，满足系统负载均衡设计要求；

5）提出面向ITS区域的统一分层地图，将地图分为基础地图、稳态地图、瞬态/动态地图，与云处理平台中的交通信息建立关联，基础地图对应路网，稳态地图对应基础设施，如摄像机、情报板、交通灯等，瞬态/动态地图对应实时交通状态，如车流参数，交通事件等。统一分层地图有利于分级处理与展现交通信息。

附图说明

图1为本发明的物理构架结构示意图。

图2为LDM³交通系统框架的逻辑结构示意图。

图3为LDM³交通系统框架的物理结构示意图。

图4为本发明云处理的流程示意图。

图5为服务接口的原理示意图，（a）为传统数据访问模式，（b）为本发明数据访问模式。

具体实施方式

本发明解决ITS中数据来源异构、数据量大、数据价值密度低、信息服务被动等现实问题，提供基于云平台的数据采集、加工与信息服务省域路网交通大数据处理方案。LDM³是本发明借鉴国外NTCIP、SAFESPOT等ITS体系架构提出的省域智能交通顶层设计框架结构，构造分层的省域智能交通数据采集、汇聚、存储、运算与服务的ITS大数据云中心，其物理结构如图1所示，LDM³是针对当前交通系统普遍缺乏顶层设计而提出来的逻辑框架，L指区域（Local），D指动态（Dynamic），M³分别指地图（Map）、多媒体（Multimedia）和管理（Management）；交通大数据云处理中心是构建在LDM³框架下的交通处理与信息服务中心，分级数据库是建立在云处理中心的数据处理中心，并从物理和逻辑层面划分为“源数据库”、“细化汇聚数据库”及“应用推送精细库”三级，负责接收底层外场设备数据，在云中心汇聚处理后，以信息流形式提供给内部的应用服务器和对外信息服务接口；信息服务接口具体对象为具体用户（交通管理者、出行者）或应用程序。

（一）LDM³交通系统顶层架构

LDM³框架的逻辑结构如图2所示，其强调区域、动态、地图/多媒体/管理的有机结合，提出与TCP/IP和物联网框架对应的“倒三角”立体框架，即实体层、信息汇聚层和应用层，该框架强调信息流层次的ITS子系统交互，消除了异构平台子系统信息孤岛现象，为ITS中众多采集、检测、传输子系统及其交互提供信息存储、处理、发布平台，提供构造覆盖“人·车·路”三位一体ITS智能交通系统的顶层架构。省域交通大数据云中心的构建实现就是基于此框架而分层构建的，即底层的外场设备层与实体层对应，数据库层与信息汇聚层对应，应用子系统对应于应用层。

欧盟、美国和日本是国外智能交通发表较好的区域。欧盟SAFESPOT项目构造动态协作网络，车辆与道路基础通信共享车载或路侧设施信息，从而提高行车效率；美国NTCIP是针对智能运输系统(ITS)的电子设备间数据传输所制定的标准通讯协议，其主要目标是确保交通控制与ITS系统组成单元彼此之间的“互操作性”(Interoperability)与“互换性”(Interchangeability)；日本智能交通注重实用性，于1994年1月成立了由当时的警察厅、通商产业省、运输省、邮政省、建设省五个部门支持的“道路·交通·车辆智能化推进协会（VERTIS）”，目的是促进日本在ITS领域中的技术、产品的研究开发及推广应用，日本新交通系统是日本实现智能交通的关键之一，在《日本ITS框架体系》的指导下，该系统设计由一个具有高性能的核心性综合交通控制中心和10个子系统组成信息分享。目前国内尚无针对ITS各应用子系统功能交互及数据交换规范的顶层架构。本发明LDM³框架使用标准原语与协议从顶层解决传统ITS功能独立、系统协作与数据交互困难的难题。

（二）分级数据库

分级数据库建立在云处理中心，负责数据采集入库、存储、运算与信息服务。分级数据库按物理和逻辑特征划分为源数据库、细化汇聚数据库、应用推送精细库。底层源数据库采集存储外场设备的多源异构数据，并通过ASN.1协议和XML语言实现对不同厂家和接口的外场设备互操作与数据共享；细化汇聚数据库数据来源是底层源数据库的粗加工数据，即将源数据库数据经过筛选、合并、并联等基本数据库操作，而形成的面向路网态势、交通事件、灾害天气等不同的ITS主题的专题数据；应用推送精细库是在细化汇聚数据库基础上再次精细加工而形成的信息流，具体加工手段有视图聚合、规则挖掘等，提供面向专门应用接口的信息流，如断面实时交通流、交通事件时空分布等。

为解决传统智能交通系统中外场异构设备数据采集与存储，实现不同应用系统功数据共享，消除信息孤岛。传统数据服务模式中，数据中心一般被响应应用系统的数据请求，以“被动”数据服务为主。本发明改传统被动信息服务为“被动+主动+自动”式信息服务，所谓“被动”指当外部用户或子系统向数据库提取数据时，数据库被动地向其提供数据；“主动”是指数据库主动向外部用户或子系统推送数据；“自动”是外场设备、数据库与应用系统之间自动数据流动。具体实现方法为建立分级数据库，外场设备通过标准原语，向源数据库注入原始数据（自动），源数据库区域化分布、海量存储；细化汇聚数据库通过高性能云服务器，将低价值密度的原始数据，汇聚成高价值的信息流，应用推送库装配精细应用信息流，推送给应用系统（主动）或提供服务点播（被动）。三层数据库的功能、属性、来源和内容如表2所示。

表2数据库分层

（三）交通大数据云处理中心系统结构

本发明省域ITS大数据云处理中心构建于LDM³框架下，共分三层。底层为外场设备，中间层为分级数据库，上层为应用系统，应用系统分别设置在各应用服务器中，如附图3和附图4所示。

外场设备包括车检线图、激光轮廓仪、RFID、红外/热成像摄像机、两客一危监测装置、出租车数据、监控摄像机、能见度仪、温度传感器、气象站数据等多种异构的数据采集设备，各种设备使用ASN.1外场设备协议原语标准，实时向数据库注入原始数据。

分级数据库分三级，即源数据库、汇聚细化数据库，应用推送精细库。

源数据库存储路网数据、车检器数据、浮动车数据、视频源、施工作业数据、气象基础数据，上述数据从外场设备实时采集数据，原始数据库记录、视频文件等形式分散存储在省域智能交通各子节点，数据库主要功能是存储各应用子系统的原始数据，并向上层汇聚细化数据库提供数据源。

细化汇聚数据库包括固定交通流参数库、浮动交通流参数库，交通事件、灾害天气等，本层数据库是经过源数据库加工而成的半成品数据库，面向ITS的各应用主题，如道路交通流、道路异常事件、灾害天气等。细化汇聚数据库集中存储在省域交通数据处理中心，借助云中心的高速度与大容量，为更上层面向应用推送数据提供基础。

应用推送精细数据库位于上述三层数据库顶层，主要为各应用子系统提供直接信息推送服务。本层数据以逻辑库为主，通过对汇聚细化实体库进行逻辑组合，以视图、临时表等形式体现。应用推送精细包括交通态势视图、DBA视图、出行服务视图、网络质量评测视图等专题，分别为路网交通态势系统提供车速、流量占有率，为高速公路动态高危（DBA）系统提供道路交通事件、灾害天气，为出行服务系统提供交通态势及出行信息、以及路网服务质量评测系统提供视图服务质量、网络质量等具体信息。本层数据库强调信息服务的灵活性与可扩展性，根据上层系统功能扩展，可灵活调整整合及新的信息服务逻辑。

应用系统架构在分层数据库之上，包括交通态势、动态高危区域(DBA)、出行服务、网络服务质量评测等子系统。各子系统之间的功能如附图4所示。

LDM³框架中的传输层/网络层是云处理中心数据和信息的基础传输网络。GIS地图是云中心信息展示承载体，根据信息特点，GIS地图被划分基础地图、稳态地图、瞬态/动态地图3层。

（四）信息服务接口设计

信息服务接口具体指云处理中心数据库与外部应用子系统之间的接口，解决传统应用系统直接访问数据库所带来扩展性、兼容性等系列问题，为保证不同平台、不同编程语言之间能相互调用，接口采用Web Services形式实现，如附图5所示。以下从设计原则、服务对象及接口格式详细阐述：

1)服务接口设计原则

标准化：统一数据格式与交互接口；

模块化：基于组件、信息流的服务方式，封闭内部运算与实现细节，提供透明接口；

可扩展性：使用高内聚低耦合设计原则，垂直与水平分层设计，保证后续扩展需要；

柔性粒度：针对不同部门，不同使用需要，提供不同粒度的服务接口及信息流；

遵循服务原语，原语与服务调用关系如下：

请求(Req)→服务连接

证实(Cfm)→连接确认

指示(Ind)→参数调用

响应(Res)→返回值

2)服务接口使用对象

交通管理决策部门（联网运营中心、运管所）

公共安全管理（交警、公安）

公众出行服务（司机、公众）

3)服务接口格式设计

服务接口应包括“功能描述”、“接口名称”、“参数说明”、“返回值”等具体字段描述，并给出接口实例和调用代码。

范例1：视频交通参数采集接口

（1）数据采集接口（视频交通参数采集）

功能描述：视频事件检测，识别目标速度后，即时向服务器报送设备编号，行车方向(N/S/E/W),车道（不分车道上报1），速度。上报频度以每个运动目标出现，不超过1次/秒。

接口描述（视频/流量检测速度）：

bool AddData_v_speed(string deviceId,intlane,charderection,int speed)

bool AddData_v_flow(string deviceId,intlane,charderection,float flow)

参数：

返回值：bool，true表示写入成功

范例2：信息服务推送接口（路网速度）

功能描述：返回路段所观测点均速度

接口描述：

stringget_status_aver_speed(int time_interval);

参数：time_interval表示间隔时间，1表示1min，5表示5min

返回数据格式:

stake_num,time,aver_speed#stake_num,time,aver_speed#stake_num,time,aver_speed

…

每条记录以#分隔，分别表示桩号，时间,平均速度；记录按桩号排序。

本发明借鉴目前异构平台数据交换、海量数据处理的一些技术手段，如，数据交换协议，分层处理，依托高性能云平台进行数据运算等，提出了专门针对交通数据的处理措施，提出基于LDM³智能交通架构的数据云端处理与服务模式，实现分层分级的数据采集、处理与信息服务。即源数据库层通过ASN.1标准原语实现底层设备数据统一采集；、细化汇聚层在云中心进行细化汇聚加工，形成加工主题库，以保证海量存储与处理负载需求；主题应用推送库在加工库基础上，针对不同应用需求，生成精细应用信息库，实现云端的信息调用与推送。

Claims

1.基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是基于LDM³交通系统框架，实现分层分级的数据采集、处理与信息服务，所述省域ITS大数据云处理中心包括外场设备、交通数据云处理中心和服务接口，交通数据云处理中心设置分级数据库和应用服务器，其中：

2.根据权利要求1所述的基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是信息汇聚层通过分级数据库实现物理与逻辑上的分层，逻辑上自底向上划分为“源数据库”、“细化汇聚数据库”及“应用推送精细库”三级，物理上分别对应设置数据库硬件，分级数据库进行数据处理时，使用“被动+主动+自动”信息获取与服务方式，所述“被动”指当外部用户或内部应用服务器向分级数据库提取数据时，分级数据库被动地向其提供数据；“主动”是指分级数据库主动向外部用户或内部应用服务器推送数据；“自动”是指外场设备、分级数据库与应用服务器之间的自动数据流动。

3.根据权利要求2所述的基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是分级数据库中，源数据库为底层，采集存储外场设备的多源异构数据，并通过ASN.1协议和XML语言实现对不同厂家和接口的外场设备互操作与数据共享；细化汇聚数据库数据来源是底层源数据库的粗加工数据，将源数据库数据经过筛选、合并、并联的基本数据库操作，形成面向不同的ITS主题的专题数据；应用推送精细库是在细化汇聚数据库基础上再次精细加工而形成的信息流，加工手段包括视图聚合和规则挖掘，提供面向专门应用接口的信息流。

4.根据权利要求1所述的基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是应用层的各应用服务器是基于分级数据库信息流构建的，包括交通态势、动态高危区域DBA、出行服务和网络服务质量评测，应用服务器中的系统构建采用基于信息流的软件工程方式，根据业务需要配备新的信息流，组合出新的应用模块，满足应用拓展需求。

5.根据权利要求1所述的基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是服务接口包括Web服务和Web页面两种实现方式。

6.根据权利要求1-5任一项所述的基于LDM³的省域ITS大数据云处理中心构建实现方法，其特征是交通数据云处理中心以GIS地图为载体展示数据信息，根据数据信息信息特点，GIS地图被划分为基础地图、稳态地图、瞬态/动态地图3层。