CN105183834B - 一种基于本体库的交通大数据语义应用服务方法 - Google Patents

Abstract

本发明的技术方案是提供了一种基于本体库的交通大数据语义应用服务方法，其特征在于，包括：第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计；第二步、基于语义逻辑进行数据访问。本发明所述基于交通本体的交通大数据语义应用服务架构方法，旨在解决多源异构数据在HADOOP/关系数据库集成环境下的本体化组织与智能服务，尤其是支持未来大数据开放服务环境下人们通过语音、文字调取精确数据资源及相应服务的关键技术问题。

Description

一种基于本体库的交通大数据语义应用服务方法

技术领域

本发明涉及一种基于本体库的交通大数据语义应用服务方法，针对多源异构城市交通数据的关联组织、集成管理及智能化服务难题，提出基于交通数据本体的大数据语义服务架构设计与服务流程，支撑社会公众能够通过语音指令、自然语言中的关键词获得数据查询、服务及产品，属于智能交通领域。

背景技术

城市交通信息化建设经过多年的发展，积累了大量的数据资源，并且这些数据资源分散在各个行业部门、平台系统中，为信息化服务发挥了巨大作用。但随着数据规模的快速增长，尤其是大数据应用的开放需求，对当前数据存储与应用模式带来新的挑战。从目前的数据应用过程来看，交通信息化系统中数据的组织与管理主要存在以下问题：

(1)数据存储孤立：通过各种检测设备采集的交通数据分别存储在独立的数据表中，数据结构也不相同，不同时期工程建设采集的数据并没有进行统一整合，使得编码格式、数据格式异常繁杂，造成查询数据效率低下，多源关联与深度应用极度困难。

(2)数据与来源分离：通过关系表的存储模式，使得数据与来源分离，通过数据本身并不清楚与设备的关系及所在路网的位置，其结果使得算法应用与关联分析工作需要开展多次配置，造成重复劳动。

(3)数据存储未标准化：同类数据在不同部门或平台存储的格式并不统一，在进行数据网络化传输过程中存在不一致情况，使得在线使用异地数据非常困难，难于支持未来大规模多源异构数据的网络化应用。

基于大数据技术解决城市智能交通信息孤岛、多源异构海量数据一致化组织与一体化管理已经被认为是解决以上问题的一种有效解决方案，通过HADOOP与关系数据库组合的大数据集群与存储方案，能够为结构化、半结构化和非结构化的多源异构交通数据带来全新的管理解决方案。同时，语义网技术可以将多元异构数据进行标准化、统一化处理，实现智能化语义搜索，为人工数据查询及系统工作应用提供快速准确的数据检索服务。其中，本体技术可以将不同来源的交通数据通过建模、范式、语言和软件工具进行翻译和映射，以实现数据在不同系统之间的互操作和继承。

发明内容

本发明的目的是基于大数据、语义网等先进技术，提出一种基于本体库的交通大数据平台架构方法，优化普通公众用户获取数据的方法和服务流程，为交通领域数据开放发展提供关键技术支撑。

为了达到上述目的，本发明的技术方案是提供了一种基于本体库的交通大数据语义应用服务方法，其特征在于，包括：

第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计，其中：

数据ETL层用于：数据抽取、转换和加载层，为外部平台多源异构数据提供字段拆解、过滤和重构；经由数据ETL层抽取的外源数据，将分解成集中存储的大数据文件和交通数据本体，分别落实到交通数据本体层和大数据存储层；

交通数据本体层：由本体库、交通网模型共同支持交通数据本体层，接收数据ETL层重构得到的数据本体对象及关系，接入道路网络拓扑关系模型，二者经过映射文件整合，分解数据资源与数据关系加载到该层；

大数据集群层：用于完成交通数据本体的存储与管理，并提供大数据文件存储及本体关联管理；

数据访问服务层：用于完成对数据访问的调度与工具接口，接收来自应用服务逻辑层的任务，并根据指令发布给大数据集群，提取本体对象及大数据文件地址，最终执行数据读取；

应用服务逻辑层：根据语义访问接口层发出的自然语言指令，按照本体数据组织规则，执行分解、关联、整合、创建语言指令到本体对象的逻辑任务，向数据访问管理层发出数据调用动作，实现语言到数据的链接，驱动交通数据本体层与大数据存储层；根据大数据集群完成的处理任务，执行分解、关联、整合、创建数据分析结果到语义指令的逻辑任务，向语义访问接口层发出语义处理动作，实现数据对象到自然语言的链接；

语义访问接口层：人机交互接口，接收人发出的文字、语音指令，并把指令经过应用服务逻辑的分解生成数据访问任务；接收数据查询与分析的语义结果，并翻译成人们可接受的自然语言表达；

大数据存储层：接收数据ETL层发送的数据体，经过转换后的多源异构数据，将统一加载到大数据文件、表存储层，所有带有时间过程的数据记录，都保存到存储层，通过键-值对形式，与交通数据本体层保持一对一互联，接受数据访问接口层调用；

第二步、基于语义逻辑进行数据访问，其中，交通大数据搜索主要包括对交通大数据的存储和语义搜索结果的二次搜索；交通应用主要是根据交通相关算法对大数据的搜索结果进行数据处理，包括以下步骤：

步骤2.1、通过语义访问接口层发出应用请求，将用户选择的应用模块和查询约束条件传递给应用服务逻辑层；

步骤2.2、应用服务逻辑层发出服务请求，利用内嵌的分析任务模块匹配和初始化分析或查询任务，选择对应的算法调用流程；

步骤2.3、应用服务逻辑层向数据访问服务层发出调用请求，将算法流程和查询参数传给数据访问服务层中的任务调度模块；

步骤2.4、数据访问服务层输出数据查询请求，根据查询任务将查询约束条件传递给大数据集群层；

步骤2.5、大数据集群层输出解析模型：将匹配后的解析模型传递给生成查询计划模块，查询计划模块向交通数据本体层发出数据调用请求；

步骤2.6、交通数据本体层输出查询任务，通过本体匹配与比对，交通数据本体层将计划任务的数据查询地址输出给大数据集群层；

步骤2.7、大数据集群层向HBase数据库发出调用请求，从HBase中调用RDF数据，即对应的数据表地址，并完成数据地址匹配和验证；

步骤2.8、由大数据集群层返回调用请求给数据访问接口，输出查询指令；

步骤2.9、大数据集群层返回查询数据表信息，将和查询任务有关的有效的数据表地址信息返回给任务调度模块。

步骤2.10、大数据集群层返回查询数据表信息，将需要的参数传输给数据表文件和分析任务，通过数据读取引擎抽取数据；

步骤2.11、由数据访问服务层返回查询数据结果，返回查询的数据本体及值数据结果；

步骤2.12、数据访问服务层输出调用指令，根据算法设计流程按照顺序调用数据计算模块，并交由大数据集群完成计算；

步骤2.13、大数据集群层输出结果，返回过程计算量和总的计算结果给数据访问管理层；

步骤2.14、数据访问服务层返回请求结果，返回最终结果数据结构给应用服务逻辑层，完成语义化回滚；

步骤2.15、应用服务逻辑层返回服务结果，将经过语义回滚的数据包返回给语义访问接口层；

步骤2.16、语义访问接口层结果表达，通过为数据结果建立语义关系完成自然语言创建，并通过调用可视化接口完成数据结果再GIS地图或列表清单中的可视化。

优选地，所述大数据集群层由HADOOP集群、HBase集群两个部分构成。

本发明所述基于交通本体的交通大数据语义应用服务架构方法，旨在解决多源异构数据在HADOOP/关系数据库集成环境下的本体化组织与智能服务，尤其是支持未来大数据开放服务环境下人们通过语音、文字调取精确数据资源及相应服务的关键技术问题。

本发明具有如下优点：

1、解决了多源异构数据孤立的问题，实现了交通数据的组网管理，为大数据应用的强关联分析提供基础；

2、打破关系表管理模式，实现数据与来源设备、人、设施对象的绑定，数据轨迹清晰；

3、数据存储与组织标准化，实现元数据与值数据的分体存储、耦合管理，元数据按照标准本体结构存储，值数据按照统一的表、文件存储，便于维护与使用；

4、实现系统智能，通过数据有物理含义的逻辑组网与关联，把数据之间的知识建立起了联系，实现了系统的半智能性，极大提高了人们使用数据的简便性与舒适性。

附图说明

图1为基于本体的交通大数据平台构架设计；

图2为基于对象化组织的交通本体；

图3为基于路网模型的交通数据本体关系。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明中涉及的概念介绍如下：

本体：根据计算机领域主流定义，本体是概念化的、明确的、规范说明一个事物或对象的名词概念，用来表达一个事物的本身。有交通数据对象大量本体构成的数据库称为交通本体库。

语义网：用来表达一个数据相互连接并能被反复重用的网络，简单地说，语义网是一种智能网络，它不但能够理解词语和概念，而且还能够理解它们之间的逻辑关系，可以使交流变得更有效率和价值。

HADOOP系统：是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

MapReduce：是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)″和"Reduce(归约)″，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。

HBase数据库：是一个分布式的、面向列的开源数据库。

交通网模型：包括快速路网、高速公路网、地面道路、公交网、轨道交通网模型，是指一套具有道路几何关系与拓扑关系的交通对象组织结构，通过该结构将支持路径搜索、对象查询、交通仿真等应用。

ETL：是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

结合图1至图3，本发明提供的一种基于本体库的交通大数据语义应用服务方法包含两个主要部分：第一部分：基于本体库的交通大数据平台架构。其中，道路交通本体库构建包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层模块的逻辑设计。第二部分：基于语义逻辑的数据访问。其中，交通大数据搜索主要包括对交通大数据的存储和语义搜索结果的二次搜索；交通应用主要是根据交通相关算法对大数据的搜索结果进行数据处理。

在第一部分中，数据ETL层用于：数据抽取、转换和加载层，为外部平台多源异构数据提供字段拆解、过滤和重构；经由数据ETL层抽取的外源数据，将分解成集中存储的大数据文件和交通数据本体，分别落实到交通数据本体层和大数据存储层；

交通数据本体层：由本体库、交通网模型共同支持交通数据本体层，接收数据ETL层重构得到的数据本体对象及关系，接入道路网络拓扑关系模型，二者经过映射文件整合，分解数据资源与数据关系加载到该层；

大数据集群层：由HADOOP集群、HBase集群两个部分构成，完成交通数据本体RDF文件的存储与管理，并提供大数据文件存储及本体关联管理；

数据访问服务层：由MapReduce机制完成对数据访问的调度与工具接口，接收来自应用服务逻辑层的任务，并根据指令发布给大数据集群，提取本体对象及大数据文件地址，最终执行数据读取；

应用服务逻辑层：根据语义访问接口层发出的自然语言指令(语音或文字)，按照本体数据组织规则，执行分解、关联、整合、创建语言指令到本体对象的逻辑任务，向数据访问管理层发出数据调用动作，实现语言到数据的链接，驱动交通数据本体层与大数据存储层；根据大数据集群完成的处理任务，执行分解、关联、整合、创建数据分析结果到语义指令的逻辑任务，向语义访问接口层发出语义处理动作，实现数据对象到自然语言的链接；

语义访问接口层：人机交互接口，接收人发出的文字、语音指令，并把指令经过应用服务逻辑的分解生成数据访问任务；接收数据查询与分析的语义结果，并翻译成人们可接受的自然语言表达；

大数据存储层：接收数据ETL层发送的数据体，经过转换后的多源异构数据，将统一加载到大数据文件、表存储层，所有带有时间过程的数据记录，都保存到存储层，通过键-值对形式，与交通数据本体层保持一对一互联，接受数据访问接口层调用。

第二部分则包括以下步骤：

第一步、通过语义访问接口层发出应用请求，将用户选择的应用模块和查询约束条件传递给应用服务逻辑层；

第二步、应用服务逻辑层发出服务请求，利用内嵌的分析任务模块匹配和初始化分析或查询任务，选择对应的算法调用流程；

第三步、应用服务逻辑层向数据访问服务层发出调用请求，将算法流程和查询参数传给数据访问服务层中的任务调度模块；

第四步、数据访问服务层输出数据查询请求，根据查询任务将查询约束条件传递给大数据集群层；

第五步、大数据集群层输出解析模型：将匹配后的解析模型传递给生成查询计划模块，查询计划模块向交通数据本体层发出数据调用请求；

第六步、交通数据本体层输出查询任务，通过本体匹配与比对，交通数据本体层将计划任务的数据查询地址输出给大数据集群层；

第七步、大数据集群层向HBase数据库发出调用请求，从HBase中调用RDF数据，即对应的数据表地址，并完成数据地址匹配和验证；

第八步、由大数据集群层返回调用请求给数据访问接口，输出查询指令；

第九步、大数据集群层返回查询数据表信息，将和查询任务有关的有效的数据表地址信息返回给任务调度模块。

第十步、大数据集群层返回查询数据表信息，将需要的参数传输给数据表文件和分析任务，通过数据读取引擎抽取数据；

第十一步、由数据访问服务层返回查询数据结果，返回查询的数据本体及值数据结果；

第十二步、数据访问服务层输出调用指令，根据算法设计流程按照顺序调用数据计算模块，并交由大数据集群完成计算；

第十三步、大数据集群层输出结果，返回过程计算量和总的计算结果给数据访问管理层；

第十四步、数据访问服务层返回请求结果，返回最终结果数据结构给应用服务逻辑层，完成语义化回滚；

第十五步、应用服务逻辑层返回服务结果，将经过语义回滚的数据包返回给语义访问接口层；

第十六步、语义访问接口层结果表达，通过为数据结果建立语义关系完成自然语言创建，并通过调用可视化接口完成数据结果再GIS地图或列表清单中的可视化。

Claims (2)

1.一种基于本体库的交通大数据语义应用服务方法，其特征在于，包括：

第一步、架构基于本体库的交通大数据平台，该交通大数据平台包括交通数据本体层、交通网模型，数据ETL层、大数据集群层、数据访问服务层、应用服务逻辑层、大数据存储层、语义访问接口层，其中：

数据ETL层：数据抽取、转换和加载层，为外部平台多源异构数据提供字段拆解、过滤和重构；经由数据ETL层抽取的外源数据，将分解成集中存储的大数据文件和交通数据本体，分别落实到交通数据本体层和大数据存储层；

交通数据本体层：由本体库、交通网模型共同支持交通数据本体层，接收数据ETL层重构得到的数据本体对象及关系，接入道路网络拓扑关系模型，二者经过映射文件整合，分解数据资源与数据关系加载到该层；

大数据集群层：用于完成交通数据本体的存储与管理，并提供大数据文件存储及本体关联管理；

数据访问服务层：用于完成对数据访问的调度与工具接口，接收来自应用服务逻辑层的任务，并根据指令发布给大数据集群层，提取本体对象及大数据文件地址，最终执行数据读取；

应用服务逻辑层：根据语义访问接口层发出的自然语言指令，按照本体数据组织规则，执行分解、关联、整合、创建语言指令到本体对象的逻辑任务，向数据访问服务层发出数据调用动作，实现语言到数据的链接，驱动交通数据本体层与大数据存储层；根据大数据集群层完成的处理任务，执行分解、关联、整合、创建数据分析结果到语义指令的逻辑任务，向语义访问接口层发出语义处理动作，实现数据对象到自然语言的链接；

语义访问接口层：人机交互接口，接收人发出的文字、语音指令，并把指令经过应用服务逻辑的分解生成数据访问任务；接收数据查询与分析的语义结果，并翻译成人们可接受的自然语言表达；

大数据存储层：接收数据ETL层发送的数据体，经过转换后的多源异构数据，将统一加载到大数据存储层，所有带有时间过程的数据记录，都保存到大数据存储层，通过键-值对形式，与交通数据本体层保持一对一互联，接受数据访问服务层调用；

第二步、基于语义逻辑进行数据访问，其中，交通大数据搜索包括对交通大数据的存储和语义搜索结果的二次搜索；交通应用根据交通相关算法对大数据的搜索结果进行数据处理，包括以下步骤：

步骤2.1、通过语义访问接口层发出应用请求，将用户选择的应用模块和查询约束条件传递给应用服务逻辑层；

步骤2.2、应用服务逻辑层发出服务请求，利用内嵌的分析任务模块匹配和初始化分析或查询任务，选择对应的算法调用流程；

步骤2.3、应用服务逻辑层向数据访问服务层发出调用请求，将算法流程和查询参数传给数据访问服务层中的任务调度模块；

步骤2.4、数据访问服务层输出数据查询请求，根据查询任务将查询约束条件传递给大数据集群层；

步骤2.5、大数据集群层输出解析模型，将输出的解析模型传递给查询计划模块，查询计划模块向交通数据本体层发出数据调用请求；

步骤2.6、交通数据本体层输出查询任务，通过本体匹配与比对，交通数据本体层将计划任务的数据查询地址输出给大数据集群层；

步骤2.7、大数据集群层向HBase数据库发出调用请求，从HBase数据库中调用RDF数据，即对应的数据表地址，并完成数据地址匹配和验证；

步骤2.8、由大数据集群层返回调用请求给数据访问接口，输出查询指令；

步骤2.9、大数据集群层返回查询数据表信息，将和查询任务有关的有效的数据表地址信息返回给任务调度模块；

步骤2.10、大数据集群层返回查询数据表信息，将需要的参数传输给数据表文件和分析任务，通过数据读取引擎抽取数据；

步骤2.11、由数据访问服务层返回查询数据结果，返回查询的数据本体及值数据结果；

步骤2.12、数据访问服务层输出调用指令，根据算法设计流程按照顺序调用数据计算模块，并交由大数据集群完成计算；

步骤2.13、大数据集群层输出结果，返回过程计算量和总的计算结果给数据访问服务层；

步骤2.14、数据访问服务层返回请求结果，返回最终结果给应用服务逻辑层，完成语义化回滚；

步骤2.15、应用服务逻辑层返回服务结果，将经过语义回滚的数据包返回给语义访问接口层；

步骤2.16、语义访问接口层结果表达：通过为数据结果建立语义关系完成自然语言创建，并通过调用可视化接口完成数据结果在GIS地图或列表清单中的可视化。

2.如权利要求1所述的一种基于本体库的交通大数据语义应用服务方法，其特征在于，所述大数据集群层由HADOOP集群、HBase集群两个部分构成。