CN105701193A - 一种交通大数据动态信息快速搜索方法及其应用 - Google Patents

一种交通大数据动态信息快速搜索方法及其应用 Download PDF

Info

Publication number
CN105701193A
CN105701193A CN201610014922.7A CN201610014922A CN105701193A CN 105701193 A CN105701193 A CN 105701193A CN 201610014922 A CN201610014922 A CN 201610014922A CN 105701193 A CN105701193 A CN 105701193A
Authority
CN
China
Prior art keywords
traffic
data
information
ontology
road traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610014922.7A
Other languages
English (en)
Inventor
凌卫青
王坚
闫俊伟
戴毅茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201610014922.7A priority Critical patent/CN105701193A/zh
Publication of CN105701193A publication Critical patent/CN105701193A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种交通大数据动态信息快速搜索方法及其应用,所述快速搜索方法包括以下步骤:A1)接收搜索任务;A2)根据所述搜索任务在构建的道路交通本体库进行语义搜索,得到对应的动态信息和语义信息;所述道路交通本体库的构建具体为:A21)构建道路交通本体模型,利用D2RQ映射语言制定映射规则,进而获得相应的映射文件;A22)获取大数据平台上的静态交通数据和动态交通数据存储信息;A23)根据道路交通本体模型和映射文件将所述静态交通数据和动态交通数据存储信息映射成本体实例数据;A24)根据所述本体实例数据生成道路交通本体库。与现有技术相比,本发明具有有效提高搜索效率、保障对多源异构的交通大数据分析准确性等优点。

Description

一种交通大数据动态信息快速搜索方法及其应用
技术领域
本发明涉及智能交通系统集成领域,尤其是涉及一种交通大数据动态信息快速搜索方法及其应用。
背景技术
随着交通基础设施建设的不断投入和人民生活水平的持续提高,交通设施规模和交通工具数量正以惊人的速度攀升,交通拥堵、交通事故的发生频率也随之增加,给交通管理带来了巨大挑战。交通政策需要利用大数据分析技术指导交通发展的时代即将来临。城市交通信息化建设经过多年的发展,积累了大量的数据资源,并且这些数据资源分散在各个行业部门、平台系统中,为信息化服务发挥了巨大作用。但随着数据规模的快速增长,尤其是大数据应用的开放需求,对当前数据存储与应用模式带来新的挑战。对大数据进行分析之前需要进行大数据的搜索,但由于交通领域信息资源具有异质、异构的特征,传统的基于关键字的搜索很难满足大数据分析多源多维数据关联分析及知识挖掘的查询要求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种有效提高搜索效率、保障对多源异构的交通大数据分析准确性的交通大数据动态信息快速搜索方法及其应用。
本发明的目的可以通过以下技术方案来实现:
一种交通大数据动态信息快速搜索方法,包括以下步骤:
A1)接收搜索任务;
A2)根据所述搜索任务在构建的道路交通本体库进行语义搜索,得到对应的动态信息和语义信息;
所述道路交通本体库用于将道路交通信息进行语义关联,其构建具体为:
A21)构建道路交通本体模型,利用D2RQ映射语言制定映射规则,进而获得相应的映射文件;
A22)获取大数据平台上的静态交通数据和动态交通数据存储信息;
A23)根据道路交通本体模型和映射文件将所述静态交通数据和动态交通数据存储信息映射成本体实例数据;
A24)根据所述本体实例数据生成道路交通本体库。
所述步骤A21)中,道路交通本体模型的构建具体为:
A211)根据道路交通领域基本概念及相互关联,绘制道路交通概念关系图;
A212)获取大数据平台上的静态交通数据和动态交通数据存储信息,将静态交通数据与动态交通数据通过动态交通数据存储信息进行相互关联,从地理对象、几何对象、道路设备、道路交通信息、道路交通对象、存储信息六个层次对所述道路交通领域概念关系图进行描述,生成道路交通本体模型。
所述动态交通数据存储信息包括动态交通数据的采集设备信息、在大数据平台的存储地址、采集数据类型和采集数据种类。
所述映射规则包括类映射规则、子类映射规则、对象属性映射规则和数值属性映射规则。
所述步骤A2)中,进行语义搜索后,获得动态交通数据存储信息和语义信息,再以所述动态交通数据存储信息作为大数据搜索条件,对大数据表进行二次搜索,得到搜索结果。
一种基于本体的交通大数据应用服务方法,包括以下步骤:
B1)获取应用需求,应用分析模块对所述应用需求进行分析和任务分配;
B2)获取应用分析模块分配的任务;
B3)根据权利要求1-5所述的交通大数据动态信息快速搜索方法获得对应的动态信息和语义信息;
B4)根据所述任务获取相匹配的算法模型;
B5)根据所述动态信息、语义信息及算法模型返回与应用需求相应的应用请求结果。
该应用服务方法基于Hadoop平台实现。
所述相匹配的算法模型由MapReduce模块匹配获得。
与现有技术相比,本发明具有以下有益效果:
(1)本体作为一种能在语义和知识层次上描述信息系统的概念模型,提供了资源描述和查询所必需的元语、可以为信息源提供必要的语义标注且具有良好的概念层次结构和对逻辑推理的支持。本申请根据交通数据的性质将其分为静态交通数据和动态交通数据,并由动态交通数据存储信息将静态交通数据与动态交通数据关联起来,建立道路交通本体库,通过对本体库的语义搜索,确保大数据搜索的快速有效。
(2)由于交通数据具有多维多量的特性,通过构建本体模型对交通数据进行关联描述,可使原有的交通信息数据具有统一的数据模型,为交通大数据分析提供了有力的技术保障。本申请通过构建道路交通本体库,为大数据分析提供全面、可靠的数据信息。
(3)本发明构建的道路交通本体模型描述了道路交通领域的共享词汇,这些词汇涵盖了地理对象、几何对象、道路设备、道路交通信息、道路交通对象和存储信息以及它们之间的关系,所构建的道路交通本体模型信息全面可靠,进而提高了大数据搜索的快速性。
(4)本发明将本体、语义网引入到交通大数据分析中,确保了道路交通数据的语义统一,保障了对多源异构的交通大数据分析准确性、快速性,在实现多源异构数据整合的同时又为大数据分析提供了语义逻辑支持。
附图说明
图1(a)为动态交通数据存储信息抽取实例;
图1(b)为动态交通数据存储信息关联实例;
图2为道路交通本体模型构建示意图;
图3为南北高架本体模型实例;
图4为道路交通本体模型及本体库构建流程示意图;
图5为本发明大数据应用服务流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本体作为一种能在语义和知识层次上描述信息系统的概念模型,提供了资源描述和查询所必需的元语、可以为信息源提供必要的语义标注且具有良好的概念层次结构和对逻辑推理的支持。本发明根据交通信息性质将交通数据分为静态数据和动态数据,并建立静态数据与动态数据存储信息之间的关联;根据已有交通数据关联,对交通信息进行道路交通本体模型的建模,建立交通静态数据(含动态存储信息)对应的道路交通本体库;将本体库作为大数据分析与大数据存储的中间语义逻辑层,通过对本体库的语义搜索实现对交通动态信息的准确快速搜索。
动态交通数据存储信息由大数据平台中抽取,这些存储信息包括动态交通数据的采集设备信息、在大数据平台的存储地址、采集数据类型和采集数据种类。以线圈NBDX01为例对动态交通数据存储信息抽取进行说明。如图1(a)所示,线圈NBDX01作为采集设备,对其采集数据的存储信息进行抽取,包括:设备ID、设备类型、存储表名称、采集数据类型和采集数据种类。其中,存储信息之间的关联如图1(b)所示,不同类型的设备对应多种采集数据类型,而不同采集数据类型对应不同的采集数据种类,如线圈NBDX01为设备类型为检测器,该检测器对应的采集数据类型包括Loopgroop_20s、Loopgroop_5min、LPRE等,其中,采集数据类型Loopgroop_20s对应的采集数据种类包括FDT_TIME、FSTR_VALIDITY、FINT_LV等。
如图2所示,进行道路交通本体模型的建模时,根据交通领域知识,将静态交通信息和动态交通数据的存储信息进行关联分析,进行面向交通大数据分析的道路交通本体建模。本实施例建立的道路交通本体模型将道路交通静态信息与动态信息通过动态数据采集设备进行关联,同时将大数据平台的动态数据通过动态数据存储信息与道路交通本体模型关联,其描述了道路交通领域的共享词汇,这些词汇涵盖了地理对象、几何对象、道路设备、道路交通信息、道路交通对象和存储信息以及他们之间的关系。
道路交通本体模型的构建具体描述为:
A211)根据道路交通领域基本概念及相互关联,绘制道路交通概念关系图;
A212)获取大数据平台上的静态交通数据和动态交通数据存储信息,将静态交通数据与动态交通数据通过动态交通数据存储信息进行相互关联,从地理对象、几何对象、道路设备、道路交通信息、道路交通对象、存储信息六个层次对道路交通领域概念关系图进行描述,生成道路交通本体模型。
获得道路交通本体模型后,可利用protégé本体构建工具进行本体模型开发,即使领域知识形式化。
以南北高架道路为例对道路交通本体模型进行说明。如图3所示,南北高架道路是地理对象实例,南北高架道路在地图上的位置描述是几何对象实例,南北高架道路上的线圈NBDX02,是道路设备实例,线圈NBDX02采集的数据类型FINT_LV是道路交通信息实例,线圈NBDX02采集的数据类型FINT_LV描述的大型车是道路交通对象实例,线圈NBDX02具有的存储信息StorageInf_NBDX02是存储信息实例,StorageInf_NBDX02描述线圈NBDX02采集的数据类型FINT_LV在大数据平台的存储地址。
道路交通本体库用于将道路交通信息进行语义关联,如图4所示,其构建具体为:
A21)构建道路交通本体模型,利用D2RQ映射语言制定映射规则,进而获得相应的映射文件,映射规则包括类映射规则、子类映射规则、对象属性映射规则和数值属性映射规则;
A22)获取大数据平台上的静态交通数据和动态交通数据存储信息;
A23)采用JENA开发平台,调用D2RQ映射引擎,根据道路交通本体模型和映射文件将静态交通数据和动态交通数据存储信息映射成本体实例数据;
A24)根据本体实例数据生成道路交通本体库。
道路交通本体库将道路交通信息进行语义关联,在大数据分析与大数据存储之间建立了一层语义逻辑层—语义网。所述语义网提供了大数据分析的语义搜索功能,主要包括:查询请求匹配、查询任务生成、推理任务生成和查询结果解析。通过语义网可以为大数据分析提供快速准确的大数据搜索结果。
由上述描述,本实施例提供一种交通大数据动态信息快速搜索方法,包括以下步骤:
A1)接收搜索任务;
A2)根据所述搜索任务在构建的道路交通本体库进行语义搜索,进行语义搜索后,获得动态交通数据存储信息和语义信息,再以所述动态交通数据存储信息作为大数据搜索条件,对大数据表进行二次搜索,得到搜索结果。
如图5所示,上述交通大数据动态信息快速搜索方法可应用于基于本体的交通大数据应用服务,该应用服务基于Hadoop平台实现,包括以下步骤:
B1)获取应用需求,应用分析模块对应用需求进行分析,并进行匹配判断后,在匹配成功后进行任务分配,若不成功则需重新获取应用需求;
B2)获取应用分析模块分配的任务;
B3)根据上述交通大数据动态信息快速搜索方法获得对应的动态信息和语义信息;
B4)根据任务由MapReduce模块获取相匹配的算法模型;
B5)根据动态信息、语义信息及算法模型进行数据分析,返回与应用需求相应的应用请求结果。

Claims (8)

1.一种交通大数据动态信息快速搜索方法,其特征在于,包括以下步骤:
A1)接收搜索任务;
A2)根据所述搜索任务在构建的道路交通本体库进行语义搜索,得到对应的动态信息和语义信息;
所述道路交通本体库用于将道路交通信息进行语义关联,其构建具体为:
A21)构建道路交通本体模型,利用D2RQ映射语言制定映射规则,进而获得相应的映射文件;
A22)获取大数据平台上的静态交通数据和动态交通数据存储信息;
A23)根据道路交通本体模型和映射文件将所述静态交通数据和动态交通数据存储信息映射成本体实例数据;
A24)根据所述本体实例数据生成道路交通本体库。
2.根据权利要求1所述的交通大数据动态信息快速搜索方法,其特征在于,所述步骤A21)中,道路交通本体模型的构建具体为:
A211)根据道路交通领域基本概念及相互关联,绘制道路交通概念关系图;
A212)获取大数据平台上的静态交通数据和动态交通数据存储信息,将静态交通数据与动态交通数据通过动态交通数据存储信息进行相互关联,从地理对象、几何对象、道路设备、道路交通信息、道路交通对象、存储信息六个层次对所述道路交通领域概念关系图进行描述,生成道路交通本体模型。
3.根据权利要求1或2所述的交通大数据动态信息快速搜索方法,其特征在于,所述动态交通数据存储信息包括动态交通数据的采集设备信息、在大数据平台的存储地址、采集数据类型和采集数据种类。
4.根据权利要求1所述的交通大数据动态信息快速搜索方法,其特征在于,所述映射规则包括类映射规则、子类映射规则、对象属性映射规则和数值属性映射规则。
5.根据权利要求1所述的交通大数据动态信息快速搜索方法,其特征在于,所述步骤A2)中,进行语义搜索后,获得动态交通数据存储信息和语义信息,再以所述动态交通数据存储信息作为大数据搜索条件,对大数据表进行二次搜索,得到搜索结果。
6.一种基于本体的交通大数据应用服务方法,其特征在于,包括以下步骤:
B1)获取应用需求,应用分析模块对所述应用需求进行分析和任务分配;
B2)获取应用分析模块分配的任务;
B3)根据权利要求1-5所述的交通大数据动态信息快速搜索方法获得对应的动态信息和语义信息;
B4)根据所述任务获取相匹配的算法模型;
B5)根据所述动态信息、语义信息及算法模型返回与应用需求相应的应用请求结果。
7.根据权利要求6所述的基于本体的交通大数据应用服务方法,其特征在于,该应用服务方法基于Hadoop平台实现。
8.根据权利要求6所述的基于本体的交通大数据应用服务方法,其特征在于,所述相匹配的算法模型由MapReduce模块匹配获得。
CN201610014922.7A 2016-01-11 2016-01-11 一种交通大数据动态信息快速搜索方法及其应用 Pending CN105701193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610014922.7A CN105701193A (zh) 2016-01-11 2016-01-11 一种交通大数据动态信息快速搜索方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610014922.7A CN105701193A (zh) 2016-01-11 2016-01-11 一种交通大数据动态信息快速搜索方法及其应用

Publications (1)

Publication Number Publication Date
CN105701193A true CN105701193A (zh) 2016-06-22

Family

ID=56227102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610014922.7A Pending CN105701193A (zh) 2016-01-11 2016-01-11 一种交通大数据动态信息快速搜索方法及其应用

Country Status (1)

Country Link
CN (1) CN105701193A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327870A (zh) * 2016-09-07 2017-01-11 武汉大学 交通大数据采集中交通流分布估计及摄像头布点优化方法
CN106484808A (zh) * 2016-09-23 2017-03-08 上海电科智能系统股份有限公司 一种交通对象全息电子档案数据建模方法
CN106570081A (zh) * 2016-10-18 2017-04-19 同济大学 基于语义网的大规模离线数据分析框架
CN107315796A (zh) * 2017-06-19 2017-11-03 北京易华录信息技术股份有限公司 一种基于大数据的交通警情研判分析系统及方法
CN108427709A (zh) * 2018-01-25 2018-08-21 朗新科技股份有限公司 一种多源海量数据处理系统及方法
CN108628959A (zh) * 2018-04-13 2018-10-09 长安大学 一种基于交通大数据的本体构建方法
CN109635119A (zh) * 2018-10-25 2019-04-16 同济大学 一种基于本体融合的工业大数据集成系统
CN109635272A (zh) * 2018-10-24 2019-04-16 中国电子科技集团公司第二十八研究所 一种空中交通管理领域的本体交互模型构建方法
CN110765191A (zh) * 2019-10-18 2020-02-07 浪潮软件集团有限公司 一种基于交通数据信息发布的方法
CN113259900A (zh) * 2021-05-27 2021-08-13 华砺智行(武汉)科技有限公司 一种分布式多源异构交通数据融合方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361017A (zh) * 2014-10-17 2015-02-18 同济大学 一种基于统一语义理解的交通信息处理方法
CN104809151A (zh) * 2015-03-11 2015-07-29 同济大学 一种基于多维度的交通异构数据集成方法
US20150347471A1 (en) * 2014-05-30 2015-12-03 International Business Machines Corporation Automatically generating a semantic mapping for a relational database
CN105183834A (zh) * 2015-08-31 2015-12-23 上海电科智能系统股份有限公司 一种基于本体库的交通大数据语义应用服务方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347471A1 (en) * 2014-05-30 2015-12-03 International Business Machines Corporation Automatically generating a semantic mapping for a relational database
CN104361017A (zh) * 2014-10-17 2015-02-18 同济大学 一种基于统一语义理解的交通信息处理方法
CN104809151A (zh) * 2015-03-11 2015-07-29 同济大学 一种基于多维度的交通异构数据集成方法
CN105183834A (zh) * 2015-08-31 2015-12-23 上海电科智能系统股份有限公司 一种基于本体库的交通大数据语义应用服务方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李文雄等: "城市快速路网本体交通数据集成及其应用", 《长安大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327870A (zh) * 2016-09-07 2017-01-11 武汉大学 交通大数据采集中交通流分布估计及摄像头布点优化方法
CN106484808A (zh) * 2016-09-23 2017-03-08 上海电科智能系统股份有限公司 一种交通对象全息电子档案数据建模方法
CN106484808B (zh) * 2016-09-23 2019-08-27 上海电科智能系统股份有限公司 一种交通对象全息电子档案数据建模方法
CN106570081A (zh) * 2016-10-18 2017-04-19 同济大学 基于语义网的大规模离线数据分析框架
CN107315796A (zh) * 2017-06-19 2017-11-03 北京易华录信息技术股份有限公司 一种基于大数据的交通警情研判分析系统及方法
CN108427709A (zh) * 2018-01-25 2018-08-21 朗新科技股份有限公司 一种多源海量数据处理系统及方法
CN108628959A (zh) * 2018-04-13 2018-10-09 长安大学 一种基于交通大数据的本体构建方法
CN109635272A (zh) * 2018-10-24 2019-04-16 中国电子科技集团公司第二十八研究所 一种空中交通管理领域的本体交互模型构建方法
CN109635119A (zh) * 2018-10-25 2019-04-16 同济大学 一种基于本体融合的工业大数据集成系统
CN109635119B (zh) * 2018-10-25 2023-08-04 同济大学 一种基于本体融合的工业大数据集成系统
CN110765191A (zh) * 2019-10-18 2020-02-07 浪潮软件集团有限公司 一种基于交通数据信息发布的方法
CN113259900A (zh) * 2021-05-27 2021-08-13 华砺智行(武汉)科技有限公司 一种分布式多源异构交通数据融合方法及装置

Similar Documents

Publication Publication Date Title
CN105701193A (zh) 一种交通大数据动态信息快速搜索方法及其应用
CN106709012A (zh) 一种大数据分析方法及装置
CN106874426B (zh) 基于Storm的RDF流式数据关键词实时搜索方法
CN105183834A (zh) 一种基于本体库的交通大数据语义应用服务方法
CN104809151B (zh) 一种基于多维度的交通异构数据集成方法
CN104239377A (zh) 跨平台的数据检索方法及装置
CN111125758A (zh) 一种基于全语法树解析的动态脱敏方法
CN103226608B (zh) 一种基于目录级可伸缩的Bloom Filter位图表的并行文件搜索方法
CN109783484A (zh) 基于知识图谱的数据服务平台的构建方法及系统
CN104239660A (zh) 云制造模式下基于动态本体的知识融合方法
CN109063114B (zh) 能源云平台的异构数据集成方法、装置、终端及存储介质
Ochian et al. Big data search for environmental telemetry
CN106055641B (zh) 一种面向智能机器人的人机交互方法及装置
CN114595302A (zh) 空间要素的多层级空间关系构建方法、装置、介质及设备
CN104765763B (zh) 一种基于概念格的异构空间信息服务分类的语义匹配方法
CN104516948A (zh) 一种基于海量数据的位置信息提取方法和装置
CN111611222A (zh) 一种基于分布式存储的数据动态处理方法
McNeill et al. Communication in emergency management through data integration and trust: an introduction to the CEM-DIT system
CN105426431A (zh) 一种面向分布式资源站点的搜索系统及其实现方法
CN111026938A (zh) 时空大数据整合分析方法、装置、设备及存储介质
KR20210063875A (ko) 마케팅 정보 분석 서비스 제공을 위한 프로그램 및 기록매체
CN106528644B (zh) 一种遥感数据的检索方法及装置
CN104111965B (zh) 基于差别矩阵的ogc地理信息服务描述词汇约简方法
CN111198912A (zh) 一种地址数据处理方法及其装置
Chentout et al. Adding spatial support to R2RML mappings

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622

RJ01 Rejection of invention patent application after publication