CN105868395A - 基于事件驱动的智慧城市大数据体系及处理方法 - Google Patents

基于事件驱动的智慧城市大数据体系及处理方法 Download PDF

Info

Publication number
CN105868395A
CN105868395A CN201610242766.XA CN201610242766A CN105868395A CN 105868395 A CN105868395 A CN 105868395A CN 201610242766 A CN201610242766 A CN 201610242766A CN 105868395 A CN105868395 A CN 105868395A
Authority
CN
China
Prior art keywords
event
data
big data
layer
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610242766.XA
Other languages
English (en)
Inventor
郝俊瑞
余少华
向智宇
郭嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Research Institute of Posts and Telecommunications Co Ltd
Original Assignee
Wuhan Research Institute of Posts and Telecommunications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Research Institute of Posts and Telecommunications Co Ltd filed Critical Wuhan Research Institute of Posts and Telecommunications Co Ltd
Priority to CN201610242766.XA priority Critical patent/CN105868395A/zh
Publication of CN105868395A publication Critical patent/CN105868395A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明公开了一种基于事件驱动的智慧城市大数据体系及处理方法,涉及智慧城市、大数据领域。该大数据体系包括大数据采集层、大数据传输层、大数据存储管理层、大数据计算分析层和大数据应用服务层,大数据采集层使用物联网技术进行数据的采集;大数据传输层将数据传输到大数据存储管理层;大数据存储管理层实现智慧城市中大数据的存储;大数据计算分析层实现智慧城市中大数据的处理和分析;大数据应用服务层为用户和城市管理者提供大数据的服务,将大数据处理层处理和分析的结果以服务的方式实时提供给用户。本发明能有效提高大数据的管理和使用方式,通过大数据提高智慧城市的服务和决策能力,实现城市的智慧化的管理和服务。

Description

基于事件驱动的智慧城市大数据体系及处理方法
技术领域
本发明涉及智慧城市、大数据领域,具体是涉及一种基于事件驱动的智慧城市大数据体系及处理方法。
背景技术
当前,城市发展面临诸如人口膨胀、环境恶化、公共卫生事件频发、交通拥堵、资源浪费等的挑战,人们的生活也因此受到不利的影响。而且,随着城市化文明进程的推进,人们日益膨胀的需求与城市日益有限的供给之间的矛盾会继续增大,未来人们的生活质量和城市的发展不容乐观。基于和谐发展的智慧地球、智慧城市是未来的发展趋势。
智慧城市是指在信息技术和互联网相结合的基础上,通过各种智能化的应用,提升城市基础设施的运作效率,提升城市运行管理和公共服务水平,让人们的生活更美好。在智慧城市的建设和管理中,物联网、云计算、大数据等技术发挥着越来越重要的作用。
在智慧城市中,由于物联网技术的采用很多的基础设施与设备都具备了被感知、被监控的功能,同时这也导致了这些基础设施和设备产生了大量的数据。这些数据的来源广泛、结构多样,涵盖智能交通、智能医疗、智能楼宇、智能电网、智能农业、智能安防、智能环保、智慧旅游、智慧教育、智能水务等大数据资源,涉及方方面面智慧城市应用范畴。其多是互联网、传感设备、视频监控、移动设备、智能设备、非传统信息化设备等渠道产生的海量结构化或非结构化数据,并且时时刻刻都在源源不断地渗入城市日常管理和运作的方方面面。这些数据构成了智慧城市中的大数据,而这些大数据是支撑智慧城市发展的重要信息资源,城市运行体征是通过数据进行量化表现出来的,通过大数据技术收集各部门有关城市运行体征的数据,可帮助城市管理者进行数据汇总、分析,最终对城市体征的量化形态即各类数据进行管理。
由于这些数据量极其庞大而且种类繁多,在城市管理者和城市应用中无法直接针对这些数据提取价值,获得信息。对于管理者和应用者来说更多的是关心城市发生了什么事件,面对这些事件如何高效快速、准确的处理和应对。这些事件包括了城市中发生的各种大大小小的事情,大的事件比如:灾难、集会、庆祝活动等;小的事件比如交通拥堵,天气变化,网上新闻等等。管理者处理这些事件时,需要相关的、大量的数据分析。
例如:发生火灾时,需要尽快的计算出火灾的情况的实时数据,找出火灾发生的原因,应该采取何种灭火手段,最近的消防队伍在哪里,如何最快的到达该地点等等,这都需要大量的事件发生时的上下文的相关数据的计算和分析。
但是,如何将这些数据准确、及时的计算出来发送给管理者或者应用人员,目前在智慧城市建设中并没有很好的方法。智慧城市中蕴含着大量的数据,在智慧城市的建设和管理中,如何有效的构建智慧城市的大数据体系、如何使用这些数据、如何发挥这些数据的功能等一直没有得到很好的解决。
发明内容
本发明的目的是为了克服上述背景技术的不足,提供一种基于事件驱动的智慧城市大数据体系及处理方法,能够有效提高大数据的管理和使用方式,通过大数据提高智慧城市的服务和决策能力,实现城市的智慧化的管理和服务。
本发明提供一种基于事件驱动的智慧城市大数据体系,该大数据体系包括大数据采集层、大数据传输层、大数据存储管理层、大数据计算分析层和大数据应用服务层,其中:
大数据采集层用于:在智慧城市的城市环境、基础设施以及各种设备上,使用物联网技术进行数据的采集,对城市的要素进行智能感知,实现自动数据采集;
大数据传输层用于:将大数据采集层采集的数据传输到大数据存储管理层;
大数据存储管理层用于:实现智慧城市中大数据的存储,分为结构化数据存储、非结构化数据存储、时空数据存储以及事件数据的存储,存储的数据是智慧城市中实时采集而来的数据,结构化数据存储在关系数据库或者并行处理架构的资源池中,非结构化的数据存储在分布式的文件系统中,时空数据存储在时空数据库中,事件数据主要是记录事件产生的时间、地点、以及事件本身的数据;
大数据计算分析层用于:实现智慧城市中大数据的处理和分析,在事件发生时,以事件为驱动进行与事件相关的大数据的处理和分析;
大数据应用服务层用于:为用户和城市管理者提供大数据的服务,将大数据处理层处理和分析的结果以服务的方式实时提供给用户。
在上述技术方案的基础上,所述大数据采集层包括多个数据采集网关和多个事件采集代理模块,数据采集网关用于采集和处理智慧城市中的数据;事件采集代理模块用于实现数据和事件之间的转换,将事件的规则和条件转换成各种采集数据的条件或者范围,用于判定事件是否发生。
在上述技术方案的基础上,所述事件指的是在智慧城市中由某种信息监测量或某些信息监测量状态的改变,或者达到用户定义的某阈值。
在上述技术方案的基础上,所述大数据传输层由城市的互联网络和电信网络构成。
在上述技术方案的基础上,所述大数据存储管理层包括数据的交换与共享模块、数据的标准化处理模块、数据资源目录、数据的安全管理模块、事件相关的上下文主题库,其中:
数据的交换与共享模块为上层的应用以及大数据处理层提供数据的分发、交换以及共享机制;
数据的标准化处理模块用于:将大数据采集层采集来的所有数据进行标准化的核对和处理,对数据的完整性、规范性、一致性、准确性进行检查;
数据资源目录用于:实现所有数据资源的管理,为大数据的处理层以及大数据服务层提供数据资源的查询、检索功能;
数据的安全管理模块用于:实现智慧城市中大数据的安全管理、安全检查;
事件相关的上下文主题库用于:实现与事件相关的各种上下文数据的存储,数据关联分析模块在分析后将分析的结果存放在该主题库中。
在上述技术方案的基础上,所述大数据计算分析层包括事件订阅分发模块、事件规则库、事件预案模型库、事件监控模块、事件处理模块、数据关联分析模块,其中:
事件订阅分发模块用于:订阅事件,分发给事件规则库、事件预案模型库、事件监控模块;
事件规则库用于:存放用户定义的每个事件的规则;
事件预案模型库用于:存放事件发生后针对该事件需要响应的过程的预案处理模型,事件发生后的处理过程根据预案模型库来进行;
事件监控模块用于:判断事件的生成,根据事件定义的规则,以及采集的数据,对数据进行监控判断事件是否发生;
事件处理模块用于:当事件发生后,对事件进行处理;
数据关联分析模块用于:对事件相关大数据进行实时处理和分析,根据事件预案模型库,当事件发生时,调用相应的资源以及相应的数据,进行事件相关上下文的数据处理和分析。
在上述技术方案的基础上,所述大数据应用服务层包括资源服务总线和具体的各种智慧应用,资源服务总线基于企业数据总线技术建立的分布式资源服务总线,实现对服务接口的发布与调用;资源服务总线通过提供面向服务的架构方法,对所有需要集成的服务和应用实行集中管理,消除不同应用之间的技术差异,实现不同服务之间的通信和整合。
本发明还提供一种适用于上述体系的基于事件驱动的智慧城市大数据处理方法,包括以下步骤:
S1、用户根据业务和应用需求订阅事件,事件的规则由用户指定,用户订阅的事件类型如果是已经存在的,则选择相应的类型;如果事件类型不存在,用户指定该事件对应的事件处理预案;
S2、用户订阅事件之后,事件监控模块根据用户定义的事件规则来配置事件发生的触发条件,并开始进行事件的监测,监测是通过监测事件所涉及的若干个触发条件来进行的;
S3、当事件发生时,即触发条件满足时,事件监控模块发送事件发生消息给事件处理模块,事件处理模块将该事件的基本信息:时间、地址信息、对应的传感器、传感器的数据记录下来,同时在事件预案模型库中检索出对应该事件的预案处理方案;事件的预案处理模型包含了处理该事件的流程以及所需要的该事件相关的上下文数据需求;事件处理模块将这些事件相关的上下文数据需求发送给数据关联分析模块,同时事件处理模块将事件的发生通告给订阅的用户和应用;
S4、数据关联分析模块根据事件处理模块发送来的事件相关的上下文数据需求,确定出要在大数据资源池中抽取的数据范围,确定计算方式以及所使用的资源;同时,如果数据关联分析模块发现在大数据资源池中有些数据不满足,则将采集需求发给大数据采集层进行进一步的采集;
S5、大数据计算和分析能力区根据数据关联分析模块确定的数据范围、计算模式以及使用的资源进行计算和分析:
S6、计算完成后,将分析的结果以服务的形式发送给订阅该事件的用户,同时将分析结果存放在以事件为主题的主题库中。
在上述技术方案的基础上,步骤S5具体包括以下步骤:
S501、根据事件相关的上下文数据需求,在大数据资源池中抽取与事件相关的上下文数据;
S502、将抽取的数据,根据事件相关的上下文数据需求进行关联计算和分析,找到相应的结果。
在上述技术方案的基础上,所述事件相关的上下文数据指的是当某个事件发生时,用户为了处理该事件,或对该事件作出响应所涉及到的各种与事件相关的数据,包括事件涉及的相关的人员数据、地理空间数据、结构化和非结构化数据。
与现有技术相比,本发明的优点如下:
本发明以城市发生的事件为核心,来构建智慧城市的大数据体系,将城市的事件处理与大数据计算结合起来,当事件发生时,以事件为驱动实现相关大数据的分析和关联,能够有效提高大数据的管理和使用方式,通过大数据提高智慧城市的服务和决策能力,实现城市的智慧化的管理和服务。
附图说明
图1是本发明实施例中基于事件驱动的智慧城市大数据概念的模型示意图。
图2是本发明实施例中基于事件驱动的智慧城市大数据体系的结构框图。
图3是本发明实施例中基于事件驱动的智慧城市大数据的处理方法的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示,智慧城市空间可以看成是一个泛在的计算环境,通过传感器监控的城市中的人、地、物、系统等各种事物,形成一个一个的智能感知的环境,每个智能环境形成的“智能感知云”提供关于城市的人、地、物、系统的各种数据信息,这些数据形成了支撑智慧城市的大数据信息的基础。
由于这些数据量极其庞大而且种类繁多,在城市管理者和城市应用中无法直接针对这些数据提取价值,获得信息。对于管理者和应用者来说更多的是关心城市发生了什么事件,面对这些事件如何高效快速、准确的处理和应对。
参见图2所示,本发明实施例提供一种基于事件驱动的智慧城市大数据体系,该大数据体系包括大数据采集层、大数据传输层、大数据存储管理层、大数据计算分析层和大数据应用服务层,其中:
大数据采集层用于:在智慧城市的城市环境、基础设施以及各种设备上,使用物联网技术进行数据的采集,对城市的要素进行智能感知,实现自动数据采集,涵盖城市的各个方面,使城市的基础设施实现智能化。
大数据采集层包括多个数据采集网关和多个事件采集代理模块,数据采集网关用于采集和处理智慧城市中的数据;事件采集代理模块用于实现数据和事件之间的转换,将事件的规则和条件转换成各种采集数据的条件或者范围,用于判定事件是否发生。一个事件采集代理模块可能会涉及到多个数据采集网关,一个数据采集网关通常都是负责一种类型的传感器的数据采集。
本发明实施例中的“事件”指的是在智慧城市中由某种信息监测量或某些信息监测量状态的改变,或者达到用户定义的某阈值;它可以是被现实世界的具体动作或状态改变触发,例如温度达到某值,时间超过某值等,也可以是被内部的某些动作触发,例如接收到某个消息或命令等。
大数据传输层用于:将大数据采集层采集的数据传输到大数据存储管理层,主要由城市的互联网络和电信网络构成。
大数据存储管理层用于:实现智慧城市中大数据的存储,分为结构化数据存储、非结构化数据存储、时空数据存储以及事件数据的存储。存储的数据是智慧城市中实时采集而来的数据,结构化数据存储在关系数据库或者并行处理架构的资源池中,非结构化的数据存储在分布式的文件系统中,时空数据存储在时空数据库中。事件数据主要是记录事件产生的时间、地点、以及事件本身的数据。
大数据存储管理层包括数据的交换与共享模块、数据的标准化处理模块、数据资源目录、数据的安全管理模块、事件相关的上下文主题库,其中:
数据的交换与共享模块为上层的应用以及大数据处理层提供数据的分发、交换以及共享机制。
数据的标准化处理模块用于:将大数据采集层采集来的所有数据进行标准化的核对和处理,对数据的完整性、规范性、一致性、准确性进行检查。
数据资源目录用于:实现所有数据资源的管理,为大数据的处理层以及大数据服务层提供数据资源的查询、检索等功能。
数据的安全管理模块用于:实现智慧城市中大数据的安全管理、安全检查。
事件相关的上下文主题库用于:实现与事件相关的各种上下文数据的存储,数据关联分析模块在分析后将分析的结果存放在该主题库中。
大数据计算分析层用于:实现智慧城市中大数据的处理和分析,在事件发生时,以事件为驱动进行与事件相关的大数据的处理和分析。大数据计算分析层包括事件订阅分发模块、事件规则库、事件预案模型库、事件监控模块、事件处理模块、数据关联分析模块,其中:
事件订阅分发模块用于:订阅事件,分发给事件规则库、事件预案模型库、事件监控模块;
事件规则库用于:存放用户定义的每个事件的规则,事件可以是简单的,也可以是多个规则复合而成的复杂事件;
事件预案模型库用于:存放事件发生后针对该事件需要响应的过程的预案处理模型,该模型库是可以修改和更新的,事件发生后的处理过程根据预案模型库来进行;
事件监控模块用于:判断事件的生成,根据事件定义的规则,以及采集的数据,对数据进行监控判断事件是否发生;
事件处理模块用于:当事件发生后,对事件进行处理;
数据关联分析模块用于:对事件相关大数据进行实时处理和分析,根据事件预案模型库,当事件发生时,调用相应的资源以及相应的数据,进行事件相关上下文的数据处理和分析。
大数据应用服务层用于:为用户和城市管理者提供大数据的服务,将大数据处理层处理和分析的结果以服务的方式实时提供给用户。
大数据应用服务层包括资源服务总线和具体的各种智慧应用。资源服务总线基于企业数据总线技术建立的分布式资源服务总线,实现对服务接口的发布与调用。资源服务总线通过提供面向服务的架构方法,对所有需要集成的服务和应用实行集中管理,消除不同应用之间的技术差异,实现不同服务之间的通信和整合。在资源服务总线之上是智慧城市的各种智慧应用。
参见图3所示,本发明实施例还提供一种适用于上述体系的基于事件驱动的智慧城市大数据处理方法,包括以下步骤:
S1、用户根据业务和应用需求订阅事件,事件的规则可以由用户指定,用户订阅的事件类型如果是已经存在的,则选择相应的类型;如果事件类型不存在,用户需要指定该事件对应的事件处理预案;
S2、用户订阅事件之后,事件监控模块根据用户定义的事件规则来配置事件发生的触发条件,并开始进行事件的监测,监测是通过监测事件所涉及的若干个触发条件来进行的;
S3、当事件发生时,即触发条件满足时,事件监控模块发送事件发生消息给事件处理模块,事件处理模块会将该事件的基本信息:时间、地址信息、对应的传感器、传感器的数据等记录下来,同时在事件预案模型库中检索出对应该事件的预案处理方案;事件的预案处理模型包含了处理该事件的流程以及所需要的该事件相关的上下文数据需求;事件处理模块将这些事件相关的上下文数据需求发送给数据关联分析模块,同时事件处理模块会将事件的发生通告给订阅的用户和应用。
本发明实施例中“事件相关的上下文数据”指的是当某个事件发生时,用户为了处理该事件,或对该事件作出响应所涉及到的各种与事件相关的数据,包括事件涉及的相关的人员数据、地理空间数据、结构化和非结构化等各种数据。
S4、数据关联分析模块根据事件处理模块发送来的事件相关的上下文数据需求,确定出要在大数据资源池中抽取的数据范围,确定计算方式以及所使用的资源;同时,如果数据关联分析模块发现在大数据资源池中有些数据不满足,还需要更详细或者更精确的采集,则将采集需求发给大数据采集层进行进一步的采集;
S5、大数据计算和分析能力区根据数据关联分析模块确定的数据范围、计算模式以及使用的资源进行计算和分析:
S501、根据事件相关的上下文数据需求,在大数据资源池中抽取与事件相关的上下文数据,数据可能包含结构化数据、非结构化数据、时空数据等。需要注意的是,无论事件是否发生,大数据资源池中的数据都通过智能环境不断的采集城市中的数据,例如:当火灾事件发生时,事件相关的上下文数据需求是找到火灾发生的原因,找到最近的消防队,计算出火灾地点附近有多少居民等这些需求;根据这些需求,需要到大数据资源池中抽取火灾现场的空气环境数据,火灾的发生位置的居民信息等数据;
S502、因为大数据资源池中的数据都是原始采集而来的数据,不一定能直接满足与事件相关的上下文数据需求,需要经过大量的计算和分析,因此将抽取的数据,根据事件相关的上下文数据需求进行关联计算和分析,找到相应的结果;例如:根据火灾位置信息找出最近的消防队,根据实时路况找出最快到达路径等;
S6、计算完成后,将分析的结果以服务的形式发送给订阅该事件的用户,同时将分析结果存放在以事件为主题的主题库中。
本领域的技术人员可以对本发明实施例进行各种修改和变型,倘若这些修改和变型在本发明权利要求及其等同技术的范围之内,则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (10)

1.一种基于事件驱动的智慧城市大数据体系,其特征在于:该大数据体系包括大数据采集层、大数据传输层、大数据存储管理层、大数据计算分析层和大数据应用服务层,其中:
大数据采集层用于:在智慧城市的城市环境、基础设施以及各种设备上,使用物联网技术进行数据的采集,对城市的要素进行智能感知,实现自动数据采集;
大数据传输层用于:将大数据采集层采集的数据传输到大数据存储管理层;
大数据存储管理层用于:实现智慧城市中大数据的存储,分为结构化数据存储、非结构化数据存储、时空数据存储以及事件数据的存储,存储的数据是智慧城市中实时采集而来的数据,结构化数据存储在关系数据库或者并行处理架构的资源池中,非结构化的数据存储在分布式的文件系统中,时空数据存储在时空数据库中,事件数据主要是记录事件产生的时间、地点、以及事件本身的数据;
大数据计算分析层用于:实现智慧城市中大数据的处理和分析,在事件发生时,以事件为驱动进行与事件相关的大数据的处理和分析;
大数据应用服务层用于:为用户和城市管理者提供大数据的服务,将大数据处理层处理和分析的结果以服务的方式实时提供给用户。
2.如权利要求1所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述大数据采集层包括多个数据采集网关和多个事件采集代理模块,数据采集网关用于采集和处理智慧城市中的数据;事件采集代理模块用于实现数据和事件之间的转换,将事件的规则和条件转换成各种采集数据的条件或者范围,用于判定事件是否发生。
3.如权利要求1所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述事件指的是在智慧城市中由某种信息监测量或某些信息监测量状态的改变,或者达到用户定义的某阈值。
4.如权利要求1所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述大数据传输层由城市的互联网络和电信网络构成。
5.如权利要求1所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述大数据存储管理层包括数据的交换与共享模块、数据的标准化处理模块、数据资源目录、数据的安全管理模块、事件相关的上下文主题库,其中:
数据的交换与共享模块为上层的应用以及大数据处理层提供数据的分发、交换以及共享机制;
数据的标准化处理模块用于:将大数据采集层采集来的所有数据进行标准化的核对和处理,对数据的完整性、规范性、一致性、准确性进行检查;
数据资源目录用于:实现所有数据资源的管理,为大数据的处理层以及大数据服务层提供数据资源的查询、检索功能;
数据的安全管理模块用于:实现智慧城市中大数据的安全管理、安全检查;
事件相关的上下文主题库用于:实现与事件相关的各种上下文数据的存储,数据关联分析模块在分析后将分析的结果存放在该主题库中。
6.如权利要求5所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述大数据计算分析层包括事件订阅分发模块、事件规则库、事件预案模型库、事件监控模块、事件处理模块、数据关联分析模块,其中:
事件订阅分发模块用于:订阅事件,分发给事件规则库、事件预案模型库、事件监控模块;
事件规则库用于:存放用户定义的每个事件的规则;
事件预案模型库用于:存放事件发生后针对该事件需要响应的过程的预案处理模型,事件发生后的处理过程根据预案模型库来进行;
事件监控模块用于:判断事件的生成,根据事件定义的规则,以及采集的数据,对数据进行监控判断事件是否发生;
事件处理模块用于:当事件发生后,对事件进行处理;
数据关联分析模块用于:对事件相关大数据进行实时处理和分析,根据事件预案模型库,当事件发生时,调用相应的资源以及相应的数据,进行事件相关上下文的数据处理和分析。
7.如权利要求6所述的基于事件驱动的智慧城市大数据体系,其特征在于:所述大数据应用服务层包括资源服务总线和具体的各种智慧应用,资源服务总线基于企业数据总线技术建立的分布式资源服务总线,实现对服务接口的发布与调用;资源服务总线通过提供面向服务的架构方法,对所有需要集成的服务和应用实行集中管理,消除不同应用之间的技术差异,实现不同服务之间的通信和整合。
8.一种适用于权利要求7所述体系的基于事件驱动的智慧城市大数据处理方法,其特征在于,包括以下步骤:
S1、用户根据业务和应用需求订阅事件,事件的规则由用户指定,用户订阅的事件类型如果是已经存在的,则选择相应的类型;如果事件类型不存在,用户指定该事件对应的事件处理预案;
S2、用户订阅事件之后,事件监控模块根据用户定义的事件规则来配置事件发生的触发条件,并开始进行事件的监测,监测是通过监测事件所涉及的若干个触发条件来进行的;
S3、当事件发生时,即触发条件满足时,事件监控模块发送事件发生消息给事件处理模块,事件处理模块将该事件的基本信息:时间、地址信息、对应的传感器、传感器的数据记录下来,同时在事件预案模型库中检索出对应该事件的预案处理方案;事件的预案处理模型包含了处理该事件的流程以及所需要的该事件相关的上下文数据需求;事件处理模块将这些事件相关的上下文数据需求发送给数据关联分析模块,同时事件处理模块将事件的发生通告给订阅的用户和应用;
S4、数据关联分析模块根据事件处理模块发送来的事件相关的上下文数据需求,确定出要在大数据资源池中抽取的数据范围,确定计算方式以及所使用的资源;同时,如果数据关联分析模块发现在大数据资源池中有些数据不满足,则将采集需求发给大数据采集层进行进一步的采集;
S5、大数据计算和分析能力区根据数据关联分析模块确定的数据范围、计算模式以及使用的资源进行计算和分析:
S6、计算完成后,将分析的结果以服务的形式发送给订阅该事件的用户,同时将分析结果存放在以事件为主题的主题库中。
9.如权利要求8所述的基于事件驱动的智慧城市大数据处理方法,其特征在于,步骤S5具体包括以下步骤:
S501、根据事件相关的上下文数据需求,在大数据资源池中抽取与事件相关的上下文数据;
S502、将抽取的数据,根据事件相关的上下文数据需求进行关联计算和分析,找到相应的结果。
10.如权利要求8所述的基于事件驱动的智慧城市大数据处理方法,其特征在于:所述事件相关的上下文数据指的是当某个事件发生时,用户为了处理该事件,或对该事件作出响应所涉及到的各种与事件相关的数据,包括事件涉及的相关的人员数据、地理空间数据、结构化和非结构化数据。
CN201610242766.XA 2016-04-19 2016-04-19 基于事件驱动的智慧城市大数据体系及处理方法 Pending CN105868395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610242766.XA CN105868395A (zh) 2016-04-19 2016-04-19 基于事件驱动的智慧城市大数据体系及处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610242766.XA CN105868395A (zh) 2016-04-19 2016-04-19 基于事件驱动的智慧城市大数据体系及处理方法

Publications (1)

Publication Number Publication Date
CN105868395A true CN105868395A (zh) 2016-08-17

Family

ID=56632410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610242766.XA Pending CN105868395A (zh) 2016-04-19 2016-04-19 基于事件驱动的智慧城市大数据体系及处理方法

Country Status (1)

Country Link
CN (1) CN105868395A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法
CN106383886A (zh) * 2016-09-21 2017-02-08 深圳市博瑞得科技有限公司 一种基于大数据分布式编程框架的大数据预统系统及方法
CN106407278A (zh) * 2016-08-26 2017-02-15 武汉钢铁工程技术集团自动化有限责任公司 一种大数据平台的架构设计系统
CN106683020A (zh) * 2016-11-17 2017-05-17 安徽华博胜讯信息科技股份有限公司 一种基于gis技术的公共文化服务供给系统
CN106779485A (zh) * 2017-01-17 2017-05-31 武汉阳光荣信息智慧科技有限公司 基于soa架构的综合管理系统及数据处理方法
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN107169149A (zh) * 2017-06-30 2017-09-15 安徽超清科技股份有限公司 一种智慧城市集成数据资源库结构
CN107277470A (zh) * 2017-08-10 2017-10-20 四川天翼网络服务有限公司 一种网络联动管理方法及数字化警务联动管理方法
CN107945081A (zh) * 2017-10-09 2018-04-20 中国电子科技集团公司第二十八研究所 城市运行展现与监测预警系统
CN107968796A (zh) * 2016-10-19 2018-04-27 南京智行信息科技有限公司 一种事件触发的物联网数据处理系统及数据处理方法
CN108170483A (zh) * 2016-12-13 2018-06-15 上海仪电(集团)有限公司中央研究院 基于Unikernel的智慧城市应用删除方法及装置
CN108171638A (zh) * 2017-12-20 2018-06-15 中国电子科技集团公司信息科学研究院 一种城市数据治理系统
CN108647217A (zh) * 2017-12-27 2018-10-12 广东智政信息科技有限公司 基于安监应用的大数据平台集成管理系统
CN110245138A (zh) * 2019-05-17 2019-09-17 深圳市特区建设发展集团有限公司 一种区域数据管理系统
CN110737871A (zh) * 2019-09-30 2020-01-31 武汉烽火富华电气有限责任公司 基于改进蚁群算法的智慧路灯大数据分布式计算调度方法
CN111210143A (zh) * 2020-01-03 2020-05-29 重庆特斯联智慧科技股份有限公司 一种利用城市大脑的智能消防多层控制调度方法和系统
CN111291441A (zh) * 2020-02-18 2020-06-16 浙江源创建筑智能科技有限公司 一种基于对象建模驱动的智慧建筑集成的方法及系统
CN111599157A (zh) * 2020-06-04 2020-08-28 云南电网有限责任公司电力科学研究院 一种智慧城市智能终端应用系统
CN111651145A (zh) * 2020-06-18 2020-09-11 石家庄开发区天远科技有限公司 一种基于事件的并行计算方法和开发框架
CN112532705A (zh) * 2020-11-20 2021-03-19 季速漫 一种基于大数据的智慧城市服务系统
CN112925964A (zh) * 2021-04-01 2021-06-08 王琪 基于云计算服务的大数据采集方法及大数据采集服务系统
CN114598719A (zh) * 2021-09-06 2022-06-07 广东东华发思特软件有限公司 智慧城市物联事件管理方法、装置及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供系统及其工作方法
CN103916625A (zh) * 2013-01-04 2014-07-09 北京兆维电子(集团)有限责任公司 一种基于云计算的视频监控系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916625A (zh) * 2013-01-04 2014-07-09 北京兆维电子(集团)有限责任公司 一种基于云计算的视频监控系统及方法
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN103458033A (zh) * 2013-09-04 2013-12-18 北京邮电大学 事件驱动、面向服务的物联网服务提供系统及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊枫: "云计算时代的智慧城市建设研究", 《湖南科技大学学报( 社会科学版)》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407278A (zh) * 2016-08-26 2017-02-15 武汉钢铁工程技术集团自动化有限责任公司 一种大数据平台的架构设计系统
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法
CN106383886A (zh) * 2016-09-21 2017-02-08 深圳市博瑞得科技有限公司 一种基于大数据分布式编程框架的大数据预统系统及方法
CN107968796A (zh) * 2016-10-19 2018-04-27 南京智行信息科技有限公司 一种事件触发的物联网数据处理系统及数据处理方法
CN106683020A (zh) * 2016-11-17 2017-05-17 安徽华博胜讯信息科技股份有限公司 一种基于gis技术的公共文化服务供给系统
CN108170483A (zh) * 2016-12-13 2018-06-15 上海仪电(集团)有限公司中央研究院 基于Unikernel的智慧城市应用删除方法及装置
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN106777110B (zh) * 2016-12-15 2019-07-16 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN106779485A (zh) * 2017-01-17 2017-05-31 武汉阳光荣信息智慧科技有限公司 基于soa架构的综合管理系统及数据处理方法
CN106779485B (zh) * 2017-01-17 2020-11-17 武汉阳光荣信息智慧科技有限公司 基于soa架构的综合管理系统及数据处理方法
CN107169149A (zh) * 2017-06-30 2017-09-15 安徽超清科技股份有限公司 一种智慧城市集成数据资源库结构
CN107277470A (zh) * 2017-08-10 2017-10-20 四川天翼网络服务有限公司 一种网络联动管理方法及数字化警务联动管理方法
CN107945081A (zh) * 2017-10-09 2018-04-20 中国电子科技集团公司第二十八研究所 城市运行展现与监测预警系统
CN107945081B (zh) * 2017-10-09 2020-12-11 中国电子科技集团公司第二十八研究所 城市运行展现与监测预警系统
CN108171638A (zh) * 2017-12-20 2018-06-15 中国电子科技集团公司信息科学研究院 一种城市数据治理系统
CN108647217A (zh) * 2017-12-27 2018-10-12 广东智政信息科技有限公司 基于安监应用的大数据平台集成管理系统
CN110245138A (zh) * 2019-05-17 2019-09-17 深圳市特区建设发展集团有限公司 一种区域数据管理系统
CN110737871A (zh) * 2019-09-30 2020-01-31 武汉烽火富华电气有限责任公司 基于改进蚁群算法的智慧路灯大数据分布式计算调度方法
CN111210143A (zh) * 2020-01-03 2020-05-29 重庆特斯联智慧科技股份有限公司 一种利用城市大脑的智能消防多层控制调度方法和系统
CN111210143B (zh) * 2020-01-03 2022-11-01 重庆特斯联智慧科技股份有限公司 一种利用城市大脑的智能消防多层控制调度方法和系统
CN111291441A (zh) * 2020-02-18 2020-06-16 浙江源创建筑智能科技有限公司 一种基于对象建模驱动的智慧建筑集成的方法及系统
CN111599157A (zh) * 2020-06-04 2020-08-28 云南电网有限责任公司电力科学研究院 一种智慧城市智能终端应用系统
CN111651145A (zh) * 2020-06-18 2020-09-11 石家庄开发区天远科技有限公司 一种基于事件的并行计算方法和开发框架
CN112532705A (zh) * 2020-11-20 2021-03-19 季速漫 一种基于大数据的智慧城市服务系统
CN112532705B (zh) * 2020-11-20 2022-10-11 广东博成网络科技有限公司 一种基于大数据的智慧城市服务系统
CN112925964A (zh) * 2021-04-01 2021-06-08 王琪 基于云计算服务的大数据采集方法及大数据采集服务系统
CN114598719A (zh) * 2021-09-06 2022-06-07 广东东华发思特软件有限公司 智慧城市物联事件管理方法、装置及可读介质

Similar Documents

Publication Publication Date Title
CN105868395A (zh) 基于事件驱动的智慧城市大数据体系及处理方法
Rathore et al. Efficient graph-oriented smart transportation using internet of things generated big data
CN110378824A (zh) 一种公安交管数据大脑及构建方法
Nama et al. Machine learning‐based traffic scheduling techniques for intelligent transportation system: Opportunities and challenges
Vu et al. A waste city management system for smart cities applications
CN103116825B (zh) 智慧城市管理系统
CN109996193B (zh) 基于智信平台的短信发送方法、装置、系统和设备
Kousiouris et al. An integrated information lifecycle management framework for exploiting social network data to identify dynamic large crowd concentration events in smart cities applications
US11109194B1 (en) Location network analysis tool for predicting contamination change
Ashraf A proactive role of IoT devices in building smart cities
Pramanik et al. Processing IoT data: From cloud to fog—It's time to be down to earth
Reiss-Mirzaei et al. A review on the edge caching mechanisms in the mobile edge computing: A social-aware perspective
Abu-Elkheir et al. Enhancing emergency response systems through leveraging crowdsensing and heterogeneous data
CN110148001A (zh) 一种实现欺诈交易智能预警的系统及方法
Bilal et al. Smart cities data: Framework, applications, and challenges
Potdar et al. Big energy data management for smart grids—Issues, challenges and recent developments
Mazhar Rathore et al. Advanced computing model for geosocial media using big data analytics
JP2020107348A (ja) メモリデバイスのデータ管理方法、データ管理システム
Rehena et al. Towards a framework for context-aware intelligent traffic management system in smart cities
Nayak et al. A review on edge analytics: Issues, challenges, opportunities, promises, future directions, and applications
Xhafa et al. An event-based approach to supporting team coordination and decision making in disaster management scenarios
Tang et al. Research challenges in developing multimedia systems for managing emergency situations
Jensen et al. Location intelligence application in digital data activity dimensioning in smart cities
Reza et al. A new approach for road networks-a vehicle xml device collaboration with big data
WO2019104952A1 (zh) 一种基于城域级物联网感知数据的场景智能分析系统与方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817