CN106844585A - 一种基于多源物联网位置感知的时空关系分析系统 - Google Patents

Abstract

本发明提供了一种基于多源物联网位置感知的时空关系分析系统，包括感知层、数据处理层、网络层、应用层，所述感知层包括多种终端设备，所述终端设备可以采集时空数据并为数据处理层提供原始时空数据；所述数据处理层接收来自感知层的时空数据，并将所述感知层的时空数据过滤、清洗，按照时空关联规则对数据进行挖掘，然后存储到时空数据库中，并为网络层提供访问接口。本发明采用了标准化的异构数据格式、多种训练模型，多层次复用多源物联网感知数据，为上层警务应用提供有高效、可预测的服务。

Description

一种基于多源物联网位置感知的时空关系分析系统

技术领域

本发明属于时空关系分析领域，涉及一种时空关系分析系统，尤其涉及一种基于多源物联网位置感知的时空关系分析系统。

背景技术

目前绝大多数的公安机关数据应用仍处于信息录入、发布、统计、查询等低层次、低水平的应用阶段,在数据整合以及数据挖掘和数据的关联分析等深层次的应用不够。

CN106257301A公开了一种基于海量视频的事件轨迹快速检索平台，包括目标轨迹时空分析模块、综合调度服务模块、智能视频分析服务模块、资源请求服务模块，以及监控视频网络和平台数据库，其中目标轨迹时空分析模块将指令发送到所述综合调度服务模块和资源请求服务模块，综合调度服务模块将指令转发到智能视频分析服务模块，智能视频分析服务模块连接所述监控视频网络，根据指令对多个视频文件进行智能处理并返回处理结果，资源请求服务模块与所述平台数据库相连，为用户提供所需资源数据的查询及读写操作。该发明基于传统的单一数据源，没有对数据进行深度挖掘，虽然在支持个案的侦破方面发挥了巨大的作用,但对探求刑事案件的发案规律,支持领导科学决策方面仍存在不足。

基于智能采集网点的物联网数据来源于各种各样的物联网终端设备，具体包括摄像头、IC卡、WiFi热点、停车场系统等。这些数据的数据格式、标准、结构各异，普遍的存在着同名异意、同意异名、编码不一致，层次划分混乱等语义不一致和数据结构混乱的问题。如何实现多源、异构数据的统一描述与组织，保证数据语义的一致性,是进行数据深度挖掘和分析的基础。

关联规则(Association Rules)的概念首先由R.Agrawal等人于1993年提出的，是反映一个事物与其他事物之间的相互依赖性或相互关联性。关联规则数据挖掘(简称关联规则挖掘)就是从大量的数据中挖掘出有价值的描述数据项之间相互联系的有关知识。随着收集和存储的数据规模越来越大，特别是类似于Hadoop这样的分布式数据处理系统的诞生，使得数据处理的规模呈指数及增长，人们对从这些数据中挖掘相应的关联规则越来越感兴趣，关联规则挖掘也倍受数据挖掘领域专家的关注，得到了深入的研究和发展。

关联规则的数据挖掘可以深度分析每个人的社会关系。包括人与人的关系、人与车的关系、及人与社会环境的关系等。如何应用这些从海量数据中挖掘出来的高价值信息辅助案件的侦破将是一个有意义的课题。

通常，人们感兴趣的是从一个时空序列里发现频繁重复的路径，即时空轨迹频繁模式。这些轨迹频繁重复模式能协助完成关于移动对象的分析、预测等任务，进而可将其应用于经营商业、旅游业和管理城市交通等方面的决策。除了对轨迹数据之外，序列挖掘对象还包括诸如时空事件数据集等其他时空数据，在这些事件数据集中不包含对象的轨迹数据，而是由不同类型事件序列组成的集合。通过扫描时空数据库产生映射图和轨迹信息列表，在映射图上进行深度优先遍历以寻找频繁轨迹模式。许多移动对象(包括交通工具、动物、移动电话用户等)，在固定的时间区间内总是遵循相同或近似相同的路线，展现出一定的周期性规律，这些周期模式不仅可用于压缩移动数据，还可用来预测对象未来的移动方向，这种周期模式隐含在时空数据中需要挖掘才能发现。

因此,如何针对公安刑事案件的特点探求在传统方法基础上提高数据的挖掘效率和有效性,已成为一个现实迫切需要且具有较高理论研究价值的热点问题。

发明内容

本发明提供了一种基于多源物联网位置感知的时空关系分析系统，以解决公安机关或安防领域数据应用层次低、数据挖掘效率高的不足。

一种基于多源物联网位置感知的时空关系分析系统，自下而上包括感知层、数据处理层、网络层、应用层，

所述感知层包括多种终端设备，所述终端设备可以采集时空数据并为数据处理层提供原始时空数据；

所述数据处理层包括分布式数据处理平台、数据处理框架、关系型数据库；所述数据处理层接收来自感知层的时空数据，并将所述感知层的时空数据过滤、清洗，按照时空关联规则对数据进行挖掘，然后存储到时空数据库中，并为网络层提供访问接口；

所述网络层可访问数据处理层的数据，并为应用层提供传输通道；

所述应用层通过网络层访问时空数据库。

作为优选的方案，所述数据处理层还包括异构数据转换模块，所述异构数据模块将所述感知层采集到的时空数据转换为标准格式的数据。具体地，所述标准格式为XML。

作为优选的方案，所述数据处理层包括Hadoop分布式平台、Spark大数据处理框架、Oracle关系型数据库；所述Hadoop分布式平台采用HDFS文件系统对数据进行分布式存储，所述Spark大数据处理框架采用Hive分布式数据仓库对感知层的数据清洗、过滤、删除冗余。

作为优选的方案，所述数据处理层还包括异常过滤器、业务过滤器、时间过滤器，所述异常过滤器对感知层的时空数据进行异常冗余数据的检验，对重复的数据、基于服务的数据长度是否一致进行判断；

所述业务过滤器按照业务定义的规则对终端、时间、地点、信息中存在异常的孤立数据进行业务判定，对于不匹配的数据进行过滤处理；

所述时间过滤器根据数据的时间记录进行过滤，可根据业务要求指定时间范围，对不在该时间范围的数据进行过滤。

根据上述过滤器本发明还提供了一种数据清洗方法，首选将数据装载入HIVE中，然后依次经过异常过滤器、业务过滤器、时间过滤器进行过滤，将不符合过滤规则的数据清除并写入到日志中。

作为优选的方案，所述时空数据包括：网点感知时空数据、网点时空数据、时空关联数据；所述网点时空数据、时空关联数据存储于Oracle关系数据库中；所述网点感知时空数据通过异构数据转换模块导入HDFS分布式文件系统。

本发明另一方面还提供了一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，依次包括数据准备阶段、数据的挖掘阶段和数据结果的解释和评估阶段，所述数据准备阶段定义数据挖掘训练数据的信息，具体包括确定维度信息、数据均值化处理、确定交叉验证参数；

所述数据挖掘阶段根据业务需求，设计数据挖掘算法然后应用海量数据，通过算法训练模型。

作为训练模型的优选方案，所述训练模型包括时空关联、时空同现模式挖掘、时空聚类、时空分类、时空轨迹频繁；

所述时空关联从大量的时空数据中挖掘出有价值的描述数据项之间相互联系的有关知识；所述时空关联规则包括空间约束又有时态约束的关联规则；

所述时空同现模式挖掘是对复杂时空数据提取同现模式的过程；所述时空同现模式是在同位模式的基础上添加了时空符合兴趣度形成的模式；所述时空同现模式在时空维下，不同对象类型子集的实例在一些时间段中在空间上是相互邻近的或符合某种空间关系的；

所述时空聚类指基于空间和时间相似度把具有相似行为的时空对象划分到同一组中；

所述时空分类基于时空对象的特征构建分类模型来预测时空对象所属类别或对象所在具体空间位置；

所述时空轨迹频繁挖掘时空轨迹关联的信息。

作为优选的方案，所述时空关联的具体步骤为：

将含有时间约束和空间约束的数据源首先按照空间位置进行整理,生成信息/地址对,然后根据Apriori算法生成侯选项集,由侯选项集生成频繁项集,直到频繁项集不能生成更长的侯选项集为止；

再把时间因素加入信息/地址对进去,将时间区间用一个适宜的推广因子进行推广,得出相应的含有地址约束的项目与扩展时间区间的元素对,当项目/地址对落入相同的推广时间区间内,则产生关联规则,即含有时空约束的关联规则。

作为优选的方案，所述时空同位模式数据挖掘方法具体为：遍历计算空间内不同特征类型下，每两个实例之间的期望距离；

若所述实例间的期望距离小于等于距离阈值,则把该实例对作为候选实例对；遍历所有类型下的所有实例对，直至不再产生候选实例对；得到所有的候选实例对之后,计算候选实例对中每种特征类型所对应的空间参与度；在得出模式的空间参与度之后,同空间参与度阈值做比较,若前者大于等于后者,那么该模式即为空间同位模式；

在确定所有的空间同位模式后，再计算时空同现模式；先计算空间同位模式的时间参与度，若大于等于时间参与度阈值，则该模式为时空同现模式。

作为优选的方案，所述时空聚类采用时空密度聚类的算法，所述时空密度聚类是空间密度聚类在时空域上的扩展，采用密度作为实体间相似性的度量标准，将时空簇视为一系列被低密度区域(噪声)分割的高密度连通区域；

具体地，所述时空密度聚类为ST-DBSCAN聚类；所述ST-DBSCAN聚类是DBSCAN聚类在时间维上的扩展，所述扩展包括E邻域扩展为时空邻域、直接密度可达扩展为时空直接密度可达。

作为优选的方案，所述时空分类采用BP神经网络算法，具体的步骤为：

首先构造一个包含输入层、输出层和隐藏层的多层网络结构；其中输入层为经处理的智能网点时空特征数据，输出层为时空数据的目标类别；所述网络中每个神经元包含一个连续可微的非线性激活函数；所述网络展示高度的连接线，其强度由网络的突触权值确定；

接着采用BP神经网络应用反向传播的方法，训练网络的各个突触权值：所述训练过程包括两个阶段：

前向阶段：网络的突触权值是固定的，输入信号在网络中一层层传播，直到达到突出端；

反向阶段：通过比较网络的输出和期望输出产生的误差信号，将误差信号再次通过网络一层层传播，并对网络的突触权值进行不断的修正。

作为优选的方案，所述时空轨迹频繁采用一种基于后缀树的时空轨迹频繁模式挖掘算法结合DBSCAN算法。具体为，首先通过后缀树挖掘出候选的轨迹频繁模式,然后进一步对产生的结果进行挖掘,通过聚类的方式提取出带有停留时间的频繁模式。对于轨迹化,Tb定义轨迹间的距离,若二者有着不同的置序列,则距离为正无穷,若二者之间有着相同的位置序列,则计算其距离。最后通过基于密度的DBSCAN算法迸行轨迹频繁项聚类。

本发明的有益效果是：

1、采用XML标准格式将多源、异构的物联网采集数据转换为符号系统建设标准规范的数据格式，实现数据统一存储、处理。

2、构建了一个分布式数据预处理平台，多层次对物联网海量数据中的异常信息清洗，保证数据的有效性，降低处理的难度。

3、基础时空与时空关联数据分开存储，提高数据的容错性，关系数据库提供WEB服务接口，更加数据访问的便利性。

4、采用了时空关联、时空同现模式挖掘、时空聚类、时空分类、时空轨迹频繁等多种训练模式，多层次复用多源物联网感知数据，可以深度分析数据中对象的社会关系：包括人与人的关系、人与车的关系、及人与社会环境的关系等；

5、可以提供个性化的警务数据服务，并为上层警务应用提供有高效、可预测的服务，并可作为探求刑事案件的发案、破案规律工具,支持领导科学决策。

附图说明

图1是本发明的时空关系分析系统的结构示意图；

图2是本发明的时空关系分析系统的数据处理流程图；

图3是本发明的异构数据转换流程图；

图4是本发明的数据清洗流程图；

图5是本发明的数据挖掘流程图；

图6是本发明时空数据存储关系图；

图7是本发明xml文件示例；

图8是本发明智能网点时空数据关系表属性结构图；

图9是本发明对象时空关联关系表属性结构图；

图10是本发明对象分类关系存储关系表属性结构图。

具体实施方式

为了更好的理解本发明所提出的技术方案，下面结合附图和具体的实施例对本发明作进一步阐述。

1系统组成

如图1所示，一种基于多源物联网位置感知的时空数据关联分析系统由以下四个层次组成：

1、感知层(数据采集层)：由物联网的各种终端设备组成，包括监控视频、门禁系统、WiFi、IC卡、停车场监控等；

2、数据处理层：由Hadoop分布式平台、spark大数据处理框架组成及oracle关系型数据库组成。这里采用云计算中的Hadoop分布式框架进行分布式数据处理,由于Hadoop分布式文件系统HDFS是以支持大数据集合为目标的，故利用HDFS对健康物联网产生的异构海量数据进行分布式存储；根据具体需求，采用基于Spark编程模型的Hive分布式数据仓库对智能终端采集的数据进行数据清洗过滤、删除冗余信息；由于采集到的数据背后隐藏着大量有用的信息，希望能够对其更高层次的分析,为公安警务人员提供科学的关联规则等数据挖掘模型，需要对分布式存储的数据进行分布式关联规则等数据挖掘，为上层警务应用提供有用、高效,具有可预测的服务。

3、网络层：以公安内网为基础。

4、应用层：应用关联分析的结果，实现各种案情分析功能。例如模型评估、在线训练、信息预测、服务发布。

如图2所示，描述了基于Hadoop数据处理的流程走向,通过数据加载转换为统一的数据格式到分布式存储，然后根据数据挖掘模型的需求对数据进行分布式数据清洗，再进行分布式数据巧掘，然后再应用训练得到的数据挖掘模型进行分布式时空数据数据挖掘，最后将挖掘到的时空关联数据与物联网时空数据一起存储到关系数据库中，作为相关web服务接口的数据资源。

对智能采集物联网中的网点、时空数据以及时空数据对象间的时空关系进行统一存储管理。实现这些信息的高效的增删改查，用以指导警务工作。

2时空数据处理和分析

2.0基于物联网获取的异构数据加载转换

由于智能采集物联网设备的多样性，采集到的信息大多数是异构的。结合图2和图3所示，本发明设置了一个异构数据转换加载模块的，将多源、异构的物联网采集数据转换为符号系统统一为标准规范的数据格式。目前在互联网领域，已存在一个广泛应用的数据交换接口标准XML(Extensible Markup Languange扩展标记语言)。XML文件的可读性极强，可适应于不同的平台、编程语言、框架。在制定好XML文件的格式标准之后，根据不同的智能终端设备感知层协议，编写相应的接口，将相应智能终端设备的数据转换为系统统一识别的XML文件。例如，系统XML文件格式规范如下：

节点名称	说明
		device	设备属性name代表名称，coordinate代表坐标
times	监控时间表
		time	监控时刻
INFOS	获取信息列表
		INFO	获取信息，属性name为信息唯一标识

如图7为xml文件示例：标识位于坐标(113，23)的A摄像头于2015/06/16 00:00:00监控到身份证号A的人和车牌号A的车辆。

2.1数据过滤清洗

智能采集物联网数据处理平台从智能采集终端中接收的海量异构数据中蕴含了大量信息，这些信息尽管是数据关联挖掘模型的数据基础，但是智能采集物联网数据仓库系统中有可能存在着大量的脏数据，由于智能采集终端协议不同等原因导致的数据缺失属性值、时间间隔短、采集数据异常、有效数据值重复等错误。因此需要构建一个分布式数据预处理平台，用以清洗物联网海量数据中的这些异常信息。

数据过滤清洗就是读取加载的大量数据,根据某种原则,过滤掉冗余的数据，为数据挖掘打下基础。由于数据量很大,需要在集群中部署分布式数据清洗的方案，Hadoop平台提供了一个数据仓库工具Hive(包括mapreduce和spark两个版本)。应用Hive，可以像编写sql语句一样方便的在分布式数据平台HDFS上编写数据过滤清洗程序。

本发明包括三种数据清洗过滤器(模块)：

异常过滤器:对于待清洗数据，首先进行异常冗余数据的检验，这里主要对于数据是否完全重复且基于服务的数据长度是否一致进行判断。

业务过滤器:应与具体支撑应用平台密切相关,在数据挖掘模型的具体应用中，业务需求可能只包括某一限定范围的信息。例如可以定义以下几个规则:只选定某个型号的智能终端的数据，产品号及版本号等信息；限定具体时间，地点以及应用人及相关信息。对于可能存在异常的孤立数据进行业务判定。对于不匹配的数据进行过滤处理。

时间过滤器:根据数据的时间记录进行过滤，可以根据业务要求指定时间范围。对不在该时间范围的数据进行过滤。

如图4所示，具体的清洗方法，首选将数据装载入HIVE中，然后依次经过异常过滤器、业务过滤器、时间过滤器进行过滤，将不符合过滤规则的数据清除并写入到日志中。

2.2分布式时空关联规则模型挖掘

关联规则模型挖掘算法的是本发明的核心。时空数据挖掘是数据库中数据挖掘和知识发现的子域，是时空数据库、机器学习、统计学、地理可视化和信息理论等几个领域的交叉学科。通过时空数据挖掘方法，研究空间对象随时间的变化规律，可以发现时空演变中隐含的知识，从而为智能警务地理信息系统等提供有效的决策支持。

如图5所示，时空数据挖掘的过程分三个阶段：时空数据的准备阶段、时空数据的挖掘阶段和时空数据结果的解释和评估阶段。

2.2.1数据准备

数据准备阶段主要是定义数据挖掘训练数据的相关信息。其具体步骤包括：

1、确定维度信息：即训练样本包含哪些属性信息。

2、数据均值化处理：一般情况下，训练数据的各个维度最后统一离散到[0,1]的取值范围。

3、确定交叉验证参数：一般训练样本分为训练数据和验证数据两个部分，直接用验证数据去验证训练出来的模型效果。

2.2.2模型训练

根据具体业务需求，设计数据挖掘的算法，然后应用海量数据，通过算法训练模型。本发明的训练模型见下表：

2.2.2.1时空关联

时空关联规则的理论是在关联规则的基础之上发展而来，即既有空间约束又有时态约束的关联规则。其主要用于研究空间对象随时间变化的规律，发现海量时空数据中处于一定时间间隔的空间位置的关联规则。

目前关联规则挖掘算法中最为流行的是Apriori算法。其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，其实现过程主要分为两个步骤：

1.依据支持度找出所有频繁项集(频度)

2.依据置信度产生关联规则(强度)

Apriori算法的应用非常广泛，但其所挖掘的关联规则一般都假定为永远有效。针对时空关联规则挖掘，需要在算法中加入时间约束和空间约束。其基本步骤为：将含有时间约束和空间约束的数据源首先按照空间位置进行整理,生成信息/地址对,然后根据Apriori算法生成侯选项集,由侯选项集生成频繁项集,直到频繁项集不能生成更长的侯选项集为止。再把时间因素加入进去,将时间区间用一个适宜的推广因子进行推广,得出相应的含有地址约束的项目与扩展时间区间的元素对,当项目/地址对落入相同的推广时间区间内,则产生关联规则,即含有时空约束的关联规则。

2.2.2.2时空同现

时空同现模式挖掘是对复杂时空数据提取同现模式的过程。时空同现模式是在同位模式的基础上添加了时空符合兴趣度形成的模式。空间同位模式是从地理空间中发现的那些频繁的且紧密相邻的空间特征的集合，同位规则试图将关联规则泛化为空间索引的点集合数据集。时空同现模式就是在时空维下，不同对象类型子集的实例在一些时间段中在空间上是相互邻近的(或符合某种空间关系的)。同现模式是在同位模式的基础上,提出时空复合兴趣度的概念作为同现模式的判断标准。时空复合兴趣度是将空间兴趣度和时间兴趣度相结合。

依据时空同现模式挖掘的基本理论，要进行时空同现模式的挖掘，首先需要挖掘同一时间段内的同位模式。

时空同位模式数据挖掘方法基于Apriori算法思想，具体为：

1.遍历计算空间内不同特征类型下，每两个实例(分属于不同的特征类型)之间的期望距离(初步将期望距离定义为欧氏距离)。以任意两个实例间的期望距离为例，可分别计算出实例一的不确定点群到实例二中心点的期望距离，和实例二的不确定点群到实例一中心点的期望距离。

2.这两个实例间的期望距离便是这两个期望距离中的最大值。若实例间的期望距离小于等于距离阈值,则把该实例对作为候选实例对。遍历所有类型下的所有实例对，直至不再产生候选实例对。得到所有的候选实例对之后,便需要计算候选实例对中每种特征类型所对应的空间参与度。在得出模式的空间参与度之后,同空间参与度阈值做比较,若前者大于等于后者,那么该模式即为空间同位模式

在确定所有的空间同位模式后，再计算时空同现模式。先计算空间同位模式的时间参与度，若大于等于时间参与度阈值，则该模式为时空同现模式。

2.2.2.3时空聚类

时空聚类就是指基于空间和时间相似度把具有相似行为的时空对象划分到同一组中,使组间差别尽量大,而组内差别尽量小。时空聚类分析能够更好地发现和分析地理现象发展变化的规律与本质特征并预测其发展趋势。

时空聚类分析是一种非监督分类的方法,它依据判断相似性准则将所有时空实体划分成一系列时空簇。同一时空簇内,对象之间的差异要尽量小于不同时空簇的对象间的差异。

本发明采用时空密度聚类的算法来进行基于智能采集网点的时空聚类分析。时空密度聚类是空间密度聚类在时空域上的扩展，其采用密度作为实体间相似性的度量标准，将时空簇视为一系列被低密度区域(噪声)分割的高密度连通区域。

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据集中发现任意形状的聚类。

DBSCAN中的几个定义:E邻域:给定对象半径为E内的区域称为该对象的E邻域；核心对象：如果给定对象E邻域内的样本点数大于等于MinPts，则称该对象为核心对象；直接密度可达：对于样本集合D，如果样本点Q在P的E邻域内，并且P为核心对象，那么对象Q从对象P直接密度可达；密度可达：对于样本集合D，给定一串样本点Pi,Pv...Pn,P＝P1,假如对象Pi从Pi-l直接密度可达,那么对象Q从对象P密度可达；密度相连：存在样本集合D中的一点0,如果对象0到对象P和对象Q都是密度可达的,那么P和Q密度相联

ST-DBSCAN(Space Time Density-Based Spatial Clustering of Applicationswith Noise)聚类是DBSCAN聚类在时间维上的扩展。扩展的方面是：E邻域扩展为时空邻域；直接密度可达扩展为时空直接密度可达。除了时空邻域定义的改变,顾及非空间属性的ST-DBSCAN聚类还需要定义算法中的其他概念：时空对象、属性差函数判定阈值e、时空直接密度可达、时空核心对象判定阈值MinPts等。

2.2.2.4时空分类

时空分类主要是基于时空对象特征构建分类模型来预测时空对象所属类别或所在具体空间位置。

与时空聚类不同，时空分类是一种监督分类算法，是以建立统计识别函数为理论基础，依据典型样本训练方法进行分类的技术：即根据已知训练区提供的样本，通过选择特征参数，求出特征参数作为决策规则，建立判别函数以对各待分类数据进行分类。

适用于监督分类的算法很多，如SVM支持向量机、BP神经网络、贝叶斯统计、决策树建模等。针对智能采集网点时空数据的数值多样性的特征，本发明采用BP神经网络算法构建监督分类的预测模型。

BP神经网络算法具体为:首先构造一个包含输入层、输出层和隐藏层的多层网络结构。其中输入层为经处理的智能网点时空特征数据，输出层为时空数据的目标类别。其基本特征包括：

1、网络中每个神经元包含一个连续可微的非线性激活函数；

2、网络展示高度的连接线，其强度由网络的突触权值确定。

BP神经网络应用反向传播的方法，训练网络的各个突触权值。训练过程分为如下两个阶段：

前向阶段：网络的突触权值是固定的，输入信号在网络中一层层传播，直到达到突出端；

反向阶段：通过比较网络的输出和期望输出产生的误差信号，将误差信号再次通过网络一层层传播，并对网络的突触权值进行不断的修正。

2.2.2.5时空轨迹频繁

根据现有频繁模式挖掘的理论成果，本发明采用一种基于后缀树的时空轨迹频繁模式挖掘算法结合DBSCAN算法。后缀树是一种数据结构，能快速解决很多关于字符串的问题。时空轨迹频繁模式挖掘可以转换为频繁序列模式的挖掘，而后缀树作为一种数据结构，可以存储序列数据并且其查询性能较好。通过对后缀树进行改进使其可以存储兴趣区域序列和时间信息,而且可以减少数据的存储，并可以增量挖掘轨迹模式。算法实现的具体步骤为：首先通过后缀树挖掘出候选的轨迹频繁模式,然后进一步对产生的结果进行挖掘,通过聚类的方式提取出带有停留时间的频繁模式。对于轨迹化,Tb定义轨迹间的距离,若二者有着不同的置序列,则距离为正无穷；若二者之间有着相同的位置序列,则计算其距离。最后通过基于密度的DBSCAN算法迸行轨迹频繁项聚类。

2.2.3模型测试

对已保存的模型作验证，通常采用训练样本数据集交叉验证的方法，验证数据模型是否符合训练数据的期望输出。

2.2.4模型运行

对测试成功的模型，设置其任务调度参数，包括任务名称、执行方式(立即、定时、周期)、开始执行时间、资源占用等，保存任务列表。系统按照任务列表，自动生成执行计划，按时运行各模型任务；支持手工运行、定时运行和周期性定时调度三种方式。

在模型运行过程中，对模型运行进行监控，包括监控当前任务中的信息、当前任务运行状态、反馈信息、任务运行历史记录表等。

2.2.5结果评价

模型任务运行结束后，可设置模型结果数据的展示方式：

1、直接查看模式：数据结果将形成数据集，存储在新开辟的数据资源池中，有权限的用户可直接到资源池中查询查看。

2、预警推送：预警推送方式通过与当前分析总线进行对接，将分析结果中预警信息推送封装为预警发布服务接口，各警种业务系统可调用该接口，查询数据挖掘分析推送发布的结果数据集。

3时空数据及关联规则模型存储管理

3.1时空数据管理概述

智能物联网数据分为三大部分：网点感知的时空数据、网点时空数据、时空关联数据。其中网点时空数据和时空关联数据(即数据挖掘模型预测结果数据)存储于oracle关系数据库中，便于信息的增删改查；每个智能物联网感知的时空数据通过前文提到的异构数据加载转换模块导入HDFS分布式文件系统进行处理。

3.2智能网点时空数据处理与存储

按照网点编号，存储每个网点的空间数据和属性数据。包括网点位置、坐标、设备类型、采集信息类型、采集信息的频率、采集信息的空间覆盖范围等。

同时利用空间邻接分析，结合时间服务半径，确定每个物联网点间的时空依赖关系，并按其时空依赖关系存储物联网点间关系，为物联网感知数据处理、数据挖掘做准备。主要设计的关系表及关系表属性结构如图8所示。

3.2.1对象时空关联关系存储

以感知对象人、车为例，从人、地、车、时间四个维度描述对象的时空关系。主要关系分为：

1人员时空行为挖掘与存储

2车辆时空行为挖掘与存储

3人员与车辆时空关系挖掘与存储

4人员与人员时空关系挖掘与存储

5车辆与车辆时空关系挖掘与存储

主要设计的关系表及关系表属性结构如图9所示。

3.2.2对象分类关系存储

对象分类关系存储主要管理某一时间段内、针对某一具体警情时间所做的聚类分析、分类分析结果。其数据关系表及关系表属性结构如图10所示。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式的相关模块和软件架构做适应性变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.一种基于多源物联网位置感知的时空关系分析系统，自下而上包括感知层、数据处理层、网络层、应用层，其特征在于：

所述感知层包括多种终端设备，所述终端设备可以采集时空数据并为数据处理层提供原始时空数据；

所述数据处理层包括分布式数据处理平台、数据处理框架、关系型数据库；所述数据处理层接收来自感知层的时空数据，并将所述感知层的时空数据过滤、清洗，按照时空关联规则对数据进行挖掘，然后存储到时空数据库中，并为网络层提供访问接口；

所述网络层可访问数据处理层的数据，并为应用层提供传输通道；

所述应用层通过网络层访问时空数据库。

2.根据权利要求1所述的一种基于多源物联网位置感知的时空关系分析系统，其特征在于，所述数据处理层还包括异构数据转换模块，所述异构数据模块将所述感知层采集到的时空数据转换为标准格式的数据。

3.根据权利要求1所述的一种基于多源物联网位置感知的时空关系分析系统，其特征在于，所述数据处理层包括Hadoop分布式平台、Spark大数据处理框架、Oracle关系型数据库；所述Hadoop分布式平台采用HDFS文件系统对数据进行分布式存储，所述Spark大数据处理框架采用Hive分布式数据仓库对感知层的数据清洗、过滤、删除冗余。

4.根据权利要求1所述的一种基于多源物联网位置感知的时空关系分析系统，其特征在于，所述数据处理层还包括异常过滤器、业务过滤器、时间过滤器，所述异常过滤器对感知层的时空数据进行异常冗余数据的检验，对重复的数据、基于服务的数据长度是否一致进行判断；

所述业务过滤器按照业务定义的规则对终端、时间、地点、信息中存在异常的孤立数据进行业务判定，对于不匹配的数据进行过滤处理；

所述时间过滤器根据数据的时间记录进行过滤，可根据业务要求指定时间范围，对不在该时间范围的数据进行过滤。

5.根据权利要求1至3任一项所述的一种基于多源物联网位置感知的时空关系分析系统，其特征在于，所述时空数据包括：网点感知时空数据、网点时空数据、时空关联数据；所述网点时空数据、时空关联数据存储于Oracle关系数据库中；所述网点感知时空数据通过异构数据转换模块导入HDFS分布式文件系统。

6.一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，依次包括数据准备阶段、数据的挖掘阶段和数据结果的解释和评估阶段，其特征在于，所述数据准备阶段定义数据挖掘训练数据的信息，具体包括确定维度信息、数据均值化处理、确定交叉验证参数；

所述数据挖掘阶段根据业务需求，设计数据挖掘算法然后应用海量数据，通过算法训练模型。

7.根据权利要求6所述的一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，其特征在于，所述训练模型包括时空关联、时空同现模式挖掘、时空聚类、时空分类、时空轨迹频繁；

所述时空关联从大量的时空数据中挖掘出有价值的描述数据项之间相互联系的有关知识；所述时空关联规则包括空间约束又有时态约束的关联规则；

所述时空同现模式挖掘是对复杂时空数据提取同现模式的过程；所述时空同现模式是在同位模式的基础上添加了时空符合兴趣度形成的模式；所述时空同现模式在时空维下，不同对象类型子集的实例在一些时间段中在空间上是相互邻近的或符合某种空间关系的；

所述时空聚类指基于空间和时间相似度把具有相似行为的时空对象划分到同一组中；

所述时空分类基于时空对象的特征构建分类模型来预测时空对象所属类别或对象所在具体空间位置；

所述时空轨迹频繁挖掘时空轨迹关联的信息。

8.根据权利要求7所述的一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，所述时空关联的具体步骤为：

将含有时间约束和空间约束的数据源首先按照空间位置进行整理,生成信息/地址对,然后根据Apriori算法生成侯选项集,由侯选项集生成频繁项集,直到频繁项集不能生成更长的侯选项集为止；

再把时间因素加入信息/地址对进去,将时间区间用一个适宜的推广因子进行推广,得出相应的含有地址约束的项目与扩展时间区间的元素对,当项目/地址对落入相同的推广时间区间内,则产生关联规则,即含有时空约束的关联规则。

9.根据权利要求7所述的一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，其特征在于，所述时空同位模式数据挖掘方法具体为：遍历计算空间内不同特征类型下每两个实例之间的期望距离；

若所述实例间的期望距离小于等于距离阈值,则把该实例对作为候选实例对；遍历所有类型下的所有实例对，直至不再产生候选实例对；得到所有的候选实例对之后,计算候选实例对中每种特征类型所对应的空间参与度；在得出模式的空间参与度之后,同空间参与度阈值做比较,若前者大于等于后者,那么该模式即为空间同位模式；

在确定所有的空间同位模式后，再计算时空同现模式；先计算空间同位模式的时间参与度，若大于等于时间参与度阈值，则该模式为时空同现模式。

10.根据权利要求7所述的一种基于多源物联网位置感知的时空关系分析系统的时空数据挖掘方法，其特征在于，所述时空分类采用BP神经网络算法，具体的步骤为：

首先构造一个包含输入层、输出层和隐藏层的多层网络结构；其中输入层为经处理的智能网点时空特征数据，输出层为时空数据的目标类别；所述网络中每个神经元包含一个连续可微的非线性激活函数；所述网络展示高度的连接线，其强度由网络的突触权值确定；

接着采用BP神经网络应用反向传播的方法，训练网络的各个突触权值：所述训练过程包括两个阶段：

前向阶段：网络的突触权值是固定的，输入信号在网络中一层层传播，直到达到突出端；

反向阶段：通过比较网络的输出和期望输出产生的误差信号，将误差信号再次通过网络一层层传播，并对网络的突触权值进行不断的修正。