CN105163277A - 一种基于位置信息的大数据任务的管理系统及方法 - Google Patents

Abstract

本发明一种基于位置信息的大数据任务的管理系统及方法，系统包括：设置于数据管理的区域的多个传感器，用于采集待管理的移动设备发射至传感器位置的信号强度数据；数据收集器，用于收集传感器采集到的信号强度数据，将信号强度数据进行数据化处理；核心数据分发服务器，用于将数据化处理后的信号强度数据进行分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，将各个移动设备的信号强度数据发送到相应的信息队列；时序队列服务器，用于将每一个信息队列中的信号强度数据根据时序进行排序形成时序队列，根据预设的时间窗口从时序队列中选取对应数量的信号强度数据以数据组合的方式进行输出。

Description

一种基于位置信息的大数据任务的管理系统及方法

技术领域

本发明涉及物联网/大数据管理技术领域，尤其是指一种基于位置信息的大数据任务的管理系统及方法。

背景技术

“物联网概念”是在“互联网概念”的基础上，将其用户端延伸和扩展到任何物品与物品之间，进行信息交换和通信的一种网络概念。Wi-Fi探针的原理是利用智能设备商WI-FI模块所发出的无线广播信号进行设备的感知，就像是网站上的Cookie，他会记录你的访问行为和轨迹。不同的是，通过手机MAC地址所采集的是你的线下行为轨迹。

大数据处理过程是一个复杂的过程，大数据的处理方法通常是将一个大的任务通过切分，变成多个可以并行的子任务，用多台机器并行的计算，最后将结构进行汇总，重复的进行上述处理，得到最终的结果。一般分两种场景，一个对历史的数据进行分析计算。另外一种是对实时的数据进行处理计算。针对物联网在线应用数据的处理方式主要采用实时的数据数据处理方式，这就需要系统就有持续并及时的数据收集能力和分析能力。

在物联网的时代，大量传感器会源源不断的发送回数据，不同的传感器发回的数据往往会包含对相同或相似对象的描述信息。需将多对象的信息进行归并、整理，以便提高数据的准确度，提升数据质量。因此，如何针对海量传感器发送回的无线设备信号强度信息，实现一种高效、低延时的调度分析算法，进而快速定位设备的位置，是本领域亟待解决的问题。

发明内容

有鉴于上述问题，本发明提供了一种基于位置信息的大数据任务的管理系统，包括：

设置于需要进行数据管理的区域内的多个传感器，用于采集待管理的移动设备发射至该传感器位置的信号强度数据；

数据收集器，与所述多个传感器通信连接，用于收集每一个所述传感器采集到的信号强度数据，并将所述信号强度数据进行数据化处理；

核心数据分发服务器，与所述数据收集器通信连接，用于将所述数据收集器数据化处理后的信号强度数据进行分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中；

时序队列服务器，与所述核心数据分发服务器通信连接，用于将每一个信息队列中的信号强度数据根据时序进行排序以形成时序队列，并根据预设的时间窗口从所述时序队列中选取对应数量的信号强度数据以数据组合的方式进行输出，用来对移动设备进行定位使用。

本发明基于位置信息的大数据任务的管理系统，专为海量高并发的传感器实时数据收集任务而设计，海量的传感器首先将信号强度数据汇聚在边缘节点的数据收集器上，数据收集器在采集到信号强度数据后，将信号强度数据进行打包，集中分发到后端的核心数据分发服务器上。核心分发服务器将信号强度数据进行解包，按照数据中包含的设备标识，按照设备对象的不同将对应的信号强度数据分发到不同的信息队列中。在发明中信息队列的入队列操作，是将无线设备的单个信号强度数据进行入队列，而出队列时是获取时间窗口内的一组信号强度数据作为数据组合。信息队列保证了数据的时序性，防止因为收集端的数据时间不一致导致的数据时序混乱的问题。提供了高效低延迟的数据中转，实现一种基于海量实时传感器数据的分析调度算法。

本发明基于位置信息的大数据任务的管理系统的进一步改进在于，还包括：优先级调度服务器，与所述时序队列服务器通信连接，用于管理所述时序队列的状态以及设置所述预设的时间窗口的大小。

本发明基于位置信息的大数据任务的管理系统的进一步改进在于，还包括：数据定位服务器，与所述优先级调度服务器通信连接，用于根据所述数据组合对移动设备进行定位。

本发明基于位置信息的大数据任务的管理系统的进一步改进在于，所述核心数据分发服务器的数量为多个，多个所述核心数据分发服务器对数据化处理后的信号强度数据分流进行处理。即本发明基于位置信息的大数据任务的管理系统中的核心数据分发服务器具有无状态特性，集群中不需要控制服务器，在一组数据分发服务器中可以随时的增加和减少服务器数量，而不影响整个业务的逻辑的正确性。并且本过程无需人工干预，自动实现负载的自动均衡。

本发明还提供了一种基于位置信息的大数据任务的管理方法，包括：

在需要进行数据管理的区域内设置多个传感器，所述传感器用于采集待管理的移动设备发射至该传感器位置的信号强度数据；

收集每一个所述传感器采集到的信号强度数据，并将所述信号强度数据进行数据化处理；

将数据化处理后的信号强度数据进行分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中；

将每一个信息队列中的信号强度数据根据时序进行排序以形成时序队列，并根据预设的时间窗口从所述时序队列中选取对应数量的信号强度数据以数据组合的方式输出，用来对移动设备进行定位使用。

本发明基于位置信息的大数据任务的管理方法，专为海量高并发的传感器实时数据收集任务而设计，海量的传感器首先将信号强度数据汇聚在边缘节点的数据收集器上，在采集到信号强度数据后，将信号强度数据进行打包，再集中进行解包，按照数据中包含的设备标识，按照设备对象的不同将对应的信号强度数据分发到不同的信息队列中。在发明中信息队列的入队列操作，是将无线设备的单个信号强度信息进行入队列，而出队列时是获取时间窗口内的一组信号强度内的数据。信息队列保证了数据的时序性，防止因为收集端的数据时间不一致导致的数据时序混乱的问题。提供高效低延迟的数据中转，实现一种基于海量实时传感器数据的分析调度算法。

本发明基于位置信息的大数据任务的管理方法的进一步改进在于，收集每一个所述传感器采集到的信号强度数据，包括：根据一预设的时间间隔，收集每一个所述传感器采集到的信号强度数据。

本发明基于位置信息的大数据任务的管理方法的进一步改进在于，所述传感器还用于记录所述信号强度数据的采集时间。

本发明基于位置信息的大数据任务的管理方法的进一步改进在于，将所述时序队列中的信号强度数据根预设的时间窗口以数据组合的方式进行输出，包括：以推送的方式将所述数据组合进行输出。即队列输入数据是单条采集数据，而队列的输出是满足预设标准(以时间窗口为预设标准)的一组采集数据进行输出。

附图说明

图1是本发明基于位置信息的大数据任务的管理系统的结构框图。

图2是本发明基于位置信息的大数据任务的管理方法的流程图。

图3是本发明基于位置信息的大数据任务的管理系统的传感器的操作示意图。

图4是本发明基于位置信息的大数据任务的管理系统的时序队列的操作示意图。

图5是本发明基于位置信息的大数据任务的管理系统中数据收集服务对比于传统的集群服务的对比示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

配合参看图1所示，图1是本发明基于位置信息的大数据任务的管理系统的结构框图。本发明基于位置信息的大数据任务的管理系统，包括：

设置于需要进行数据管理的区域内的多个传感器10，用于采集待管理的移动设备发射至该传感器位置的信号强度数据；

数据收集器20，与多个传感器10通信连接，用于收集每一个传感器10采集到的信号强度数据，并将所述信号强度数据进行数据化处理。数据收集器20作为前置服务器，放置在传感器10所在的内网内，负责将传感器10采集的数据进行收集，并且上传给核心数据分发服务器30，数据收集器20仅仅将小的数据包组成大的数据包，不对数据进行详细解析。优选地，数据收集器20通过将周边的传感器10采集到的数据进行数据化处理，并且以一定的时间间隔定时发送到后端的核心数据分发服务器30上。时间间隔一般是在1秒左右，具体根据实际网络情况可以动态调节，同时通过对移动设备标记的识别，可以对高优先级的数据进行实时的转发，以进一步的降低数据的延时。

核心数据分发服务器30，与数据收集器20通信连接，用于将数据化处理后的信号强度数据进行解包详细分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中。核心数据分发服务器30接收数据收集器20的发送的数据，并将数据进行解包详细分析，同构上报数据中包含的设备标识，区分所获取到的移动设备信号，根据移动设备的不同设备标识创建专门的信息队列，将相应的数据发送到指定的信息队列上。优选地，所有数据收集器20采集的数据都直接汇集到核心数据分发服务器30中，核心数据分发服务器30为了保证可扩展性，采用的集群式架构，每个核心数据分发服务器30通过将接收到的数据进行解析，将对应的数据分发到不同的消息信息队列中。每个核心数据分发服务器30采用无状态设计，针对每个数据包的解析具有上下文无关性，所以支持无限制的横向扩展能力。更优选地，核心数据分发服务器30具有无状态特性：核心数据分发服务器30的数量为多个，每台核心数据分发服务器30处理一部分汇集数据，每一台核心数据分发服务器30通过同样信息队列分发规则将数据进行分发。当有核心数据分发服务器30系统故障时，数据将自动路由到其他正常工作的核心数据分发服务器30上。当动态增加分发服务器时，可以实时的分流部分数据进行处理。

时序队列服务器40，与核心数据分发服务器30通信连接，用于将每一个信息队列中的信号强度数据根据时序进行排序形成时序队列410，并根据预设的时间窗口从时序队列410中选取对应数量的信号强度数据以数据组合的方式进行输出，用来对移动设备进行定位使用。时序队列服务器40管理和维护信息队列，接收数据入队列，并且根据数据的时间标记，对数据在信息队列中的顺序进行实时的排序，在出队列时，根据时间窗口的大小返回一组符合要求的数据，而窗口的大小是由优先级调度服务器进行调节。优选地，时序队列服务器40具有针对数据时间标签对数据进行排序的能力。核心数据分发服务器30在投递一个消息时，分别标记了消息内描述设备的ID，消息内描述信号强度，消息内描述信号捕获的时间。根据设备ID在系统内生成海量的信息队列列表，每个信息队列中仅仅保持该设备的信号强度数据，同时根据时间，对数据进行排序，同时根据固定的时间窗口大小，将数据插入合适的时间窗口内。出队列时，数据以时间窗口内的所有数据为最小单位，将一组时间窗口内的数据以数组的方式进行返回。

本发明基于位置信息的大数据任务的管理系统，专为海量高并发的传感器实时数据收集任务而设计，海量的传感器首先将信号强度数据汇聚在边缘节点的数据收集器上，数据收集器在采集到信号强度数据后，将信号强度数据进行打包，集中分发到后端的核心数据分发服务器上。核心分发服务器将信号强度数据进行解包，按照数据中包含的设备标识，按照设备对象的不同将对应的信号强度数据分发到不同的信息队列中。在发明中队列的入队列操作，是将无线设备的单个信号强度数据进行入队列，而出队列时是获取时间窗口内的一组信号强度数据作为数据组合。信息队列保证了数据的时序性，防止因为收集端的数据时间不一致导致的数据时序混乱的问题。提供了高效低延迟的数据中转，实现一种基于海量实时传感器数据的分析调度算法。

再次配合图1所示，进一步地，本发明基于位置信息的大数据任务的管理系统还包括：

优先级调度服务器50，与时序队列服务器40通信连接，用于管理时序队列410的状态以及设置所述预设的时间窗口的大小。优选地，优先级调度服务器50记录维护所有时序队列服务器40的队列信息，记录了哪些设备信息存储在哪个队列服务器中，具体的队列长度和读取进度等队列描述信息。在数据定位时，首先会连接时序队列服务器40，优先级调度服务器50根据信息队列的优先级，数据的分布情况，反馈数据定位服务器60应该具体在哪个信息队列取数据，以此高效快速的获取到需要高适合计算位置的数据。

数据定位服务器60，与优先级调度服务器50通信连接，用于根据所述数据组合对移动设备进行定位。数据定位服务器60从时序队列中获取数据，用户定位使用，在信息队列中的元素存活时间超时后，数据自动清除。

参阅图2所示，图2是本发明基于位置信息的大数据任务的管理方法的流程图。本发明基于位置信息的大数据任务的管理方法，包括：

步骤S101：在需要进行数据管理的区域内设置多个传感器，所述传感器用于采集待管理的移动设备发射至该传感器位置的信号强度数据、待管理的移动设备的设备ID以及所述信号强度数据的采集时间。

步骤S102：收集每一个所述传感器采集到的信号强度数据，并将所述信号强度数据进行数据化处理。优选地，收集每一个所述传感器采集到的信号强度数据，包括：根据一预设的时间间隔，收集每一个所述传感器采集到的信号强度数据。预设的时间间隔优选地为1秒。

步骤S103：将数据化处理后的信号强度数据进行解包详细分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中。

步骤S104：将每一个信息队列中的信号强度数据根据时序进行排序，并根据预设的时间窗口从所述时序队列中选取对应数量的信号强度数据以数据组合的方式进行输出，用来对移动设备进行定位使用。优选地，以推送的方式将所述数据组合进行输出。即队列输入数据是单条采集数据，而队列的输出是满足预设标准(以时间窗口为预设标准)的一组采集数据进行输出。

本发明基于位置信息的大数据任务的管理方法，专为海量高并发的传感器实时数据收集任务而设计，海量的传感器首先将信号强度数据汇聚在边缘节点的数据收集器上，在采集到信号强度数据后，将信号强度数据进行打包，再集中进行解包，按照数据中包含的设备标识，按照设备对象的不同将对应的信号强度数据分发到不同的信息队列中。在发明中信息队列的入队列操作，是将无线设备的单个信号强度信息进行入队列，而出队列时是获取时间窗口内的一组信号强度内的数据。信息队列保证了数据的时序性，防止因为收集端的数据时间不一致导致的数据时序混乱的问题。提供高效低延迟的数据中转，实现一种基于海量实时传感器数据的分析调度算法。

以下结合具体实施例，对本发明基于位置信息的大数据任务的管理系统及方法进行详细介绍。参阅图3与图4所示，图3是本发明基于位置信息的大数据任务的管理系统的传感器的操作示意图。图4是本发明基于位置信息的大数据任务的管理系统的时序队列的操作示意图。图中以三个传感器10以及两个移动设备901、移动设备902为例，信号强度的时序与英文字母的先后顺序相同。

首先，在需要进行数据管理的区域内设置三个传感器10，三个传感器10分别接收到移动设备901和移动设备902距离自己所在位置的信号强度数据，移动设备901和移动设备902的全部信号强度如图4中所示为信号强度a～信号强度h，将信号强度a～信号强度h发送到核心数据分发服务器30，核心数据分发服务器30根据移动设备901和移动设备902的不同设备标识，分别创建与移动设备901以及移动设备902对应的队列1和队列2，将与移动设备901对应的信号强度a～信号强度d发送到队列1中，将与移动设备902对应的信号强度e～信号强度h发送到队列2中，此时队列1以及队列2中的各信号强度的顺序是打乱的。

然后，通过时序队列服务器40将队列1以及队列2中的各信号强度根据时序进行排列，形成时序队列1和时序队列2，此时，队列1以及队列2中的各信号强度的顺序是根据时序排列的，即时序队列1中的信号强度是按信号强度a、信号强度b、信号强度c、信号强度d排列的，时序队列2中的信号强度是按信号强度e、信号强度f、信号强度g、信号强度h排列的。

最后，时序队列服务器40将时序队列1以及时序队列2中的信号强度数据根预设的时间窗口以数据组合的方式进行输出，用来对移动设备进行定位使用。图中所示，将时序队列1中的信号强度b、信号强度c、信号强度d作为一个时间窗口组成数据组合，将时序队列2中的信号强度e、信号强度f、信号强度g作为一个时间窗口组成数据组合。

针对上述的本发明基于位置信息的大数据任务的管理系统中的核心数据分发服务器具有无状态特性，以下结合附图进行具体说明。参阅图5所示，图5是本发明基于位置信息的大数据任务的管理系统中数据收集服务对比于传统的集群服务的对比示意图。其中，a列为传统的集群服务示意图，b列为本发明基于位置信息的大数据任务的管理系统中的数据收集服务示意图。

从图5中可以看出，在传统模式下，所有的收发服务器必须由集群控制器来调度数据的流向。如负载均衡请求将数据发送给收发服务器，收发服务器必须同集群控制器确认任务上下文信息，才能继续工作。在这种框架下集群控制器往往成为系统的一个瓶颈。

而本发明基于位置信息的大数据任务的管理系统，取消了集群控制器对集群的状态同步控制，每个收发服务器对接收到的数据独立进行处理，不再进行数据同步或者与集群控制器进行确认，每个服务节点接收到的数据请求同其他的请求无关。大大提高了数据的吞吐量，同时可以自由的增加和减少服务器节点，适应不同的服务器负载。

因此，本发明基于位置信息的大数据任务的管理系统中的核心数据分发服务器具有无状态特性，集群中不需要控制服务器，在一组数据分发服务器中可以随时的增加和减少服务器数量，而不影响整个业务的逻辑的正确性。并且本过程无需人工干预，自动实现负载的自动均衡。

以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于位置信息的大数据任务的管理系统，其特征在于，包括：

设置于需要进行数据管理的区域内的多个传感器，用于采集待管理的移动设备发射至该传感器位置的信号强度数据；

数据收集器，与所述多个传感器通信连接，用于收集每一个所述传感器采集到的信号强度数据，并将所述信号强度数据进行数据化处理；

核心数据分发服务器，与所述数据收集器通信连接，用于将所述数据收集器数据化处理后的信号强度数据进行分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中；

时序队列服务器，与所述核心数据分发服务器通信连接，用于将每一个信息队列中的信号强度数据根据时序进行排序以形成时序队列，并根据预设的时间窗口从所述时序队列中选取对应数量的信号强度数据以数据组合的方式进行输出，用来对移动设备进行定位使用。

2.如权利要求1所述的基于位置信息的大数据任务的管理系统，其特征在于，还包括：优先级调度服务器，与所述时序队列服务器通信连接，用于管理所述时序队列的状态以及设置所述预设的时间窗口的大小。

3.如权利要求2所述的基于位置信息的大数据任务的管理系统，其特征在于，还包括：数据定位服务器，与所述优先级调度服务器通信连接，用于根据所述数据组合对移动设备进行定位。

4.如权利要求1所述的基于位置信息的大数据任务的管理系统，其特征在于，所述核心数据分发服务器的数量为多个，多个所述核心数据分发服务器对数据化处理后的信号强度数据分流进行处理。

5.一种基于位置信息的大数据任务的管理方法，其特征在于，包括：

在需要进行数据管理的区域内设置多个传感器，所述传感器用于采集待管理的移动设备发射至该传感器位置的信号强度数据；

收集每一个所述传感器采集到的信号强度数据，并将所述信号强度数据进行数据化处理；

将数据化处理后的信号强度数据进行分析，获得不同移动设备的设备标识，根据不同移动设备的设备标识为每一个移动设备创建一个对应的信息队列，并将各个移动设备的信号强度数据发送到相应的信息队列中；

将每一个信息队列中的信号强度数据根据时序进行排序以形成时序队列，并根据预设的时间窗口从所述时序队列中选取对应数量的信号强度数据以数据组合的方式输出，用来对移动设备进行定位使用。

6.如权利要求5所述的基于位置信息的大数据任务的管理方法，其特征在于，收集每一个所述传感器采集到的信号强度数据，包括：根据一预设的时间间隔，收集每一个所述传感器采集到的信号强度数据。

7.如权利要求5所述的基于位置信息的大数据任务的管理方法，其特征在于，所述传感器还用于记录所述信号强度数据的采集时间。

8.如权利要求5所述的基于位置信息的大数据任务的管理方法，其特征在于，将所述时序队列中的信号强度数据根预设的时间窗口以数据组合的方式进行输出，包括：以推送的方式将所述数据组合进行输出。