CN107273512B - 一种基于设备类型和地理位置进行数据去重的方法及设备 - Google Patents

Abstract

本发明涉及一种基于设备类型和地理位置进行数据去重的方法及设备，该方法包括：物联网接入节点接收过滤网关下发的去重指示，并侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个物联网数据包括数据内容、终端设备的地理位置以及设备类型，物联网接入节点根据该去重指示对海量终端设备中地理位置为某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据，并将去重后的多个物联网数据与海量物联网数据中除多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，并上报至汇聚单元。实施本发明实施例能够减少物联网接入节点的上报负担以及汇聚单元的处理负担。

Description

一种基于设备类型和地理位置进行数据去重的方法及设备

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于设备类型和地理位置进行数据去重的方法及设备。

背景技术

物联网是指以对物理世界感知为目的，以信息处理为主要任务，以网络为交互载体，实现物与物、物与人之间的信息交互，提供感知信息服务的智能综合系统，通过物与物互联，人们可以更加精细地、动态地管理生产和生活，提高资源利用率和生产效率。在物联网架构中，海量的终端设备可以通过物联网接入节点向充当物联网人机接口的汇聚单元上报其监测到的物联网数据，汇聚单元在接收到海量的终端设备上报的物联网数据之后，根据这些物联网数据进行分析和决策，从而可以为人们提供预警、异常等相关报告。在实际应用中，物联网接入节点上报的物联网数据中可能存在汇聚单元不感兴趣的物联网数据，这不仅增加了物联网接入节点的上报负担，还增加了汇聚单元的处理负担。

发明内容

本发明实施例公开了一种基于设备类型和地理位置进行数据去重的方法及设备，能够减少物联网接入节点的上报负担以及汇聚单元的处理负担。

本发明实施例第一方面公开了一种基于设备类型和地理位置进行数据去重方法，所述方法包括：

物联网接入节点接收过滤网关下发的去重指示并存储，所述去重指示用于指示所述物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作；

所述物联网接入节点侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个所述物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型；

所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据；

所述物联网接入节点将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，并将所述数据元上报至所述汇聚单元。

作为一种可选的实施方式，在本发明实施例第一方面中，所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据，包括：

所述物联网接入节点根据所述去重指示从所述海量终端设备中识别出地理位置为所述某一地理位置的多个终端设备，并根据所述多个终端设备中每个终端设备的设备类型将所述多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

所述物联网接入节点对所述多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

作为一种可选的实施方式，在本发明实施例第一方面中，所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，所述方法还包括：

所述物联网接入节点识别所述海量物联网数据中包括的地理位置为所述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过所述第一预设数量阈值时，触发执行所述根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据的操作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述物联网接入节点将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元之前，所述方法还包括：

所述物联网接入节点判断所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当所述总数量未超过所述第二预设数量阈值时，触发执行所述将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述物联网接入节点执行所述将所述数据元上报至所述汇聚单元的操作之前，所述方法还包括：

所述物联网接入节点识别其上报负荷是否超过预设负荷阈值，当识别出未超过所述预设负荷阈值时，触发执行所述将所述数据元上报至所述汇聚单元的操作；

所述方法还包括：

当识别出超过所述预设负荷阈值时，所述物联网接入节点基于大数据分析识别在封装得到所述数据元之后的预设时间段内是否存在上报负荷小于等于所述预设负荷阈值的某一时刻，当识别出存在所述某一时刻时，在所述某一时刻将所述数据元上报至所述汇聚单元。

本发明实施例第二方面公开了一种物联网接入节点，所述物联网接入节点包括接收单元、存储单元、侦听单元、去重单元、封装单元以及上报单元，其中：

所述接收单元，用于接收过滤网关下发的去重指示，所述去重指示用于指示所述物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作；

所述存储单元，用于存储所述接收单元接收到的所述去重指示；

所述侦听单元，用于侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个所述物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型；

所述去重单元，用于根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据；

所述封装单元，用于将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元；

所述上报单元，用于将所述封装单元封装得到的所述数据元上报至所述汇聚单元。

作为一种可选的实施方式，在本发明实施例第二方面中，所述去重单元根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的具体方式为：

根据所述去重指示从所述海量终端设备中识别出地理位置为所述某一地理位置的多个终端设备，并根据所述多个终端设备中每个终端设备的设备类型将所述多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

对所述多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

作为一种可选的实施方式，在本发明实施例第二方面中，所述物联网接入节点还包括第一识别单元，其中：

所述第一识别单元，用于在所述去重单元根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，识别所述海量物联网数据中包括的地理位置为所述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过所述第一预设数量阈值时，触发所述去重单元执行所述根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据的操作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述物联网接入节点还包括判断单元，其中：

所述判断单元，用于在所述封装单元将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元之前，判断所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当所述总数量未超过所述第二预设数量阈值时，触发所述封装单元执行所述将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述物联网接入节点还包括第二识别单元，其中：

所述第二识别单元，用于在所述上报单元将所述数据元上报至所述汇聚单元之前，识别其上报负荷是否超过预设负荷阈值，当识别出未超过所述预设负荷阈值时，触发所述上报单元执行所述将所述数据元上报至所述汇聚单元的操作；当识别出超过所述预设负荷阈值时，基于大数据分析识别在封装得到所述数据元之后的预设时间段内是否存在上报负荷小于等于所述预设负荷阈值的某一时刻；

所述上报单元，还用于当所述第二识别单元识别出存在所述某一时刻时，在所述某一时刻将所述数据元上报至所述汇聚单元。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，物联网接入节点接收过滤网关下发的去重指示并存储，该去重指示用于指示物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作，以及侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型，物联网接入节点根据该去重指示对海量终端设备中地理位置为某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据，并将去重后的多个物联网数据与海量物联网数据中除多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，以及将该数据元上报至汇聚单元。实施本发明实施例能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，还能够使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种物联网架构的示意图；

图2是本发明实施例公开的一种基于设备类型和地理位置进行数据去重的方法的流程示意图；

图3是本发明实施例公开的另一种基于设备类型和地理位置进行数据去重的方法的流程示意图；

图4是本发明实施例公开的一种物联网接入节点的结构示意图；

图5是本发明实施例公开的另一种物联网接入节点的结构示意图；

图6是本发明实施例公开的一种基于设备类型和地理位置进行数据去重的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于设备类型和地理位置进行数据去重的方法及设备，能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，还能够使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况。以下分别进行详细说明。

为了更好地理解本发明实施例，下面先对本发明实施例公开的一种物联网架构进行介绍。请参阅图1，图1是本发明实施例公开的一种物联网架构的示意图。如图1所示，该物联网架构按照功能划分可以包括终端设备层、物联网接入节点层以及汇聚层三个层。其中，终端设备层可以包括海量规模的终端设备，例如湿度计、烟感器、通风设备、雨量传感器、灌溉阀等等；物联网接入节点层可以包括网络连接的大量的物联网接入节点，物联网接入节点可以包括路由器、中继器、接入点等设备，本发明实施例不作限定；物联网接入节点可以使用任何标准的组网协议，而且物联网接入节点可以在不同的网络制式之间实现数据解析；汇聚层可以包括过滤网关和汇聚单元，其中，过滤网关可以通过互联网与物联网接入节点层的各个物联网接入节点直接或简介通讯连接；汇聚单元可以通过过滤网关对物联网接入节点层的各个物联网接入节点进行高层管理，从而实现数据传输频率、网络拓扑以及其他组网功能的控制；汇聚单元不仅可以对海量终端设备产生的物联网数据进行分析和决策，还可以通过发指令去获取信息或者配置终端设备参数(此时数据的传输指向终端设备)；汇聚单元还可以引入各种业务，从大数据到社交网络、甚至从社交工具“点赞”到天气分享等。在图1所示的物联网架构中，每一个物联网接入节点可以为其自身无线覆盖范围内的海量终端设备提供物联网数据收发服务，其中，每一物联网接入节点自身无线覆盖范围内的每一个终端设备可以内置有无线通讯模块，这使得每一物联网接入节点可以通过无线网络通讯方式与自身无线覆盖范围内的每一个终端设备进行无线通讯。在图1所示的物联网架构中，终端设备内置的无线通讯模块在生产时，可以输入上频点470MHz，下频点510MHz，这样无线通讯模块可以自动将通讯频段定义为470MHz～510MHz，以符合中国SRRC标准的规定；或者，也可以输入上频点868MHz，下频点908MHz，这样无线通讯模块可以自动将通讯频段定义为868MHz～908MHz，以符合欧洲ETSI标准的规定；或者，可以输入上频点918MHz，下频点928MHz，这样无线通讯模块可以自动将通讯频段定义为918MHz～928MHz，以符合美国FCC标准的规定；或者，无线通讯模块的通讯频段也可以定义为符合日本ARIB标准或加拿大IC标准的规定，本发明实施例不作限定。在图1所示的物联网架构中，终端设备可以采用频分复用(Frequency Division Multiple Access，FDMA)、跳频(Frequency-Hopping Spread Spectrum，FHSS)、动态时分复用(Dynamic Time Division MultipleAccess，DTDMA)、退避复用(CSMA)相结合的方法来解决干扰问题。

实施例一

请参阅图2，图2是本发明实施例公开的一种基于设备类型和地理位置进行数据去重的方法的流程示意图。如图2所示，该基于设备类型和地理位置进行数据去重的方法可以包括以下操作：

201、物联网接入节点接收过滤网关下发的去重指示并存储，该去重指示用于指示物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作。

本发明实施例中，物联网接入节点接收过滤网关下发的去重指示可以包括：

物联网接入节点检测其与过滤网关之间的无线端口的负荷值并判断该负荷值是否小于指定负荷阈值，如果小于该指定负荷阈值，则判断当前时间距离汇聚单元需要物联网数据的时间是否达到预置时间长度，如果达到该预置时间长度，则向过滤网关发送包括物联网接入节点的身份标识的去重指示获取请求，以触发过滤网关根据该物联网接入节点的身份标识对物联网接入节点进行身份验证且在身份验证通过时返回针对该去重指示获取请求的去重指示获取响应；

物联网接入节点接收过滤网关下发的去重指示获取响应，并解析该去重指示获取响应得到去重指示。这样在汇聚单元需要物联网数据之前获取去重指示的方式能够使物联网接入节点获取到最新的去重指示。

202、物联网接入节点侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型。

其中，终端设备的设备类型是根据终端设备的功能划分的，如用于监测温度的终端设备、用于监测土壤内养分含量的终端设备以及用于监测空气湿度的终端设备等。

203、物联网接入节点根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

本发明实施例中，物联网接入节点根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据可以包括：

物联网接入节点根据上述去重指示从上述海量终端设备中识别出地理位置为某一地理位置的多个终端设备，并根据该多个终端设备中每个终端设备的设备类型将多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

物联网接入节点对多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据。

本发明实施例中，物联网接入节点对其中一个终端设备组内的终端设备上报的物联网数据进行去重可以包括：

当一个终端设备组内存在上报的物联网数据里的数据内容相同或相似的终端设备时，只保留其中一个终端设备的物联网数据并过滤掉其余终端设备的物联网数据；

当一个终端设备组内不存在上报的物联网数据里的数据内容相同或相似的终端设备时，物联网接入节点可以按照数据内容由小到大或由大到小的顺序间隔选取物联网数据，作为针对该终端设备组内的终端设备上报的所有物联网数据去重后得到的物联网数据。

204、物联网接入节点将上述去重后的多个物联网数据与上述海量物联网数据中除多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，并将该数据元上报至汇聚单元。

可见，实施图2所描述的基于设备类型和地理位置进行数据去重的方法能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，还能够使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况。

实施例二

请参阅图3，图3是本发明实施例公开的另一种基于设备类型和地理位置进行数据去重的方法的流程示意图。如图3所示，该基于设备类型和地理位置进行数据去重的方法可以包括以下操作：

301、物联网接入节点接收过滤网关下发的去重指示并存储，该去重指示用于指示物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作。

302、物联网接入节点侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型。

303、物联网接入节点识别上述海量物联网数据中包括的地理位置为上述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值。

本发明实施例中，当步骤303的识别结果为是时，触发执行步骤304；当步骤303的识别结果为否时，物联网接入节点将上述海量物联网数据封装成数据元并上报至汇聚单元。这样当汇聚单元不感兴趣的地理位置内的终端设备上报的物联网数据较少时，向汇聚单元正常上报，有利于汇聚单元掌握该地理位置的一些基本情况，当汇聚单元不感兴趣的地理位置内的终端设备上报的物联网数据较多时，对该部分物联网数据执行去重操作，以减少汇聚单元不感兴趣的地理位置的终端设备上报的物联网数据的数量，能够减轻物联网接入节点的上报负担。

304、物联网接入节点根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

本发明实施例中，物联网接入节点根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据可以包括：

物联网接入节点根据上述去重指示从上述海量终端设备中识别出地理位置为某一地理位置的多个终端设备，并根据该多个终端设备中每个终端设备的设备类型将多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

物联网接入节点对多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重操作，得到去重后的多个物联网数据。

305、物联网接入节点判断上述去重后的多个物联网数据与上述海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值。

本发明实施例中，当步骤305的判断结果为否时，触发执行步骤306；当步骤305的判断结果为是时，物联网接入节点可以过滤掉上述去重后的多个物联网数据，将上述剩余物联网数据封装成数据元并上报至汇聚单元。

本发明实施例中，当物联网接入节点的上报负荷过大时，物联网接入节点可以直接过滤掉汇聚单元不感兴趣的地理位置的终端设备上报的所有物联网数据，以进一步减轻物联网接入节点的上报负荷。

306、物联网接入节点将上述去重后的多个物联网数据与上述海量物联网数据中除多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，并将该数据元上报至汇聚单元。

在一个可选的实施例中，在将上述数据元上报至汇聚单元之前，该基于设备类型和地理位置进行数据去重的方法还可以包括以下操作：

物联网接入节点识别其上报负荷是否超过预设负荷阈值，当识别出未超过预设负荷阈值时，触发执行上述将上述数据元上报至汇聚单元的操作；

当识别出超过预设负荷阈值时，基于大数据分析识别在封装得到上述数据元之后的预设时间段内是否存在上报负荷小于等于预设负荷阈值的某一时刻，当识别出存在该某一时刻时，在该某一时刻将上述数据元上报至汇聚单元。

在该可选的实施例中，物联网接入节点能够根据统计出的预设时间长度内不同时刻上报物联网数据的情况智能建立物联网接入节点在不同时刻的上报负荷的整体模型，且能够在物联网接入节点上报负荷不大时，直接向汇聚单元上报数据元，以保证汇聚单元能够及时的接收到数据元；在物联网接入节点上报负荷较大时，在预设时间段内的上报负荷较小的时刻上报，这样既保证汇聚单元接收到数据元的可靠性，又能够避免数据元的传输时延过大。

可见，实施图3所描述的基于设备类型和地理位置进行数据去重的方法能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，且在需要上报的物联网数据不超过预设数量阈值时，使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况，在需要上报的物联网数据超过预设数量阈值时，直接过滤掉汇聚单元不感兴趣的地理位置内的终端设备上报的物联网数据，进一步减少物联网接入节点的上报压力。

实施例三

请参阅图4，图4是本发明实施例公开的一种物联网接入节点的结构示意图。如图4所示，该物联网接入节点400可以包括接收单元401、存储单元402、侦听单元403、去重单元404、封装单元405以及上报单元406，其中：

接收单元401用于接收过滤网关下发的去重指示，该去重指示用于指示物联网接入节点400针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作。

本发明实施例中，接收单元401接收过滤网关下发的去重指示的具体方式可以为：

检测其与过滤网关之间的无线端口的负荷值并判断该负荷值是否小于指定负荷阈值，如果小于该指定负荷阈值，则判断当前时间距离汇聚单元需要物联网数据的时间是否达到预置时间长度，如果达到该预置时间长度，则向过滤网关发送包括物联网接入节点400的身份标识的去重指示获取请求，以触发过滤网关根据该物联网接入节点400的身份标识对物联网接入节点400进行身份验证且在身份验证通过时返回针对该去重指示获取请求的去重指示获取响应；

接收过滤网关下发的去重指示获取响应，并解析该去重指示获取响应得到去重指示。这样在汇聚单元需要物联网数据之前获取去重指示的方式能够使物联网接入节点400获取到最新的去重指示。

存储单元402用于存储接收单元401接收到的去重指示。

侦听单元403用于侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个物联网数据可以包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型。

去重单元404用于根据存储单元402存储的上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

封装单元405用于将去重单元404得到的去重后的多个物联网数据与上述海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元。

上报单元406用于将封装单元405封装得到的上述数据元上报至汇聚单元。

在一个可选的实施例中，去重单元404根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的具体方式可以为：

根据上述去重指示从上述海量终端设备中识别出地理位置为上述某一地理位置的多个终端设备，并根据该多个终端设备中每个终端设备的设备类型将上述多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同，并对该多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

在另一个可选的实施例中，物联网接入节点400还可以包括第一识别单元407，进一步可选的，还可以包括判断单元408以及第二识别单元409，此时，该物联网接入节点400的结构可以如图5所示，图5是本发明实施例公开的另一种物联网接入节点的结构示意图。其中：

第一识别单元407用于在去重单元404根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，识别上述海量物联网数据中包括的地理位置为上述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过上述第一预设数量阈值时，触发去重单元404执行上述根据上述去重指示对上述海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的操作。

判断单元408用于在封装单元405将上述去重后的多个物联网数据与上述海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元之前，判断上述去重后的多个物联网数据与上述海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当该总数量未超过该第二预设数量阈值时，触发封装单元405执行上述将上述去重后的多个物联网数据与上述海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

第二识别单元409用于在上报单元406将上述数据元上报至汇聚单元之前，识别其上报负荷是否超过预设负荷阈值，当识别出未超过预设负荷阈值时，触发上报单元406执行上述将上述数据元上报至汇聚单元的操作；当识别出超过预设负荷阈值时，基于大数据分析识别在封装得到数据元之后的预设时间段内是否存在上报负荷小于等于预设负荷阈值的某一时刻。

上报单元406还可以用于当第二识别单元409识别出存在上述某一时刻时，在上述某一时刻将上述数据元上报至汇聚单元。

可见，实施图4或图5所描述的物联网接入节点能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，还能够使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况。

实施例四

请参阅图6，图6是本发明实施例公开的一种基于设备类型和地理位置进行数据去重的系统的结构示意图。如图6所示，该基于设备类型和地理位置进行数据去重的系统可以包括汇聚单元601、过滤网关602、物联网接入节点603以及处于物联网接入节点无线覆盖范围内的终端设备604，其中：

汇聚单元601用于向过滤网关602下发去重指示，该去重指示用于指示物联网接入节点603针对汇聚单元601不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作。

过滤网关602用于接收汇聚单元601下发的去重指示并下发至物联网接入节点603。

物联网接入节点603用于接收过滤网关602下发的去重指示并存储。

终端设备604用于向物联网接入节点603上报物联网数据，其中，该物联网数据包括数据内容、上报该物联网数据的终端设备604的地理位置以及设备类型。

物联网接入节点603还用于侦听其无线覆盖范围内的海量终端设备604上报的海量物联网数据，根据上述去重指示对该海量终端设备604中地理位置为上述某一地理位置的多个终端设备604中相同设备类型的终端设备604上报的物联网数据进行去重，得到去重后的多个物联网数据，并将该去重后的多个物联网数据与上述海量物联网数据中除该多个终端设备604上报的物联网数据之外的剩余物联网数据封装成数据元，并将该数据元直接上报至汇聚单元601或将该数据元通过过滤网关602上报至汇聚单元601。

汇聚单元601还用于接收物联网接入节点603上报的数据元。

可选的，物联网接入节点603根据上述去重指示对海量终端设备中地理位置为上述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的具体方式为：

根据上述去重指示从海量终端设备604中识别出地理位置为上述某一地理位置的多个终端设备604，并根据该多个终端设备604中每个终端设备604的设备类型将多个终端设备604划分成多个终端设备组，同一终端设备组内的终端设备604的设备类型相同，不同终端设备组内的终端设备604的设备类型不同；

对该多个终端设备组中每个终端设备组内的终端设备604上报的物联网数据进行去重，得到去重后的多个物联网数据。

进一步可选的，物联网接入节点603还可以用于在根据去重指示对海量终端设备中地理位置为某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，识别海量物联网数据中包括的地理位置为某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过第一预设数量阈值时，触发执行上述根据去重指示对海量终端设备中地理位置为某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的步骤。

又进一步可选的，物联网接入节点603还用于在将去重后的多个物联网数据与海量物联网数据中除上述多个终端设备604上报的物联网数据之外的剩余物联网数据封装成数据元之前，判断去重后的多个物联网数据与海量物联网数据中除上述多个终端设备604上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当该总数量未超过第二预设数量阈值时，触发执行上述将去重后的多个物联网数据与海量物联网数据中除上述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

又进一步可选的，物联网接入节点603还可以用于在将上述数据元上报至上述汇聚单元601的操作之前，识别其上报负荷是否超过预设负荷阈值，当识别出未超过预设负荷阈值时，触发执行上述将数据元上报至汇聚单元601的操作。

物联网接入节点603还可以用于当识别出超过预设负荷阈值时，基于大数据分析识别在封装得到上述数据元之后的预设时间段内是否存在上报负荷小于等于预设负荷阈值的某一时刻，当识别出存在某一时刻时，在该某一时刻将数据元上报至汇聚单元601。

可见，实施图6所描述的基于设备类型和地理位置进行数据去重的系统能够对汇聚单元不感兴趣的地理位置内相同设备类型的终端设备上报的物联网数据执行去重操作，不仅能够减少物联网接入节点的上报负担以及汇聚单元的处理负担，还能够使汇聚单元通过其不感兴趣的地理位置内的终端设备上报的部分物联网数据了解其不感兴趣的地理位置的情况。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于设备类型和地理位置进行数据去重的方法及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于设备类型和地理位置进行数据去重的方法，其特征在于，所述方法包括：

物联网接入节点接收过滤网关下发的去重指示并存储，所述去重指示用于指示所述物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作；

所述物联网接入节点侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个所述物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型；

所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据；

所述物联网接入节点将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元，所述物联网接入节点识别其上报负荷是否超过预设负荷阈值，当识别出超过所述预设负荷阈值时，所述物联网接入节点基于大数据分析识别在封装得到所述数据元之后的预设时间段内是否存在上报负荷小于等于所述预设负荷阈值的某一时刻，当识别出存在所述某一时刻时，在所述某一时刻将所述数据元上报至所述汇聚单元。

2.根据权利要求1所述的基于设备类型和地理位置进行数据去重的方法，其特征在于，所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据，包括：

所述物联网接入节点根据所述去重指示从所述海量终端设备中识别出地理位置为所述某一地理位置的多个终端设备，并根据所述多个终端设备中每个终端设备的设备类型将所述多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

所述物联网接入节点对所述多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

3.根据权利要求1所述的基于设备类型和地理位置进行数据去重的方法，其特征在于，所述物联网接入节点根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，所述方法还包括：

所述物联网接入节点识别所述海量物联网数据中包括的地理位置为所述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过所述第一预设数量阈值时，触发执行所述根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的操作。

4.根据权利要求1所述的基于设备类型和地理位置进行数据去重的方法，其特征在于，所述物联网接入节点将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元之前，所述方法还包括：

所述物联网接入节点判断所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当所述总数量未超过所述第二预设数量阈值时，触发执行所述将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

5.根据权利要求1-4任一项所述的基于设备类型和地理位置进行数据去重的方法，其特征在于，所述物联网接入节点识别其上报负荷是否超过预设负荷阈值，当识别出未超过所述预设负荷阈值时，将所述数据元上报至所述汇聚单元。

6.一种物联网接入节点，其特征在于，所述物联网接入节点包括接收单元、存储单元、侦听单元、去重单元、封装单元、上报单元以及第二识别单元，其中：

所述接收单元，用于接收过滤网关下发的去重指示，所述去重指示用于指示所述物联网接入节点针对汇聚单元不感兴趣的某一地理位置的终端设备上报的物联网数据按照终端设备的设备类型执行去重操作；

所述存储单元，用于存储所述接收单元接收到的所述去重指示；

所述侦听单元，用于侦听其无线覆盖范围内的海量终端设备上报的海量物联网数据，每个所述物联网数据包括数据内容、上报该物联网数据的终端设备的地理位置以及设备类型；

所述去重单元，用于根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据；

所述封装单元，用于将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元；

所述上报单元，用于将所述封装单元封装得到的所述数据元上报至所述汇聚单元；

所述第二识别单元，用于在所述上报单元将所述数据元上报至所述汇聚单元之前，识别其上报负荷是否超过预设负荷阈值，当识别出超过所述预设负荷阈值时，基于大数据分析识别在封装得到所述数据元之后的预设时间段内是否存在上报负荷小于等于所述预设负荷阈值的某一时刻；

所述上报单元，还用于当所述第二识别单元识别出存在所述某一时刻时，在所述某一时刻将所述数据元上报至所述汇聚单元。

7.根据权利要求6所述的物联网接入节点，其特征在于，所述去重单元根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的具体方式为：

根据所述去重指示从所述海量终端设备中识别出地理位置为所述某一地理位置的多个终端设备，并根据所述多个终端设备中每个终端设备的设备类型将所述多个终端设备划分成多个终端设备组，同一终端设备组内的终端设备的设备类型相同，不同终端设备组内的终端设备的设备类型不同；

对所述多个终端设备组中每个终端设备组内的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据。

8.根据权利要求6所述的物联网接入节点，其特征在于，所述物联网接入节点还包括第一识别单元，其中：

所述第一识别单元，用于在所述去重单元根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据之前，识别所述海量物联网数据中包括的地理位置为所述某一地理位置的多个终端设备上报的物联网数据的数量是否超过第一预设数量阈值，当超过所述第一预设数量阈值时，触发所述去重单元执行所述根据所述去重指示对所述海量终端设备中地理位置为所述某一地理位置的多个终端设备中相同设备类型的终端设备上报的物联网数据进行去重，得到去重后的多个物联网数据的操作。

9.根据权利要求6所述的物联网接入节点，其特征在于，所述物联网接入节点还包括判断单元，其中：

所述判断单元，用于在所述封装单元将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元之前，判断所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据的总数量是否超过第二预设数量阈值，当所述总数量未超过所述第二预设数量阈值时，触发所述封装单元执行所述将所述去重后的多个物联网数据与所述海量物联网数据中除所述多个终端设备上报的物联网数据之外的剩余物联网数据封装成数据元的操作。

10.根据权利要求6-9任一项所述的物联网接入节点，其特征在于，当所述第二识别单元识别出未超过所述预设负荷阈值时，上报单元将所述数据元上报至所述汇聚单元。

Images