CN107579804B - 一种过滤重复数据的方法和系统 - Google Patents

Abstract

本发明公开一种过滤重复数据的方法和系统，其中方法包括如下步骤：接收端获取接收到的数据的序列标识；接收端判断序列标识是否为已接收到的序列标识；如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识。区别于现有技术，上述技术方案通过过滤重复帧，在增加网关的时候可以根据需要简单地增加，而不会出现信息重复接收的问题。从而达到如下效果：1.简化整个网络结构，不需要节点传递信息。2.增加信号的覆盖范围，只需简单添加网关设备，快速实现信号覆盖大范围。3.节点设备可以自由，无缝在网关覆盖区域切换。

Description

一种过滤重复数据的方法和系统

技术领域

本发明涉及组网技术领域，尤其涉及一种过滤重复数据的方法和系统。

背景技术

目前绝大部分专有物联网一般通过复杂的自组网方式，实现对信号的传递，来扩展信号的覆盖范围。这种方法存在存信号拓展难度大，节点要求高，不利于生产安装实施。

发明内容

为此，需要提供一种过滤重复数据的方法和系统，解决现有自组网过程中信号拓展难度大的问题。

为实现上述目的，发明人提供了一种过滤重复数据的方法，包括如下步骤：

接收端获取接收到的数据的序列标识；

接收端判断序列标识是否为已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识。

进一步地，“获取序列标识”步骤之前还包括如下步骤：

接收端获取接收到的数据的方向标识；

接收端判断方向标识是否为自身数据发出的方向标识；

如果是则丢弃数据；否则进入到获取序列标识步骤。

进一步地，所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。

进一步地，“获取序列标识”步骤之前还包括发送步骤：

发送端按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识。

进一步地，包括如下步骤：

接收端获取接收到的数据的设备标识和序列标识；

接收端判断序列标识是否为设备标识对应的已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。

本发明还提供一种重复数据过滤的系统，包括接收端：

接收端用于获取接收到的数据的序列标识；

接收端用于判断序列标识是否为已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识。

进一步地，接收端用于获取接收到的数据的方向标识；

接收端用于判断方向标识是否为自身数据发出的方向标识；

如果是则丢弃数据；否则进入到获取序列标识步骤。

进一步地，所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。

进一步地，还包括发送端：

发送端用于按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识。

进一步地，接收端用于获取接收到的数据的设备标识和序列标识；

接收端用于判断序列标识是否为设备标识对应的已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。

区别于现有技术，上述技术方案通过过滤重复帧，在增加网关的时候可以根据需要简单地增加，而不会出现信息重复接收的问题。从而达到如下效果：1.简化整个网络结构，不需要节点传递信息。2.增加信号的覆盖范围，只需简单添加网关设备，快速实现信号覆盖大范围。3.节点设备可以自由，无缝在网关覆盖区域切换。

附图说明

图1为具体实施方式所述的方法流程示意图；

图2为具体实施方式所述的节点的方法流程图；

图3为具体实施方式所述的服务端的方法流程图；

图4为具体实施方式所述的系统结构示意图。

附图标记说明：

400、重复数据过滤系统，

410、服务器； 420、网关设备； 430、节点。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1到图4，本实施例首先提供了一种过滤重复数据的方法，本方法具体可以应用在如图4所示的系统400上。重复数据过滤系统400包含有服务器410、多个网关设备420和节点430。网关设备可以扩展无线信号的覆盖范围，网关设备和节点具有信息收发功能，网关在系统中只负责数据中的数据转发，即将接收到的数据发送给服务器，并在服务器的控制下发送服务器所要发送的信息。在进行组网的时候，相邻的网关设备存在有信号重叠的区域，网关和网关之间的信息可能被互相收到，节点发送的信息也可能被多个网关获取到。这样在组网的时候，系统间的信息就会被获取到多次，就可能产生严重的错误。

本实施例为了解决上述问题，提出了一种过滤重复数据的方法，如图1所示，包括如下步骤：S120接收端获取接收到的数据的序列标识；S121接收端判断序列标识是否为已接收到的序列标识；如果是则进入S130丢弃数据；否则进入S122接受数据，并将接收到的序列标识作为已接收的序列标识。这里的接收端可以是服务器或者节点。正如上面所述的，网关仅仅起到数据转发作用，网关将数据接收进来后，要发送给服务器进行处理。节点为一个具有处理功能的电子设备。可以与网关设备进行数据传输，如通过无线电信号进行数据传输。如果服务器作为接收端，那么节点就是发送端。反过来，如果服务器作为发送端，那么节点就是接收端。接收端在接收之前，发送端首先要发送数据。一般地，数据都是一个个数据帧地发送，本发明的数据就可以是数据帧，数据帧具有固定的数据格式和大小。如果数据量比较大，可以将数据分到多个数据帧中。为了区分不同的数据帧，每个数据帧在发送的时候，要带上序列标识，序列标识用于对不同的数据帧进行区分，不应该有重复，或者在一段时间内不应该重复。本发明在接收端接收到数据帧的时候，节点可以接收到不同网关发过来相同的数据帧，服务器也可能从不同网关那里接收到同一节点发来的相同数据帧，即接收端可能收到重复的数据帧。由于可能存在重复帧的情况，就可能在数据处理的时候产生多余的数据。本实施例通过数据标识，可以对重复的数据进行排除。并将收到的数据标识进行记录，表明了该数据帧已经收到了，如果下次还收到，则说明是重复的，则要进行丢弃。

在某些实施例中，在步骤S122中已接收的序列标识可以用一个数组进行存放，从而可以记录多组数据。在本实施例中，已接收的序列标识可以是单一的变量，可以降低数据存储需求和判断的资源消耗。因为这里的重复帧要嘛是节点收到两个网关设备发来的重复帧，要嘛是节点发出的信息被不同的网关设备接收到，则重复帧一般都是间隔很短的时间就会收到。所以可以采用单一变量进行存储，在收到数据帧的时候马上进行判断，是重复帧就丢弃数据，不是重复帧就接受数据并将新的数据帧的序列标识存储到已接收的序列标识的单一的变量中，以便于进行下一次的判断。这里的接受数据与接收数据是不同的，数据都会被接收到。接收到的数据只有进行判断后不是重复的才会被接受，接受的数据服务器可以对其进行进一步的处理，如响应接受数据中的指令或者存储接受数据等。

在上述实施例中，网关之间也可能存在数据被互相接收的问题。这样服务器可能就会接收到自身的数据，如果将这些数据作为接受数据，则会增加数据出错的可能，也增加服务器处理的负担。本实施例采用一种高效的排除方法，即通过方向标识进行排除。方向标识用于表明该数据是从接收端发送的还是接收的。如果是发出的，就是为自身发出的方向标识，则可以直接将数据丢弃，不进行下一步处理。该步骤可以放在上面实施例的前面进行，则在“获取序列标识”步骤S120之前还包括如下步骤：步骤S110接收端获取接收到的数据的方向标识；步骤S111接收端判断方向标识是否为自身数据发出的方向标识；如果是则进入步骤S130丢弃数据；否则进入到获取序列标识步骤S120。由于数据接收发送的方向只有两种，则方向标识可以采用一个数据位进行标识，如服务器作为接收端的时候，将服务器接收的数据，也就是节点发送的方向标识作为0；将服务器发送的数据，节点接收到的数据作为1。在节点发送数据的时候，在方向标识上写上0。服务器发送数据的时候，方向标识上写上1。服务器在接收数据的时候，只接收方向标识为0的数据，将所有收到的方向标识为1的数据丢弃。节点在接收数据的时候，只接收方向标识为1的数据，将所有收到的方向标识为0的数据丢弃。当然，在不同的应用场景下，上述的0和1可以根据实际需要在服务器和节点之间进行互换。

在上述实施例中，方向标识可以放置在数据帧的任意位置，为了方便数据判断，提高判断效率，本实施例将所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。这个字节可以在数据帧的头部。

上述实施例提到，序列标识只要能区分不同的数据帧即可，在数据量很大的情况中，序列标识可以采用随机数，那样可以在大数据量下实现对数据的区分。在某些小数据量的应用场景，可以采用某一简单的规律来作为序列标识。如采用递增或者递减的序列标识。则在“获取序列标识”步骤S120之前还包括发送步骤：步骤S101发送端按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识。具体地，可以采用递增的序列标识，后面发送的数据的序列标识都在前面发送的序列标识上加1。由于序列标识的位数有限，则在序列标识计满后，可以重头开始计数。如序列标识是7位，则序列标识计到127后，可以从0开始新一轮的循环计数。这样对数据帧的排列，重复帧的过滤都是很方便的。

由于节点有很多，不同的节点可能其序列标识是一样的，为了区分不同的节点，本实施例采用设备标识对节点进行标识。方向标识、序列标识、设备标识可以都存在数据帧的头部中，构成数据帧的头部，可以将数据帧的头部的一个字节存储方向标识和序列标识，其他字节用于存储节点标识。则本发明的服务器作为接收端在接收到数据时，包括如下步骤：接收端获取接收到的数据的设备标识和序列标识；接收端判断序列标识是否为设备标识对应的已接收到的序列标识；如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。通过设备标识，将相同设备标识的数据进行后面序列标识的判断，避免不同节点数据的干扰。本实施例中，方向标识、序列标识和设备标识的判断顺序可以根据需要进行调整，一般可以采用先判断方向标识，而后设备标识，最后再序列标识的做法。在节点作为接收端的时候，则可以不对设备标识进行判断。以下也从图2和图3的具体实施例对上述的流程进行进一步详细的说明。对于节点来说，接收到数据时，可以将自身的设备标识与接收到的设备标识进行比对，如果一致，则是服务器发送给自身的命令，则进行步骤S120获取序列标识步骤，如果不一致，则可以丢弃数据。则上述中的“判断序列标识是否为设备标识对应的已接收到的序列标识”就可以是判断序列标识是否为自身设备标识对应的已接收到的序列标识。

如图2给出一个在节点上实现上述实施例的具体流程图。节点设备在初始化的时候，首先将发送数据的序列标识send_sn和已接收的序列标识recv_sn初始化，如初始化为-1。在发送数据的时候，每发送一个数据帧，send_sn就自加1，实现对发送数据的序列标识的递增处理。在收到数据的时候，首先判断收到数据的方向标识是否是自身发出数据的标识(这里为0)，如果方向标识为0，则等于1的判断不成立，就丢弃数据包。如果方向标识为1，即等于1的判断成立，即是服务器发送的数据，则判断接收的序列标识。序列标识是已经存储的recv_sn的值，则说明是重复数据，则丢弃数据。如果不是，则接受数据，并将接收的序列标识赋值给recv_sn，即将新接收到的数据的序列标识存储到已接收的序列标识中。

如图3给出一个在服务器上实现上述实施例的具体流程图。服务器在初始化的时候，首先建立节点端序列管理队列，以应对不同的节点数据。如果在要发送数据的时候不存在，就要创建节点队列，将发送数据的序列标识send_sn和已接收的序列标识recv_sn初始化，如初始化为-1。服务器在要将数据发送给节点的时候，可以在设备标识数据位上写上对应节点的设备标识，在发送数据的时候，每发送一个数据帧，send_sn就自加1，实现对发送数据的序列标识的递增处理。在收到数据的时候，首先判断收到数据的方向标识是否是自身发出数据的标识(这里为1)，如果方向标识为1，则等于0的判断不成立，就丢弃数据包。如果方向标识为0，即等于0的判断成立，即是节点发送的数据，则判断是否有该节点队列数据。如果没有就初始化，初始化后进入序列标识判断步骤。有就直接进入序列标识判断步骤。判断序列标识是已经存储的recv_sn的值，则说明是重复数据，则丢弃数据。如果不是，则接受数据，并将接收的序列标识赋值给recv_sn，即将新接收到的数据的序列标识存储到已接收的序列标识中。节点队列用于区分不同的节点，服务器在接收到设备标识和序列标识的时候，就可以根据设备标识判断设备标识对应的已接收到的序列标识，即不同的设备标识，可以有不同的序列标识，这些序列标识间不会相互影响。

本发明还提供一种重复数据过滤的系统400，如图4所示。包括接收端，这里的接收端可以是服务器410或者节点430，网关420用于给服务器与节点进行通信，实现服务器与网关通信范围的覆盖。接收端用于获取接收到的数据的序列标识；接收端用于判断序列标识是否为已接收到的序列标识；如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识。通过重复帧过滤，可以避免服务器或者节点接受到重复数据，避免数据处理出错。

进一步地，接收端用于获取接收到的数据的方向标识；接收端用于判断方向标识是否为自身数据发出的方向标识；如果是则丢弃数据；否则进入到获取序列标识步骤。通过方向标识，可以快速排除自身发出的数据。

进一步地，所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。

进一步地，还包括发送端：发送端用于按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识。通过递增递减的顺序，可以简化发送和接收的流程，提高发送接收效率。

进一步地，接收端用于获取接收到的数据的设备标识和序列标识；接收端用于判断序列标识是否为设备标识对应的已接收到的序列标识；如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。通过设备标识，可以区分不同发送端的数据，也可以区分对应的数据是否是发给自身的数据。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种过滤重复数据的方法，其特征在于，应用于重复数据过滤系统，包含有一个服务器、多个网关设备和节点，一个服务器与多个网关设备连接，网关设备扩展无线信号的覆盖范围，网关设备和节点具有信息收发功能，网关在系统中负责数据中的数据转发，将接收到的数据发送给服务器，节点通过无线电信号与网关设备进行数据传输，服务器作为接收端，节点作为发送端，在进行组网的时候，相邻的网关设备存在有信号重叠的区域时网关设备和网关设备之间的信息被互相收到；包括如下步骤：

发送端按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识，在序列标识计满后，可以重头开始计数；

接收端获取接收到的数据的序列标识；

接收端判断序列标识是否为已接收到的序列标识，已接收的序列标识是单一的变量；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识，将序列标识存储到已接收的序列标识的单一的变量中；

接收端获取接收到的数据的方向标识，方向标识采用一个数据位进行标识；

接收端判断方向标识是否为自身数据发出的方向标识；

如果是则丢弃数据；否则进入到获取序列标识步骤；

所述数据包括：方向标识、序列标识和设备标识。

2.根据权利要求1所述的一种过滤重复数据的方法，其特征在于，所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。

3.根据权利要求1所述的一种过滤重复数据的方法，其特征在于，包括如下步骤：

接收端获取接收到的数据的设备标识和序列标识；

接收端判断序列标识是否为设备标识对应的已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。

4.一种重复数据过滤的系统，其特征在于，包含有一个服务器、多个网关设备和节点，一个服务器与多个网关设备连接，网关设备扩展无线信号的覆盖范围，网关设备和节点具有信息收发功能，网关在系统中负责数据中的数据转发，将接收到的数据发送给服务器，节点通过无线电信号与网关设备进行数据传输，服务器作为接收端，节点作为发送端，包括接收端，在进行组网的时候，相邻的网关设备存在有信号重叠的区域时网关设备和网关设备之间的信息被互相收到：

发送端按照数据发送的前后顺序依次在数据中添加递增或者递减的序列标识，在序列标识计满后，可以重头开始计数；

接收端用于获取接收到的数据的序列标识；

接收端用于判断序列标识是否为已接收到的序列标识，已接收的序列标识是单一的变量；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为已接收的序列标识，将序列标识存储到已接收的序列标识的单一的变量中；

接收端用于获取接收到的数据的方向标识，方向标识采用一个数据位进行标识；

接收端用于判断方向标识是否为自身数据发出的方向标识；

如果是则丢弃数据；否则进入到获取序列标识步骤；

所述数据包括：方向标识、序列标识和设备标识。

5.根据权利要求4所述的一种重复数据过滤的系统，其特征在于，所述序列标识和方向标识分别存在数据帧一个字节的非首位和首位。

6.根据权利要求4所述的一种重复数据过滤的系统，其特征在于：

接收端用于获取接收到的数据的设备标识和序列标识；

接收端用于判断序列标识是否为设备标识对应的已接收到的序列标识；

如果是则丢弃数据；否则接受数据，并将接收到的序列标识作为该设备标识已接收的序列标识。

Images