CN104778193B - 数据去重方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据去重方法及装置，其中方法包括：向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；接收所述采集设备发送的第一数据；检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存。本发明实施例只需要存储一份数据就可以完成去重，不仅能够达到数据去重的目的，而且节约了系统资源。

Description

数据去重方法及装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据去重方法及装置。

背景技术

随着计算机和通信技术的发展，网络的应用迅速普及，已日益成为成活中不可或缺的工具。与此同时，为了网络安全和服务的需要，需要对网络数据进行采集分析。由于网络设计和采集方案的原因，采集到的数据往往有大量重复数据，这对后续的存储和分析造成重大影响。因此，实际应用中会在存储和分析前对数据进行去重操作。

现有技术中常用的数据去重方法为双哈希法，在双哈希法去重处理过程中，主要包括数据处理流程和辅助处理流程，数据处理流程主要包括如下步骤：

步骤101a、创建两张相同的hash表，命名为哈希表1(h1)和哈希表2(h2)。

步骤102a、当t时间有数据d到来时，先在h1和h2中查找是否存在d的MD5值，如果存在，则执行步骤103，如果不存在，则执行步骤104。

步骤103a、确定d为重复数据，将其丢弃。

步骤104a、将MD5值插入h1和h2中。

辅助处理流程主要包括如下步骤：

步骤101b、初始化h1和h2。

步骤102b、当时间到达超时时间的二分之一时，清空h1。

步骤103b、当时间到达超时时间时，清空h2清空。重复循环上述步骤。

但是，上述双哈希算法操作以下不足：

1、相同的数据会同时保存到h1和h2中，造成资源的浪费；

2、需要额外的辅助线程对h1和h2中的数据进行清空，造成系统资源浪费。

发明内容

有鉴于此，本发明实施例提供一种数据去重方法及装置，以优化现有的数据去重方法，只需要存储一份数据就可完成去重，节约了系统资源。

在第一方面，本发明实施例提供了一种数据去重方法，包括：

向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收所述采集设备发送的第一数据；

检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存。

在第二方面，本发明实施例提供了数据去重装置，包括：

发送模块，用于向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收模块，用于接收所述采集设备发送的第一数据；

检测模块，用于检测缓存中是否存有所述第一数据；

丢弃模块，用于若检测模块检测缓存中存有所述第一数据，则将所述第一数据丢弃；

插入模块，用于若检测模块检测缓存中未存有所述第一数据，则将所述第一数据插入缓存。

本发明实施例通过向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，并接收所述采集设备发送的第一数据，检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存，只需要存储一份数据就可完成去重，不仅能够达到数据去重的目的，而且节约了系统资源。

附图说明

图1是本发明第一实施例提供的一种数据去重方法的流程示意图；

图2是本发明第二实施例提供的一种数据去重方法的流程示意图；

图3是本发明第三实施例提供的一种数据去重方法的流程示意图；

图4是本发明第四实施例提供的一种数据去重装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

本发明实施例的方法可以由数据去重装置来执行，该装置可通过硬件和/或软件的方式实现。

第一实施例

图1是本发明第一实施例提供的一种数据去重方法的流程示意图，如图1所示，包括如下步骤：

步骤101、向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令。

其中，数据采集请求中包含采集数据的目标地址，例如IP地址，采集设备根据所述目标地址从网络上采集数据。其中，所述采集数据可以为网络数据包、或通信信令、或数据文件。

其中，数据采集请求中可以包含多个不同的目标地址，采集设备根据所述目标地址依次从不同的网络上获取数据。

步骤102、接收所述采集设备发送的第一数据。

这里，为了区分本发明实施例中前后出现的不同的采集数据，将在本文中首次出现的采集数据称为第一数据，将后续出现的采集数据称为第二数据。

其中，第一数据为采集数据的一部分，可以为一个数据，还可以由多个数据组成，这里，优选为一个数据。在接收所述采集设备发送的第一数据之后，将所述第一数据放置在缓存中。

步骤103、检测缓存中是否存有所述第一数据。

具体的，检测缓存中是否存有所述第一数据，若缓存中存有所述第一数据，则执行步骤104，若缓存中未存有所述第一数据，则步骤105。

步骤104、将所述第一数据丢弃。

具体的，若缓存中存有所述第一数据，则说明该第一数据为重复数据，将其丢弃。

步骤105、将所述第一数据插入缓存。

具体的，若缓存中存有所述第一数据，则说明该第一数据为非重复数据，将其插入缓存，以备与后续接收的采集数据进行比较。

示例性的，所述检测缓存中是否存有所述第一数据，包括：

检测缓存中的第一数据结构中是否存有所述第一数据，所述第一数据结构用来保存数据和指向第二数据结构中与所述数据对应节点的指针，所述第二数据结构用来保存指向第一数据结构中的数据的指针和数据到达缓存的时间；

所述将所述第一数据丢弃之后，还包括：

更新所述第二数据结构中所述第一数据对应的数据到达缓存的时间；

所述将所述第一数据插入缓存，包括：

将所述第一数据插入第一数据结构中，并将所述第一数据对应的数据到达缓存的时间插入第二数据结构中。

例如，可以在缓存中设置数据结构，其中第一数据结构用来保存数据和指向第二数据结构中的数据对应时间节点的指针，第二数据结构用来保存指向数据的指针及数据到达缓存的时间，其中，数据到达缓存的时间按照先后顺序组织排序，以保证后续扫描再缓存中停留时间超过预设时长的数据时更高效。

示例性的，将所述第一数据对应的数据到达缓存的时间插入第二数据结构之后，还包括：

查询第二数据结构中存储的数据到达缓存的时间；

根据数据到达缓存的时间确定在缓存中停留时间超过预设时长的第二数据；

删除第一数据结构的第二数据和第二数据结构中第二数据对应的数据到达缓存的时间。

例如，预设时长可以根据数据来源来进行设置，不同的数据来源设置不同的预设时长。对于数据传输缓慢的网络，可以将预设时长设置的长一些，例如为1分钟，对于数据传输较快的网络，可以将预设时长设置的短一些，例如为30秒钟。

示例性的，所述第二数据结构中存储的数据到达缓存的时间按照到达时间的先后顺序进行排序。

示例性的，向采集设备发送数据采集请求之前，还包括：

接收用户输入的去重请求消息。

本实施例通过向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，并接收所述采集设备发送的第一数据，检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存，只需要存储一份数据就可完成去重，不仅能够达到数据去重的目的，而且节约了系统资源。

第二实施例

图2是本发明第二实施例提供的一种数据去重方法的流程示意图，如图2所示，包括如下步骤：

步骤201、接收用户输入的去重请求消息。

具体参见上述实施例对本步骤的相关描述，这里不再累述。

步骤202、向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令。

步骤203、接收所述采集设备发送的第一数据。

具体参见上述实施例对本步骤的相关描述，这里不再累述。

步骤204、检测缓存中的第一数据结构中是否存有所述第一数据。

其中，所述第一数据结构用来保存数据和指向第二数据结构中与所述数据对应节点的指针，所述第二数据结构用来保存指向第一数据结构中的数据的指针和数据到达缓存的时间。

若检测到缓存中存有所述第一数据，则执行步骤205，若检测到缓存中未存有所述第一数据，则执行步骤206。

例如，可以将第一数据结构定义为(第一数据-第一数据在第二数据结构中的指针)，可以将第二数据结构定义为(第一数据的指针-第一数据到达缓存的时间)，该时间为时间点。

例如，在12:50:25这一时刻，第一数据结构中的数据如下表一所示：

表一

数据	对应指针
		A	*A
B	*B
		C	*C
D	*D

所述第二数据结构中存储的数据到达缓存的时间按照到达时间的先后顺序进行排序，例如，第二数据结构中的数据如下表二所示：

表二

指针	到达缓存的时间
		*A	12:50:00
*B	12:50:10
		*C	12:50:20
*D	12:50:25

缓存中的数据为B、E、F、G，若所述第一数据为B时，则执行步骤205，若所述第一数据为H时，则执行步骤206。

步骤205、将所述第一数据丢弃，更新所述第二数据结构中所述第一数据对应的数据到达缓存的时间。

例如，若所述第一数据为B时，B到达缓存的时间为12:50:30，则对应将所述第二数据结构中数据B对应的到达缓存的时间更新为12:50:30，则得到第二数据结构中的数据如下表三所示：

表三

指针	到达缓存的时间
		*A	12:50:00
*C	12:50:20
		*D	12:50:25
*B	12:50:30

步骤206、将所述第一数据插入第一数据结构中，并将所述第一数据对应的数据到达缓存的时间插入第二数据结构中。

例如，若所述第一数据为H时，H到达缓存的时间为12:50:30，则将H插入第一数据结构中，将所述H对应的到达缓存的时间插入第二数据结构中，则得到第一数据结构中和第二数据结构中的数据分别如下表四和表五所示：

表四

数据	对应指针
		A	*A
B	*B
		C	*C
D	*D
		H	*H

表五

指针

到达缓存的时间

*A	12:50:00
		*B	12:50:10
*C	12:50:20
		*D	12:50:25
*H	12:50:30

本实施例在缓存采用两个数据结构分别保存数据和数据对应的到达缓存的时间，只需要存储一份数据就可完成去重，无需使用多线程技术，大幅度减少了内存占用，节约了系统资源。

第三实施例

图3是本发明第三实施例提供的一种数据去重方法的流程示意图，本实施例在上述实施例的基础上，进一步增加了对第二数据结构中存储的数据到达缓存的时间超过预设时长的第二数据进行清理处理的相关步骤，如图3所示，具体包括如下步骤：

步骤301、查询第二数据结构中存储的数据到达缓存的时间。

例如，可以定时查询第二数据结构中存储的数据到达缓存的时间，例如每隔第一预设时长就查询一次。其中第一预设时长可以为所述预设时长，也可以为大于所述预设时长的任意时长。

步骤302、根据数据到达缓存的时间确定在缓存中停留时间超过预设时长的第二数据。

例如，目前时间点为12:50:32，预设时长设为10秒，以上述表五的数据为例，则根据数据到达缓存的时间确定在在缓存中停留时间超过10秒的数据为A、B和C。

其中，预设时长可以根据数据的来源进行调整。

步骤303、删除第一数据结构的第二数据和第二数据结构中第二数据对应的数据到达缓存的时间。

例如，根据步骤302选定的超时数据A、B和C，从第一数据结构和第二数据结构中上述对应的数据。例如，删除之后得到的第一数据结构和第二数据结构中的数据分别如下表六、表七所示：

表六

数据	对应指针
		D	*D
H	*H

表五

指针	到达缓存的时间
		*D	12:50:25
*H	12:50:30

本实施例的预设时长可以在缓存采用两个数据结构分别保存数据和数据对应的到达缓存的时间，只需要存储一份数据就可完成去重，无需使用多线程技术，大幅度减少了内存占用，节约了系统资源。并且通过第二数据结构单独实现数据到达缓存时间的管理，能够实现对超时数据的快速管理。

第四实施例

图4是本发明第四实施例提供的一种数据去重装置的结构示意图，具体包括发送模块，接收模块41、检测模块42、丢弃模块43和插入模块44。

发送模块41用于向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收模块42用于接收所述采集设备发送的第一数据；

检测模块43用于检测缓存中是否存有所述第一数据；

丢弃模块44用于若检测模块43检测缓存中存有所述第一数据，则将所述第一数据丢弃；

插入模块45用于若检测模块43检测缓存中未存有所述第一数据，则将所述第一数据插入缓存。

示例性的，所述检测模块43具体用于检测缓存中的第一数据结构中是否存有所述第一数据，所述第一数据结构用来保存数据和指向第二数据结构中与所述数据对应节点的指针，所述第二数据结构用来保存指向第一数据结构中的数据的指针和数据到达缓存的时间；

所述装置还包括：

更新模块46用于在所述丢弃模块44将所述第一数据丢弃之后，更新所述第二数据结构中所述第一数据对应的数据到达缓存的时间；

所述插入模块45具体用于将所述第一数据插入第一数据结构中，并将所述第一数据对应的数据到达缓存的时间插入第二数据结构中。

示例性的，所述装置还包括：

查询模块47用于查询第二数据结构中存储的数据到达缓存的时间；

确定模块48用于根据数据到达缓存的时间确定在缓存中停留时间超过预设时长的第二数据；

删除模块49用于删除第一数据结构的第二数据和第二数据结构中第二数据对应的数据到达缓存的时间。

示例性的，所述第二数据结构中存储的数据到达缓存的时间按照到达时间的先后顺序进行排序。

示例性的，所述接收模块42还用于在所述发送模块向采集设备发送数据采集请求之前，接收用户输入的去重请求消息。

本实施例所提供的数据去重装置可用于执行本发明任意实施例提供的数据去重方法，具备相应的功能模块，实现相同的有益效果。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以通过如上所述的服务器实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等；或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据去重方法，其特征在于，包括：

向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收所述采集设备发送的第一数据；

检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存；

所述检测缓存中是否存有所述第一数据，包括：

检测缓存中的第一数据结构中是否存有所述第一数据，所述第一数据结构用来保存数据和指向第二数据结构中与所述数据对应节点的指针，所述第二数据结构用来保存指向第一数据结构中的数据的指针和数据到达缓存的时间；

所述将所述第一数据丢弃之后，还包括：

更新所述第二数据结构中所述第一数据对应的数据到达缓存的时间；

所述将所述第一数据插入缓存，包括：

将所述第一数据插入第一数据结构中，并将所述第一数据对应的数据到达缓存的时间插入第二数据结构中；

将所述第一数据对应的数据到达缓存的时间插入第二数据结构之后，还包括：

查询第二数据结构中存储的数据到达缓存的时间；

根据数据到达缓存的时间确定在缓存中停留时间超过预设时长的第二数据；

删除第一数据结构的第二数据和第二数据结构中第二数据对应的数据到达缓存的时间。

2.根据权利要求1所述的方法，其特征在于，所述第二数据结构中存储的数据到达缓存的时间按照到达时间的先后顺序进行排序。

3.根据权利要求1所述的方法，其特征在于，向采集设备发送数据采集请求之前，还包括：

接收用户输入的去重请求消息。

4.一种数据去重装置，其特征在于，包括：

发送模块，用于向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收模块，用于接收所述采集设备发送的第一数据；

检测模块，用于检测缓存中是否存有所述第一数据；

丢弃模块，用于若检测模块检测缓存中存有所述第一数据，则将所述第一数据丢弃；

插入模块，用于若检测模块检测缓存中未存有所述第一数据，则将所述第一数据插入缓存；

所述检测模块具体用于：

检测缓存中的第一数据结构中是否存有所述第一数据，所述第一数据结构用来保存数据和指向第二数据结构中与所述数据对应节点的指针，所述第二数据结构用来保存指向第一数据结构中的数据的指针和数据到达缓存的时间；

所述装置还包括：

更新模块，用于在所述丢弃模块将所述第一数据丢弃之后，更新所述第二数据结构中所述第一数据对应的数据到达缓存的时间；

所述插入模块具体用于：

将所述第一数据插入第一数据结构中，并将所述第一数据对应的数据到达缓存的时间插入第二数据结构中；

所述装置还包括：

查询模块，用于查询第二数据结构中存储的数据到达缓存的时间；

确定模块，用于根据数据到达缓存的时间确定在缓存中停留时间超过预设时长的第二数据；

删除模块，用于删除第一数据结构的第二数据和第二数据结构中第二数据对应的数据到达缓存的时间。

5.根据权利要求4所述的装置，其特征在于，所述第二数据结构中存储的数据到达缓存的时间按照到达时间的先后顺序进行排序。

6.根据权利要求4所述的装置，其特征在于，所述接收模块，还用于在所述发送模块向采集设备发送数据采集请求之前，接收用户输入的去重请求消息。