CN104991923B - 一种过滤方法及装置 - Google Patents

Abstract

本发明公开了一种过滤方法及装置。所述方法包括：提取需要进行过滤的进程中的过滤项目；根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块；获取所述共享内存块中存储的过滤文件；根据所述过滤文件对所述过滤项目进行过滤。节省了存储多个独立的过滤文件所占用的内存，并且在过滤过程中可以实现对共享内存中的过滤文件进行更新。

Description

一种过滤方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种过滤方法及装置。

背景技术

随着计算机互联网技术的发展，互联网中可以根据用户的习惯或者需求，向用户推荐符合用户习惯或需求的商品或功能。在推荐系统中，过滤是推荐系统中的基本功能。比如服务器要给某用户推荐100个商品，但是这100个商品之中可能有些已经下架了，则需要将已经下架了的商品过滤掉。

当前在推荐系统中过滤的方法是，在推荐系统中的每个进程每天自己下载一个过滤文件，解析之后以字典的形式加载到该进程的内存区域之中。

发明人发现现有技术的存在以下缺点：无法共享内存资源，在多个进程进行推荐时，每个进程都需要加载一份独立的过滤，在进程加载完过滤文件后，过滤文件无法实现实时更新。而且如果在推荐系统的进程运行时，对某一进行的过滤文件进行替换，需要占用该进行的两倍内存区域，因为，首先需要把新的过滤文件加载在该进行的内存区域中，再从该进行的内存区域中删除老的过滤文件，而在新的过滤文件在内存区域中加载完毕，但还没有删除老的过滤文件时，需要占用该进行的两倍内存区域。

发明内容

为克服相关技术中存在的问题，本发明实施例提供一种过滤方法及装置。节省了存储多个独立的过滤文件所占用的内存，并且在过滤过程中可以实现对共享内存中的过滤文件进行更新。

一种过滤方法，包括：

提取需要进行过滤的进程中的过滤项目；

根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块；

获取所述共享内存块中存储的过滤文件；

根据所述过滤文件对所述过滤项目进行过滤。

通过共享内存块存储过滤文件，当有过滤项目时，所有进程都可直接从共享内存块中根据存储的过滤文件对过滤项目进行过滤。节省了存储多个独立的过滤文件所占用的内存，并且在过滤过程中可以实现对共享内存中的过滤文件进行更新。

优选的，根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块，包括：

将所述过滤项目的哈希值对预设数值取模，所述预设数值为本机内存中所述共享内存块的总数；

获取取模后的余数，所述余数为所述共享内存块的内存地址；

根据所述内存地址查找到所述过滤项目对应的共享内存块。

通过将过滤项目的哈希值对预设数据值取模的余数，确定共享内存块的内存地址，再根据内存地址查找到过滤项目对应的共享内存块。可以准确的在内存中查找到相应的共享内存块，提高了查找共享内存块的效率及准确率，从而也进一步提高了对过滤项目进行过滤的效率及准确率。

优选的，根据所述过滤文件对所述过滤项目进行过滤，包括：

根据所述过滤文件对所述过滤项目进行布隆过滤。

布隆过滤可以更好的过滤项目中不需要的部分，使得到的过滤结果更符合用户的需求。

优选的，所述方法还包括：

下载过滤数据；

将所述过滤数据划分为预设数值个过滤文件，所述预设数值为本机内存中所述共享内存块的总数；

将所述过滤文件的哈希值对所述预设数值取模，取模后的余数为存储所述过滤文件的共享内存块的内存地址；

为所述过滤文件申请一个新共享内存块；

将所述过滤文件在所述新共享内存块按照布隆过滤方式进行组织；

用所述新共享内存块替换所述内存地址对应的旧共享内存块。

通过将过滤数据划分为多个过滤文件，为过滤文件申请一个新共享内存块，并将过滤文件在新共享内存块按照布隆过滤方式进行组织，在进行运行的同时，用新共享内存块替换内存地址对应的理共享内存块。实现了在对过滤项目进行过滤时，可以在过滤的过程中用新共享内存块替换旧共享内存块，实现了过滤数据的更新，同时，由于共享内存块并不占用任何一个进程的内存区域，所以在新共享内存块替换旧共享内存块时，并不会对过滤的进程的内存造成过多的占用，从而节省了过滤进程所占用的内存空间。

优选的，至少两个所述进程共用一份所述过滤数据。

在有多个过滤进程时，节省了进程所占用的内存空间。

一种过滤装置，其特征在于，包括：

提取模块，用于提取需要进行过滤的进程中的过滤项目；

查找模块，用于根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块；

获取模块，用于获取所述共享内存块中存储的过滤文件；

过滤模块，用于根据所述过滤文件对所述过滤项目进行过滤。

所述查找模块，包括：

计算子模块，用于将所述过滤项目的哈希值对预设数值取模，所述预设数值为本机内存中所述共享内存块的总数；

获取子模块，用于获取取模后的余数，所述余数为所述共享内存块的内存地址；

查找子模块，用于根据所述内存地址查找到所述过滤项目对应的共享内存块。

所述过滤模块，包括：

过滤子模块，用于根据所述过滤文件对所述过滤项目进行布隆过滤。

所述装置还包括：

下载模块，用于下载过滤数据；

划分模块，用于将所述过滤数据划分为预设数值个过滤文件，所述预设数值为本机内存中所述共享内存块的总数；

处理模块，用于将所述过滤文件的哈希值对所述预设数值取模，取模后的余数为存储所述过滤文件的共享内存块的内存地址；

申请模块，用于为所述过滤文件申请一个新共享内存块；

组织模块，用于将所述过滤文件在所述新共享内存块按照布隆过滤方式进行组织；

替换模块，用于用所述新共享内存块替换所述内存地址对应的旧共享内存块。

至少两个所述进程共用一份所述过滤数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中提供了一种过滤方法的流程图；

图2为本发明实施例中提供了一种过滤方法的详细流程图；

图3为本发明实施例中提供了一种过滤方法的详细流程图；

图4为本发明实施例中提供了一种过滤装置的结构示意图；

图5为本发明实施例中提供了一种过滤装置中查找模块的结构示意图；

图6为本发明实施例中提供了一种过滤装置中过滤模块的结构示意图；

图7为本发明实施例中提供了一种过滤装置的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种过滤方法，具体实施步骤如下：

在步骤S101中，提取需要进行过滤的进程中的过滤项目。

在步骤S102中，根据过滤项目的哈希值查找过滤项目对应的共享内存块。

在步骤S103中，获取共享内存块中存储的过滤文件。

在步骤S104中，根据过滤文件对过滤项目进行过滤。

本发明实施例提供了一种过滤方法。通过共享内存块存储过滤文件，当有过滤项目时，所有进程都可直接从共享内存块中根据存储的过滤文件对过滤项目进行过滤。节省了存储多个独立的过滤文件所占用的内存，并且在过滤过程中可以实现对共享内存中的过滤文件进行更新。

可选的，步骤S102还可实施为：步骤A1-步骤A3。

在步骤A1中，将过滤项目的哈希值对预设数值取模，预设数值为本机内存中共享内存块的总数。

在步骤A2中，获取取模后的余数，余数为共享内存块的内存地址。

在步骤A3中，根据内存地址查找到过滤项目对应的共享内存块。

采用上述方法，通过将过滤项目的哈希值对预设数据值取模的余数，确定共享内存块的内存地址，再根据内存地址查找到过滤项目对应的共享内存块。可以准确的在内存中查找到相应的共享内存块，提高了查找共享内存块的效率及准确率，从而也进一步提高了对过滤项目进行过滤的效率及准确率。

可选的，步骤S103还可实施为：根据过滤文件对过滤项目进行布隆过滤。

采用上述方法，布隆过滤可以更好的过滤项目中不需要的部分，使得到的过滤结果更符合用户的需求。

可选的，该方法还可实施为：步骤C1-步骤C6。

在步骤C1中，下载过滤数据。

在步骤C2中，将过滤数据划分为预设数值个过滤文件，预设数值为本机内存中共享内存块的总数。

在步骤C3中，将过滤文件的哈希值对预设数值取模，取模后的余数为存储过滤文件的共享内存块的内存地址。

在步骤C4中，为过滤文件申请一个新共享内存块。

在步骤C5中，将过滤文件在新共享内存块按照布隆过滤方式进行组织。

在步骤C6中，用新共享内存块替换内存地址对应的旧共享内存块。

采用上述方法，通过将过滤数据划分为多个过滤文件，为过滤文件申请一个新共享内存块，并将过滤文件在新共享内存块按照布隆过滤方式进行组织，在进行运行的同时，用新共享内存块替换内存地址对应的理共享内存块。实现了在对过滤项目进行过滤时，可以在过滤的过程中用新共享内存块替换旧共享内存块，实现了过滤数据的更新，同时，由于共享内存块并不占用任何一个进程的内存区域，所以在新共享内存块替换旧共享内存块时，并不会对过滤的进程的内存造成过多的占用，从而节省了过滤进程所占用的内存空间。

可选的，在步骤C1-步骤C6中，至少两个进程共用一份过滤数据。

采用上述方法，在有多个过滤进程时，节省了进程所占用的内存空间。

下面通过具体实施例说明本发明提供的一种过滤方法。

如图2所示，本发明实施例提供了一种过滤方法，具体实施步骤如下：

在步骤S201中，提取需要进行过滤的进程中的过滤项目。

在步骤S202中，将过滤项目的哈希值对预设数值取模，预设数值为本机内存中共享内存块的总数。

例如，共享内存块的总数为100，则预设数值为100，过滤项目的哈希值为2342342，用100对2342342取模。

在步骤S203中，获取取模后的余数，余数为共享内存块的内存地址。

获取取模后的余数即是获得共享内存块的内存地址。在步骤S202中用100对2342342取模的余数值为42，则42为共享内存块的内存地址。

在步骤S204中，根据内存地址查找到过滤项目对应的共享内存块。

在步骤S205中，获取共享内存块中存储的过滤文件。

在步骤S206中，根据过滤文件对过滤项目进行布隆过滤。

关于布隆过滤，例如，首先在共享内存块的总数为100的共享内存块中，把每个过滤项目进行8次不同的哈希计算，得到8个不同的哈希值，把得到的8个不同的哈希值按100取模，得到8个对应的字节位，然后把8个对应的字节位均改为1。

当接收到判断是否需要进行过滤进行的过滤项目时，根据上述方法计算得到8个字节位，然后判断这8个字节位的值是否都是1，如果8个字节位的值都是1时，则确定该过滤项目需要被过滤。

对于一个过滤项目来说，采用布隆过滤的技术方案所占用的内存为使用哈希字典算法的1/10。所以通过布隆过滤技术可以减少在过滤进程所占用的内存。

本发明实施例提供了一种过滤方法。通过共享内存块存储过滤文件，当有过滤项目时，所有进程都可直接从共享内存块中根据存储的过滤文件对过滤项目进行过滤。节省了存储多个独立的过滤文件所占用的内存。并且通过将过滤项目的哈希值对预设数据值取模的余数，确定共享内存块的内存地址，再根据内存地址查找到过滤项目对应的共享内存块。可以准确的在内存中查找到相应的共享内存块，提高了查找共享内存块的效率及准确率，从而也进一步提高了对过滤项目进行过滤的效率及准确率。

如图3所示，本发明实施例提供了一种过滤方法，具体实施步骤如下：

在步骤S301中，下载过滤数据。

在步骤S302中，将过滤数据划分为预设数值个过滤文件，预设数值为本机内存中共享内存块的总数。

在步骤S303中，将过滤文件的哈希值对预设数值取模，取模后的余数为存储过滤文件的共享内存块的内存地址。

在步骤S304，为过滤文件申请一个新共享内存块。

在步骤S305，将过滤文件在新共享内存块按照布隆过滤方式进行组织，至少两个进程共用一份过滤数据。

在步骤S306，用新共享内存块替换内存地址对应的旧共享内存块。

例如，有100份共享内存块，如果一个进程需要单独更新过滤文件，则为该进程新的过滤文件申请一份新共享内存块，并且把新的过滤文件按照布隆过滤的方式在共享内存块之中组织好。然后删除老的共享内存块。这样每个单独的更新过滤文件的进行只会同时操作全部共享内存块的数据的1/100，所以总的内存使用量最大为正常值的1.01倍

本发明实施例提供了一种过滤方法。通过将过滤数据划分为多个过滤文件，为过滤文件申请一个新共享内存块，并将过滤文件在新共享内存块按照布隆过滤方式进行组织，在进行运行的同时，用新共享内存块替换内存地址对应的理共享内存块。实现了在对过滤项目进行过滤时，可以在过滤的过程中用新共享内存块替换旧共享内存块，实现了过滤数据的更新，同时，由于共享内存块并不占用任何一个进程的内存区域，所以在新共享内存块替换旧共享内存块时，并不会对过滤的进程的内存造成过多的占用，从而节省了过滤进程所占用的内存空间。

上述为本发明提供的方法部分的实施例，通过下面的实施例说明本发明中的装置部分。

如图4所示，本发明实施例提供了一种过滤装置，包括：

提取模块41，用于提取需要进行过滤的进程中的过滤项目。

查找模块42，用于根据过滤项目的哈希值查找过滤项目对应的共享内存块。

获取模块43，用于获取共享内存块中存储的过滤文件。

过滤模块44，用于根据过滤文件对过滤项目进行过滤。

如图5所示，查找模块42，包括：

计算子模块51，用于将过滤项目的哈希值对预设数值取模，预设数值为本机内存中共享内存块的总数。

获取子模块52，用于获取取模后的余数，余数为共享内存块的内存地址。

查找子模块53，用于根据内存地址查找到过滤项目对应的共享内存块。

如图6所示，过滤模块44，包括：

过滤子模块61，用于根据过滤文件对过滤项目进行布隆过滤。

如图7所示，该装置还包括：

下载模块71，用于下载过滤数据。

划分模块72，用于将过滤数据划分为预设数值个过滤文件，预设数值为本机内存中共享内存块的总数。

处理模块73，用于将过滤文件的哈希值对预设数值取模，取模后的余数为存储过滤文件的共享内存块的内存地址。

申请模块74，用于为过滤文件申请一个新共享内存块。

组织模块75，用于将过滤文件在新共享内存块按照布隆过滤方式进行组织。

替换模块76，用于用新共享内存块替换内存地址对应的旧共享内存块。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种过滤方法，其特征在于，包括：

提取需要进行过滤的进程中的过滤项目；

根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块；

获取所述共享内存块中存储的过滤文件；

根据所述过滤文件对所述过滤项目进行过滤；

根据所述过滤文件对所述过滤项目进行过滤，包括：

根据所述过滤文件对所述过滤项目进行布隆过滤；

所述方法还包括：

下载过滤数据；

将所述过滤数据划分为预设数值个过滤文件，所述预设数值为本机内存中所述共享内存块的总数；

将所述过滤文件的哈希值对所述预设数值取模，取模后的余数为存储所述过滤文件的共享内存块的内存地址；

为所述过滤文件申请一个新共享内存块；

将所述过滤文件在所述新共享内存块按照布隆过滤方式进行组织；

用所述新共享内存块替换所述内存地址对应的旧共享内存块。

2.根据权利要求1所述的方法，其特征在于，根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块，包括：

将所述过滤项目的哈希值对预设数值取模，所述预设数值为本机内存中所述共享内存块的总数；

获取取模后的余数，所述余数为所述共享内存块的内存地址；

根据所述内存地址查找到所述过滤项目对应的共享内存块。

3.根据权利要求1所述的方法，其特征在于，至少两个所述进程共用一份所述过滤数据。

4.一种过滤装置，其特征在于，包括：

提取模块，用于提取需要进行过滤的进程中的过滤项目；

查找模块，用于根据所述过滤项目的哈希值查找所述过滤项目对应的共享内存块；

获取模块，用于获取所述共享内存块中存储的过滤文件；

过滤模块，用于根据所述过滤文件对所述过滤项目进行过滤；

所述过滤模块，包括：

过滤子模块，用于根据所述过滤文件对所述过滤项目进行布隆过滤；

所述装置还包括：

下载模块，用于下载过滤数据；

划分模块，用于将所述过滤数据划分为预设数值个过滤文件，所述预设数值为本机内存中所述共享内存块的总数；

处理模块，用于将所述过滤文件的哈希值对所述预设数值取模，取模后的余数为存储所述过滤文件的共享内存块的内存地址；

申请模块，用于为所述过滤文件申请一个新共享内存块；

组织模块，用于将所述过滤文件在所述新共享内存块按照布隆过滤方式进行组织；

替换模块，用于用所述新共享内存块替换所述内存地址对应的旧共享内存块。

5.根据权利要求4所述的装置，其特征在于，所述查找模块，包括：

计算子模块，用于将所述过滤项目的哈希值对预设数值取模，所述预设数值为本机内存中所述共享内存块的总数；

获取子模块，用于获取取模后的余数，所述余数为所述共享内存块的内存地址；

查找子模块，用于根据所述内存地址查找到所述过滤项目对应的共享内存块。

6.根据权利要求4所述的装置，其特征在于，至少两个所述进程共用一份所述过滤数据。