CN107798134A - 一种数据过滤方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据过滤方法、装置、设备和存储介质。其中，数据过滤方法包括：获取面向用户终端的数据包，并确定数据包中每个待筛选的目标数据的访问日志；基于用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与用户终端对应的数据过滤结果；将数据过滤结果发送至对应的用户终端。本发明实施例提供的技术方案，通过用户终端与访问日志的对应关系，对数据包中每个待筛选目标数据的自动识别和筛选，实现了对符合用户喜好需求的有效数据的过滤，避免了在用户终端的不同用户根据自身喜好需求进行数据包过滤的问题，提高了过滤方式的智能性和便捷性，节约了用户时间，并提升了用户体验度。

Description

一种数据过滤方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种数据过滤方法、装置、设备和存储介质。

背景技术

随着信息技术的不断发展，诸如微博等网络社交平台收到了广大用户的青睐。多个用户在通过台式计算机或移动终端等不同的用户终端来浏览互联网时所发生的上网行为，会产生大量的通信数据包，不同的用户对数据包中数据的喜好需求不同。

现有技术中，通过中转系统接收数据生成终端发送的数据包，根据中转系统存储的订阅信息确定该数据包对应的全部用户终端；之后，将该数据包转发至对应的各个用户终端。各个用户终端在接收到该数据包后，用户根据自身喜好需求对该数据包进行过滤，获取其所需的数据部分。

如果订阅该数据包的用户较多，中转系统就需要对该数据包多次转发，而且一个数据包的数据总量较大，因此增加了中转系统的负担。此外，由于用户终端的用户根据自身喜好需求对该数据包进行过滤，此种数据过滤方式的智能性和便捷性不高，消费了大量的时间，导致用户体验感较低。

发明内容

有鉴于此，本发明实施例提供了一种数据过滤方法、装置、设备和存储介质，以实现对数据包中有效数据的自动识别和筛选，解决了现有技术中用户根据自身喜好需求过滤数据包的技术问题。

第一方面，本发明实施例提供了一种数据过滤方法，该方法包括：

获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

将所述数据过滤结果发送至对应的用户终端。

第二方面，本发明实施例提供了一种数据过滤装置，该装置包括：

数据包获取模块，用于获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

数据过滤模块，用于基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

过滤结果发送模块，用于将所述数据过滤结果发送至对应的用户终端。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据过滤方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据过滤方法。

本发明实施例提供的一种数据过滤方法、装置、设备和存储介质，通过用户终端与访问日志的对应关系，对数据包中每个待筛选目标数据的自动识别和筛选，实现了对符合用户喜好需求的有效数据的过滤，避免了在用户终端的不同用户根据自身喜好需求进行数据包过滤的问题，提高了过滤方式的智能性和便捷性，节约了用户时间，并提升了用户体验度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种数据过滤方法的流程图；

图2为本发明实施例一提供的基于用户终端与访问日志的对应关系对每个待筛选目标数据进行过滤，得到与用户终端对应的数据过滤结果的方法流程图；

图3为本发明实施例二提供的一种数据过滤方法的流程图；

图4为本发明实施例三提供的一种数据过滤装置的结构示意图；

图5为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据过滤方法的流程图。本实施例提供的一种数据过滤方法可以由数据过滤装置执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的设备中。具体的，参考图1，该方法具体包括如下步骤：

S110，获取面向用户终端的数据包，并确定数据包中每个待筛选的目标数据的访问日志。

具体的，用户在用户终端进行上网，产生大量的通信数据包，数据包中包括了用户根据自身喜好需要的有效数据，也包括了由于自动触发大量上行请求而生成的与用户喜好需求无关的无效数据。其中，数据包中的所有数据组成了待筛选的目标数据。示例性的，在对用户的影片观看喜好进行数据过滤的场景中，目标数据可以是用户观看影片的影片信息，比如影片名称、影片ID和主演名称等等；在对用户的购物喜好进行数据过滤的场景中，目标数据可以是用户关注商品的商品信息，比如商品名称、商品ID等。进一步的，在目标数据被访问、查看时生成了对应目标数据的访问日志。其中，访问日志可以包括目标数据的播放时长、用户终端的终端ID和目标数据的目标ID的格式等。示例性的，目标数据的播放时长并不限于其字面意思显示的播放的概念，例如，对于目标数据是用户观看的影片的影片信息的情况，播放时长可以是用户观看影片的时间；对于目标数据是用户关注商品的商品信息的情况，播放时长可以是用户停留在商品页面上查看的时间，或者是在一定时段内的累计查看时间。

进一步的，用户在用户终端进行上网时，数据生成终端会根据用户的上网指令调用数据库中保存的各个数据生成对应的数据包，并将该数据包发送至过滤系统，过滤系统获取到面向用户终端的数据包后，访问、查看数据包中每个待筛选的目标数据，进而生成对应的访问日志。

S120，基于用户终端与访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与用户终端对应的数据过滤结果。

具体的，由于多个用户在不同的用户终端所需求的数据信息不同，在过滤系统获取到数据包之后，数据包中不仅包含了用户需要的有效数据，还包含了由于自动触发大量上行请求而生成的与用户需求无关的无效数据。为了向用户终端仅发送数据包中用户需要的有效数据，需要对不符合用户需求的无效数据进行过滤。

进一步的，通过对用户在不同用户终端的需求信息与数据包中每个待筛选的目标数据生成的访问日志进行比较，过滤出数据包中不符合用户需求信息的无效数据，得到与用户终端对应的数据过滤结果，也就是用户需要的有效数据。

S130，将数据过滤结果发送至对应的用户终端。

具体的，过滤系统在对数据包中每个待筛选的目标数据根据用户终端与访问日志的对应关系进行过滤后，得到数据过滤结果，并将此数据过滤结果发送给对应的用户终端。

本实施例提供的技术方案，通过用户终端与访问日志的对应关系，对数据包中每个待筛选目标数据的自动识别和筛选，实现了对符合用户喜好需求的有效数据的过滤，避免了在用户终端的不同用户根据自身喜好需求进行数据包过滤的问题，提高了过滤方式的智能性和便捷性，节约了用户时间，并提升了用户体验度。

在上述技术方案的基础上，进一步的，如图2所示，基于用户终端与访问日志的对应关系对每个待筛选目标数据进行过滤，得到与用户终端对应的数据过滤结果可以具体包括：

S121，选定数据包中需要验证的特定目标数据。

具体的，过滤系统接收到面向用户终端的数据包后，首先确定数据包中每个待筛选的目标数据的访问日志，并需要将所有待筛选的目标数据的访问日志逐一与用户终端进行验证。因此，需要在数据包中选出需要进行验证的特定目标数据。

S122，验证特定目标数据的终端ID和访问日志中目标ID的格式。

具体的，在进行数据过滤时，首先需要对数据包中待筛选目标数据格式进行校验，确定其数据格式是否正确。其中，终端ID和访问日志中目标ID的数据格式包括了对应的数据ID类型与数据ID长度。进一步的，在对数据包中的待筛选目标数据进行过滤前，需要对终端ID和访问日志中目标ID进行验证，如果通过验证，说明终端ID和/或目标ID符合要求规定，继续进行数据过滤；如果没有通过验证，说明终端ID和/或目标ID不符合要求规定，不再执行后续步骤。

S123，当通过验证时，判断特定目标数据的播放时长是否超过有效播放时间阈值。

具体的，为了判断待筛选的目标数据是否符合用户喜好需求，设置有效播放时间阈值来对目标数据的播放时长进行判断，从而实现对用户喜好程度的预先判断。播放时长在有效播放时间阈值内的目标数据，不符合用户喜好需求，播放时长超过有效播放时间阈值的目标数据符合用户的喜好需求。示例性的，通过有效播放时间阈值，可以对播放时长过短的数据进行筛除，因为如果用户观看时间过短，虽然进行了目标数据的访问，但不能客观地反映出用户的真实兴趣，而往往是因为没有兴趣才会出现观看时间过短的情况。进一步的，对于终端ID和目标ID通过验证的特定目标数据，需要根据有效播放时间阈值判断特定目标数据的播放时长，以进一步判断该特定目标数据是否符合用户的喜好需求。

S124，当特定目标数据的播放时长超过有效播放时间阈值时，将特定目标数据添加至有效数据集，得到与用户终端对应的数据过滤结果。

具体的，为了区别出数据包中的待筛选的目标数据为有效数据还是无效数据，设定了一个有效数据集，存储了确定为有效数据的特定目标数据。进一步的，对特定目标数据的播放时长与有效播放时间阈值进行判断，当特定目标数据的播放时长超过有效播放时间阈值时，说明该特定目标数据符合用户的喜好需求，判断为有效数据，并添加至有效数据集中。对终端ID和数据包中的每个待筛选的目标数据的访问日志中的目标ID以及播放时长都进行验证和判断后，有效数据集中的目标数据便是确定的与用户终端对应的数据过滤结果。

实施例二

图3为本发明实施例二提供的一种数据过滤方法的流程图。本发明实施例是在上述实施例的基础上进行优化。参见图3，本实施例的方法具体包括：

S210，获取面向用户终端的数据包，并确定数据包中每个待筛选的目标数据的访问日志。

S220，选定数据包中需要验证的特定目标数据。

S230，通过正则方式判断特定目标数据的终端ID和访问日志中目标ID的格式是否通过验证。若是，执行S240；若否，执行S270。

具体的，正则方式是通过正则表达式对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。进一步的，选定数据包中需要验证的特定目标数据后，可以通过正则表达式来对特定目标数据的终端ID和访问日志中目标ID的格式是进行数据校验。

S240，判断特定目标数据的播放时长是否超过有效播放时间阈值。若是，执行S250；若否，执行S270。

S250，将特定目标数据添加至有效数据集，得到与用户终端对应的数据过滤结果。

S260，将数据过滤结果发送至对应的用户终端。

S270，对特定目标数据添加第一数据属性，并基于第一数据属性将特定目标数据从待筛选的目标数据中删除。

具体的，为了区别出数据包中的待筛选的目标数据为有效数据还是无效数据，设置了一个第一数据属性，第一数据属性表示该特定目标数据为无效数据。通过为特定目标数据添加第一数据属性来标识该目标数据为无效数据。进一步的，当特定目标数据的播放时长不超过有效播放时间阈值时，说明该特定目标数据不符合用户的喜好需求，判断为无效数据，并添加第一数据属性来进行标识，并根据第一数据属性将特定目标数据从待筛选的目标数据中删除。可选的，根据第一数据属性将特定目标数据从待筛选的目标数据中删除可以是在特定目标数据标识第一数据属性后直接删除，也可以是对数据包中所有的待筛选的目标数据都进行验证和判断后，将标识了第一数据属性的目标数据统一从待筛选的目标数据中删除。

本实施例提供的技术方案，通过用户终端与访问日志的对应关系，对数据包中每个待筛选目标数据的自动识别和筛选，实现了对符合用户喜好需求的有效数据的过滤，避免了在用户终端的不同用户根据自身喜好需求进行数据包过滤的问题，提高了过滤方式的智能性和便捷性，节约了用户时间，并提升了用户体验度。

实施例三

图4为本发明实施例三提供的一种数据过滤装置的结构示意图，如图4所示，该装置包括：

数据包获取模块310，用于获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

数据过滤模块320，用于基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

过滤结果发送模块330，用于将所述数据过滤结果发送至对应的用户终端。

本实施例提供的技术方案，通过用户终端与访问日志的对应关系，对数据包中每个待筛选目标数据的自动识别和筛选，实现了对符合用户喜好需求的有效数据的过滤，避免了在用户终端的不同用户根据自身喜好需求进行数据包过滤的问题，提高了过滤方式的智能性和便捷性，节约了用户时间，并提升了用户体验度。

优选的，上述访问日志包括目标数据的播放时长、用户终端的终端ID和目标数据的目标ID的格式。

进一步的，上述数据过滤模块320可以具体包括：目标数据选定单元321，用于选定数据包中需要验证的特定目标数据；格式验证单元322，用于验证特定目标数据的终端ID和访问日志中目标ID的格式；播放时长判断单元323，用于当通过验证时，判断特定目标数据的播放时长是否超过有效播放时间阈值；过滤结果得到单元324，用于当特定目标数据的播放时长超过有效播放时间阈值时，将特定目标数据添加至有效数据集，得到与用户终端对应的数据过滤结果。

进一步的，上述装置还可以包括：属性添加模块340，用于在当通过验证时，判断特定目标数据的播放时长是否超过有效播放时间阈值之后，当特定目标数据的播放时长不超过有效播放时间阈值时，对特定目标数据添加第一数据属性，并基于第一数据属性将特定目标数据从待筛选的目标数据中删除。

进一步的，上述属性添加模块340还可以具体用于：在验证特定目标数据的终端ID和访问日志中目标ID的格式之后，当验证不通过时，对特定目标数据添加第一数据属性，并基于第一数据属性将特定目标数据从待筛选的目标数据中删除。

进一步的，上述格式验证单元322可以具体用于通过正则方式进行终端ID和目标ID的格式的数据校验。

本实施例提供的控制数据播放的装置适用于上述任意实施例提供的数据过滤方法，具备相应的功能和有益效果。

实施例四

图5为本发明实施例四提供的一种设备的结构示意图。如图5所示，该设备包括处理器40、存储装置41和通信装置42；设备中处理器40的数量可以是一个或多个，图5中以一个处理器40为例；设备的处理器40、存储装置41和通信装置42可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储装置41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的控制数据播放的方法对应的模块(例如，用于数据过滤装置中的数据包获取模块310、数据过滤模块320和过滤结果发送模块330)。处理器40通过运行存储在存储装置41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据过滤方法。

存储装置41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。通信装置42可用实现网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的数据过滤方法，具备相应的功能和有益效果。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的数据过滤方法。该方法具体包括：

获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

将所述数据过滤结果发送至对应的用户终端。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据过滤方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据过滤方法，其特征在于，包括：

获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

将所述数据过滤结果发送至对应的用户终端。

2.根据权利要求1所述的方法，其特征在于，所述访问日志包括所述目标数据的播放时长、所述用户终端的终端ID和所述目标数据的目标ID的格式。

3.根据权利要求2所述的方法，其特征在于，所述基于所述用户终端与所述访问日志的对应关系对每个待筛选目标数据进行过滤，得到与所述用户终端对应的数据过滤结果包括：

选定所述数据包中需要验证的特定目标数据；

验证所述特定目标数据的终端ID和所述访问日志中目标ID的格式；

当通过验证时，判断所述特定目标数据的播放时长是否超过有效播放时间阈值；

当所述特定目标数据的播放时长超过所述有效播放时间阈值时，将所述特定目标数据添加至有效数据集，得到与所述用户终端对应的数据过滤结果。

4.根据权利要求3所述的方法，其特征在于，在当通过验证时，判断所述特定目标数据的播放时长是否超过有效播放时间阈值之后，还包括：

当所述特定目标数据的播放时长不超过所述有效播放时间阈值时，对所述特定目标数据添加第一数据属性，并基于所述第一数据属性将所述特定目标数据从待筛选的目标数据中删除。

5.根据权利要求3所述的方法，其特征在于，在验证所述特定目标数据的终端ID和所述访问日志中目标ID的格式之后，还包括：

当所述验证不通过时，对所述特定目标数据添加第一数据属性，并基于所述第一数据属性将所述特定目标数据从待筛选的目标数据中删除。

6.根据权利要求3所述的方法，其特征在于，所述验证所述特定目标数据的终端ID和所述访问日志中目标ID的格式包括：

通过正则方式进行所述终端ID和所述目标ID的格式的数据校验。

7.根据权利要求4或5所述的方法，其特征在于，所述第一数据属性表示所述特定目标数据为无效数据。

8.一种数据过滤装置，其特征在于，包括：

数据包获取模块，用于获取面向用户终端的数据包，并确定所述数据包中每个待筛选的目标数据的访问日志；

数据过滤模块，用于基于所述用户终端与所述访问日志的对应关系对每个待筛选的目标数据进行过滤，得到与所述用户终端对应的数据过滤结果；

过滤结果发送模块，用于将所述数据过滤结果发送至对应的用户终端。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据过滤方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据过滤方法。