CN113127748A - 数据过滤方法及系统 - Google Patents
数据过滤方法及系统 Download PDFInfo
- Publication number
- CN113127748A CN113127748A CN202110540992.7A CN202110540992A CN113127748A CN 113127748 A CN113127748 A CN 113127748A CN 202110540992 A CN202110540992 A CN 202110540992A CN 113127748 A CN113127748 A CN 113127748A
- Authority
- CN
- China
- Prior art keywords
- data
- filtering
- filtered
- recommended
- recommendation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种数据过滤方法及系统，所述方法包括：获取待过滤原数据；利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中；在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表。本发明实施例，能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据过滤方法及系统。
背景技术
随着人工智能的迅速发展，以预测用户对物品等的评分或偏好度为基础的推荐系统在不同的应用程序中广泛应用，现有推荐系统主要为个性化推荐系统。在视频技术领域中，随着视频制作门槛的降低，大批个人用户参与到视频的制作中，使得大量的UGC(UserGenerated Content，用户原创内容)丰富了视频类型、内容以及展示等的同时，给视频的审核也带来了巨大的挑战。在实现视频个性化推荐过程中，需要对大量的视频数据进行处理，例如，在处理视频数据的过程中，需要对一些不合时宜的视频、话题等非法数据进行过滤。
现有对视频数据进行过滤采用的方法为：预先将不合时宜的视频、话题等非法数据对应的视频id(Identity，身份标识)存储至过滤列表中，进而直接根据该过滤列表对待推荐的视频数据进行过滤，以实现将不合时宜的视频、话题等非法数据从源头下线，从而不会展示在线上。
然而，现有对视频数据的过滤方法中，对过滤列表的依赖性较强，在管理更新过滤列表的运维人员不在或过滤列表出现问题的情况下，可能导致本应下线的非法数据无法下线，进而造成负面影响。
发明内容
本发明实施例的目的在于提供一种数据过滤方法及系统，以实现非法数据的快速、全面下线，减小非法数据无法下线造成的负面影响。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种数据过滤方法，所述方法包括：
获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。
可选地，在将所述过滤后的数据加入到推荐池中之后，所述方法还包括：
为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第三层过滤，其中，所述分发属性用于表征所述推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，所述方法还包括：
在所述预设目标条件和/或所述过滤列表发生变化的情况下，启动第四层过滤，所述第四层过滤为：在按照所述推荐数据列表组装推荐数据页面前，利用黑名单对所述推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
按照所述目标推荐数据列表组装推荐数据页面。
可选地，所述方法还包括：
通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；
通过所述过滤列表，对监控平台获取的所述待推荐数据进行验证，以确定所述待推荐数据中是否还包含待过滤的数据；
以及通过所述黑名单，对监控平台获取的所述目标推荐数据列表中的数据进行验证，以确定所述目标推荐数据列表中是否还包含待过滤的数据。
可选地，在所述按照所述目标推荐数据列表组装推荐数据页面之前，所述方法还包括：
在所述目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，所述目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，所述利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据的步骤，包括：
针对每一所述待过滤原数据，判断该待过滤原数据是否满足所述预设目标条件；其中，所述预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个；
删除满足所述预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，所述方法还包括：
在所述预设目标条件发生变更的情况下，在所述推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据；
在所述推荐池中删除所述待下架数据或将所述待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户；
基于变更后的预设目标条件，对所述过滤列表以及黑名单进行变更。
可选地，所述方法还包括：
在所述监控平台验证出所述推荐池中的数据、所述待推荐数据，以及所述目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
在本发明实施的第二方面，还提供了一种数据过滤方法，所述方法包括：
获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
利用预设目标条件对所述待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
在所述预设目标条件发生变化的情况下，启动第六层过滤，所述第六层过滤为：在按照所述推荐池中数据组装推荐数据页面前，利用黑名单对所述推荐池中的数据进行第六层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
按照所述目标推荐数据列表组装推荐数据页面。
可选地，在将所述过滤后的数据加入到推荐池中之后，所述方法还包括：
为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第七层过滤，其中，所述分发属性用于表征所述推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，所述方法还包括：
通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；
以及通所述过黑名单，对监控平台获取的所述目标推荐数据列表中的数据进行验证，以确定所述目标推荐数据列表中是否还包含待过滤的数据。
可选地，所述方法还包括：
在所述监控平台验证出推荐池中的数据，以及所述目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
可选地，在按照所述目标推荐数据列表组装推荐数据页面之前，所述方法还包括：
在所述目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，所述目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，所述利用预设目标条件对待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据的步骤，包括：
针对每一所述待过滤原数据，判断该待过滤原数据是否满足所述预设目标条件；其中，所述预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个；
删除满足所述预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，所述方法还包括：
在所述预设目标条件发生变更的情况下，在所述推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据；
在所述推荐池中删除所述待下架数据或将所述待下架数据设置为禁止推荐状态，其中，所述禁止推荐状态的数据不会推荐给用户；
基于变更后的预设目标条件，对所述黑名单进行变更。
在本发明实施的第三方面，提供了一种数据过滤系统，所述系统包括：
第一数据获取模块，用于获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
第一数据过滤模块，用于利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
第二数据过滤模块，用于在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。
可选地，所述系统还包括：
第三数据过滤模块，用于为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第三层过滤，其中，所述分发属性用于表征所述推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，所述系统还包括：
第四数据过滤模块，用于在所述预设目标条件和/或所述过滤列表发生变化的情况下，启动第四层过滤，所述第四层过滤为：在按照所述推荐数据列表组装推荐数据页面前，利用黑名单对所述推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
第一数据组装模块，用于按照所述目标推荐数据列表组装推荐数据页面。
可选地，所述系统还包括：
第一验证模块，用于通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；
第二验证模块，用于通过所述过滤列表，对监控平台获取的所述待推荐数据进行验证，以确定所述待推荐数据中是否还包含待过滤的数据；
第三验证模块，用于通过所述黑名单，对监控平台获取的所述目标推荐数据列表中的数据进行验证，以确定所述目标推荐数据列表中是否还包含待过滤的数据。
可选地，所述系统还包括：
第一数据补充模块，用于在所述目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，所述目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，所述第一数据过滤模块，具体用于：
针对每一所述待过滤原数据，判断该待过滤原数据是否满足所述预设目标条件；其中，所述预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个；
删除满足所述预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，所述系统还包括：
第一数据选取模块，用于在所述预设目标条件发生变更的情况下，在所述推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据；
第一数据下架模块，用于在所述推荐池中删除所述待下架数据或将所述待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户；
第一条件变更模块，用于基于变更后的预设目标条件，对所述过滤列表以及所述黑名单进行变更。
可选地，所述系统还包括：
第一报警模块，用于在所述监控平台验证出所述推荐池中的数据、所述待推荐数据，以及所述目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
在本发明实施的第四方面，还提供了一种数据过滤系统，所述系统包括：
第二数据获取模块，用于获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
第五数据过滤模块，用于利用预设目标条件对所述待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
第六数据过滤模块，用于在所述预设目标条件发生变化的情况下，启动第六层过滤，所述第六层过滤为：在按照所述推荐池中数据组装推荐数据页面前，利用黑名单对所述推荐池中的数据进行第六层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
第二数据组装模块，用于按照所述目标推荐数据列表组装推荐数据页面。
可选地，所述系统还包括：
第七数据过滤模块，用于为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第七层过滤，其中，所述分发属性用于表征推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，所述系统还包括：
第四验证模块，用于通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；
第五验证模块，用于通过所述黑名单，对监控平台获取的所述目标推荐数据列表中的数据进行验证，以确定所述目标推荐数据列表中是否还包含待过滤的数据。
可选地，所述系统还包括：
第二数据补充模块，用于在所述目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，所述目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，所述第五数据过滤模块，具体用于：
针对每一所述待过滤原数据，判断该待过滤原数据是否满足所述预设目标条件；其中，所述预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个；
删除满足所述预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，所述系统还包括：
第二数据选取模块，用于在所述预设目标条件发生变更的情况下，在所述推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据；
第二数据下架模块，用于在所述推荐池中删除所述待下架数据或将所述待下架数据设置为禁止推荐状态，其中，所述禁止推荐状态的数据不会推荐给用户；
第二条件变更模块，用于基于变更后的预设目标条件，对所述黑名单进行变更。
可选地，所述系统还包括：
第二报警模块，用于在监控平台验证出所述推荐池中的数据，以及所述目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的一种数据过滤方法的步骤。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的一种数据过滤方法的步骤。
本发明实施例提供的一种数据过滤方法及系统，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件与利用过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中第一种数据过滤方法的流程示意图；
图2为本发明实施例中第二种数据过滤方法的流程示意图；
图3为本发明实施例中一种数据过滤系统的架构示意图；
图4为本发明实施例中第三种数据过滤方法的流程示意图；
图5为本发明实施例中一种数据过滤验证的实施方式流程示意图；
图6为本发明实施例中第四种数据过滤方法的流程示意图；
图7为本发明实施例中一种数据过滤系统的结构示意图；
图8为本发明实施例中另一种数据过滤系统的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了解决现有对过滤列表的依赖性较强，在管理更新过滤列表的运维人员不在或过滤列表出现问题的情况下，可能导致本应下线的非法数据无法下线，进而造成负面影响的问题，本发明实施例提供了一种数据过滤方法及系统。本发明实施例提供的一种数据过滤方法，包括：
获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。
本发明实施例提供的一种数据过滤方法，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件与利用过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
下面对本发明实施例提供的一种数据过滤方法进行详细介绍：
本发明实施例所提供的一种数据过滤方法的执行主体可以为，电子设备中所搭建的用于实现数据过滤的运营管理平台或系统。在具体应用中，电子设备可以为终端或服务器等，当然并不局限于此。
如图1所示，本发明实施例所提供的第一种数据过滤方法，可以通过如下步骤实现：
S101，获取待过滤原数据。
本发明实施例所提供的一种数据过滤方法，过滤的数据可以是各种领域不同类型的数据，本发明实施例中以过滤的数据为视频数据为例进行说明。
可以理解的，视频领域在视频数据被展示给用户之前，需要对视频数据进行过滤，以将视频数据中可能包含的非法数据进行下线处理。实际应用中，在对视频数据进行数据过滤的过程中，可以先将所有需要过滤的原数据存储至数据池中，进而在需要对数据进行过滤时，获取该数据池中的待过滤原数据，即该待过滤原数据表示数据池中待进行数据过滤的原始数据。
S102，利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中。
本发明实施例中设计多层数据过滤，以实现对非法数据的全面下线。具体的，可以是运营后台的运营人员针对待过滤原数据，预先设计目标条件，进而可以使用该预先设计的目标条件对待过滤原数据进行第一层过滤。该预设目标条件可以用于标识待过滤的数据所满足的条件，具体的，该预先设计的目标条件可以包括：待过滤数据的数据类型、数据来源、数据标识以及包含目标关键字等的至少一种。
示例性的，待过滤数据的数据类型，例如可以是电影、电视或综艺等不同频道的数据类型，待过滤数据的数据来源，例如可以是特定用户上传的、特定用户制作的、或从特定渠道购买的等等，待过滤数据的数据标识，例如可以是数据的名称、序列号等，包含目标关键字，例如可以是数据中包含目标关键字，或数据的标题包含目标关键字等。
实际应用中，可以判断待过滤原数据中是否有数据满足上述目标条件，进而实现对满足目标条件数据的第一层过滤，得到用于向用户推荐的过滤后的数据，进一步，将过滤后的数据加入到推荐池中。示例性的，目标条件可以为将电影类型的名称为复仇者联盟的所有数据过滤，利用该目标条件对从数据池中获取的待过滤原数据进行第一层过滤，得到不包含电影类型的名称为复仇者联盟的所有数据，进一步将该过滤后的数据加入到推荐池中，用于向用户推荐。
在利用预设目标条件对待过滤原数据进行第一层过滤的过程中，可以将满足目标条件的数据直接删除，以去除本层数据过滤与其他层级数据过滤之间的耦合性，以及使数据过滤的源头处不再包含待过滤的数据。优选地，过滤后的数据加入到推荐池中，该推荐池中的数据可以存储于硬盘或磁盘中，也可以存储于分布式缓存数据库Couchbase，或分布式数据库Hbase中。
优选地，上述预设目标条件是可以实时或周期性更新的，进而能够很好的实现数据的及时下线(即过滤)。
S103，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表。
本发明实施例中设计多层数据过滤，以保证待过滤数据的全面下线。具体的，可以在第一层数据过滤完成，而预设目标条件发生变化的情况下，启动第二层过滤，该第二层过滤可以是推荐层的推荐引擎进一步对推荐池中的数据进行过滤。可选地，本发明实施例中设计的多层数据过滤，各层之间也可以互不影响。
其中，预设推荐规则可以为根据指定用户的特征所确定的待向指定用户推荐数据的规则，例如不同性别的用户，不同年龄的用户，或指定用户标识的用户等。过滤列表中记录了待过滤的数据，可选的，该过滤列表可以根据上述目标条件进行设定，也可根据业务场景的实际需求进行设定。
实际应用中，在第一层数据过滤完成，而预设目标条件发生变化的情况下，可以基于变化的目标条件调整过滤列表，进而在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用该过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，实现对待过滤数据的全面过滤。
示例性的，目标条件可以为将电影类型的名称为复仇者联盟的所有数据过滤，利用该目标条件对从数据池中获取的待过滤原数据进行第一层过滤，得到不包含电影类型的名称为复仇者联盟的所有数据，进一步将该过滤后的数据加入到推荐池中。而后，目标条件变更为将与电影类型的名称为复仇者联盟的制作人相同的所有数据进行过滤，此时可以将该变更的目标条件对应的数据增加至过滤列表中，并启动第二层过滤，进而在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用该过滤列表对待推荐数据中，与电影类型的名称为复仇者联盟的制作人相同的所有数据进行第二层过滤。
可选地，第二层过滤，可以在预设目标条件发生变化的情况下启动，也可以直接启动，推荐引擎按照推荐规则从推荐池的数据中选取针对指定用户的待推荐数据之后，可以将待推荐数据存储于待推荐数据列表中，该待推荐数据列表可以存储于分布式缓存Redis或Couchbase中，进而利用过滤列表对待推荐数据列表中的数据进行第二层过滤，得到指定用户的推荐数据列表。将待推荐数据列表存储于分布式缓存Redis或Couchbase中，可以在利用过滤列表对待推荐数据列表中的数据进行第二层过滤时，能够直接通过代码等修改缓存中的数据，以提高数据过滤的性能。
优选地，上述过滤列表也是可以实时或周期性更新的，进而能够很好的实现数据的及时下线。
本发明实施例提供的一种数据过滤方法，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第二层过滤，该第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件与利用过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
如图2所示，本发明实施例所提供的第二种数据过滤方法，可以通过如下步骤实现，其中，S201、S202和S204的实施方式可参照上述步骤S101-S103的实施方式：
S201，获取待过滤原数据，该待过滤原数据表示数据池中待进行数据过滤的原始数据。
S202，利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，该预设目标条件用于标识待过滤的数据所满足的条件。
S203，为推荐池中的数据配置分发属性，利用分发属性对推荐池中的数据进行第三层过滤。
本发明实施例中，在利用预设目标条件对待过滤原数据进行第一层过滤，并将过滤后的数据加入到推荐池中之后，还可以为推荐池中的数据配置分发属性，进一步利用分发属性对推荐池中的数据进行再次过滤。其中，分发属性可以用于表征推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
实际应用中，当利用预设目标条件对待过滤原数据进行第一层过滤的过程中出现故障，或者利用预设目标条件没有对待过滤原数据进行完整过滤等情况下，可以进一步为推荐池中的数据配置分发属性，即为推荐池中的数据设置是否禁止分发，当推荐池中的数据设置为禁止分发状态时，不会将该数据推荐该用户，以实现对推荐池中数据的候补式过滤。
可选地，为推荐池中的数据配置分发属性，可以是使用某一条件或规则对推荐池中符合该条件或规则的数据设置禁止分发状态，该条件或规则可根据实际业务场景的需求进行设置。
S204，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表。其中，过滤列表中记录了待过滤的数据，预设推荐规则为根据指定用户的特征所确定的待向指定用户推荐数据的规则。
本发明实施例提供的一种数据过滤方法，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，并将过滤后的数据加入到推荐池中，进一步，为推荐池中的数据配置分发属性，利用分发属性对推荐池中的数据进行再次过滤，且，在预设目标条件发生变化的情况下，启动第二层过滤，该第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，数据过滤的整个过程使用的是多层过滤，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件、分发属性以及过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
以视频数据为例，本发明实施例中可以搭建一个运营管理平台或系统作为数据过滤系统以实现数据的全面过滤，如图3所示。首先，运营后台可以利用目标条件对待过滤原数据进行第一层过滤，将过滤后的数据加入到推荐池中，进一步，推荐过滤模块，启动第二层过滤，该第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，利用过滤列表对推荐池中的数据进行第二层过滤，得到推荐数据列表，进而，展示过滤模块，启动第四层过滤，该第四层过滤为：利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，再将目标推荐数据列表中的数据和展示相关的数据进行拼接，以在App(Application，应用程序)端对目标推荐数据列表中的数据实现展示服务。其中，运营后台、推荐过滤模块和展示过滤模块实现的是数据在不同层级(或环节)的过滤，推荐过滤模块实现的是推荐层的数据过滤，展示过滤模块实现的是展示层的数据过滤。图3中过滤监控平台用于实现对数据过滤的验证，以检测各层数据过滤是否生效，具体在下文进行详细介绍。
如图4所示，本发明实施例所提供的第三种数据过滤方法，可以通过如下步骤实现，其中，S301-S303的实施方式可参照上述步骤S101-S103的实施方式：
S301，获取待过滤原数据，该待过滤原数据表示数据池中待进行数据过滤的原始数据。
S302，利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，该预设目标条件用于标识待过滤的数据所满足的条件。
S303，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表。其中，过滤列表中记录了待过滤的数据，预设推荐规则为根据指定用户的特征所确定的待向指定用户推荐数据的规则。
S304，在预设目标条件和/或过滤列表发生变化的情况下，启动第四层过滤，第四层过滤为：在按照推荐数据列表组装推荐数据页面前，利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表。
本发明实施例中设计多层数据过滤，以保证待过滤数据的全面下线。具体的，可以在第一层数据过滤完成和/或第二层数据过滤完成，而预设目标条件和/或过滤列表发生变化的情况下，启动第四层过滤。该第四层过滤可以是展示层在按照推荐数据列表组装推荐数据页面前，进一步利用黑名单对推荐数据列表中的数据进行第四层过滤，以得到目标推荐数据列表。其中，黑名单中记录了待过滤的数据。可选的，该黑名单可以根据上述目标条件和/或过滤列表进行设定，也可根据业务场景的实际需求进行设定。
示例性的，黑名单中可以是根据上述目标条件、过滤列表或业务场景的实际需求所设定的单条数据、或多条数据对应的id(identity，身份标识)，还可以是以正则表达式的方式设置的待过滤的数据所对应的条件或规则。当推荐数据列表中的数据与黑名单匹配时，将推荐数据列表中匹配的数据进行删除，以得到目标推荐数据列表。
实际应用中，常规的页面展示服务，在获取待向用户推荐的数据之后，直接将所获取的数据进行组装，进而通过App展示。本发明实施例中，为了实现在展示服务的过程中再次对数据进行过滤，第四层过滤，可以在预设目标条件和/或过滤列表发生变化的情况下启动，也可以直接启动，在按照推荐数据列表组装推荐数据页面之前，利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，以使过滤得到的目标推荐数据列表中数据过滤的更全面。
在第一层数据过滤完成和/或第二层数据过滤完成，而预设目标条件和/或过滤列表发生变化的情况下，可以基于变化的目标条件和/或过滤列表调整黑名单，进而按照推荐数据列表组装推荐数据页面前，利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，实现对推荐数据列表中数据的全面过滤。
可选地，黑名单可以是动态加载的，其生效的时间可以是秒级的，进而能够很好的实现数据的及时下线(即过滤)。
S305，按照目标推荐数据列表组装推荐数据页面。
在完成对待展示数据的过滤，得到目标推荐数据列表之后，可以按照目标推荐数据列表组装待推荐数据页面。示例性的，可以对目标推荐数据列表中的数据，以及待展示数据页面的标题、简介或详细信息等进行组装，以得到组装后的推荐数据页面，进而通过展示App进行展示。
本发明实施例中，以视频数据为例，视频数据在App端展示的流程，即视频数据的过滤可以在如图3所示的数据过滤系统中完成，在运营后台，可以利用预设目标条件对待过滤原数据进行第一层过滤，将过滤后的数据加入到推荐池中，进一步，推荐层推荐过滤模块启动第二层过滤，可以按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，进而，展示层启动第四层过滤，可以在按照推荐数据列表组装推荐数据页面前，利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，最终，展示层按照目标推荐数据列表组装推荐数据页面，在App端进行展示。
本发明实施例提供的一种数据过滤方法，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第二层过滤，该第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，且，在预设目标条件和/或过滤列表发生变化的情况下，启动第四层过滤，该第四层过滤为：在按照推荐数据列表组装推荐数据页面前，利用黑名单对推荐数据列表中的数据进行第四层过滤，以使待过滤的数据能够全面下线。数据过滤的整个过程使用的是多层过滤，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件、分发属性以及过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
作为本发明实施例一种可选的实施方式，上述步骤S305在按照目标推荐数据列表组装推荐数据页面之前，还可以执行如下操作：
在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
本发明实施例中，为消除过滤后的数据在展示时出现推荐数量不足的问题，在利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表之后，可以进一步判断目标推荐数据列表中数据的数量是否小于阈值数量，该阈值数量可以是待在展示端展示数据的数量，可以根据实际需求进行设定。并在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，以补足待在展示端展示的数据，从而保证展示推荐数据数量的完备性。
其中，预设存储区域可以是内存或磁盘等任一区域，在该预设存储区域中预先存储有通用推荐数据，该通用推荐数据可以按照热度或点击率等进行排序后存储于预设存储区域中。示例性的，以视频数据为例，该通用推荐数据可以是甄嬛传、西游记等等。
本发明实施例中，可以在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的预先存储的通用推荐数据，以消除过滤后的数据在展示时出现推荐数量不足的问题，保证展示推荐数据数量的完备性。
作为本发明实施例一种可选的实施方式，上述利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据的实施方式，可以包括：
针对每一待过滤原数据，判断该待过滤原数据是否满足预设目标条件；其中，预设目标条件可以包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个。
删除满足预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
本发明实施例中，可以在运营后台遍历待过滤原数据，针对每一待过滤原数据，判断该待过滤原数据是否满足预设目标条件，并在待过滤原数据满足预设目标条件的情况下，删除满足预设目标条件的待过滤原数据，进而得到用于向用户推荐的过滤后的数据。本发明实施例可以通过预设目标条件，迅速定位出一批需要过滤的数据。
进一步地，上述预设目标条件是可以实时或周期性更新的。作为本发明实施例一种可选的实施方式，在预设目标条件发生变更的情况下，可以在推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据，进而，在推荐池中删除待下架数据或将待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户。
本发明实施例中，可以在目标条件发生变更的情况下，进一步对推荐池中的数据进行过滤，具体的，在推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据，进而可以在推荐池中直接删除待下架数据，或通过将待下架数据设置为禁止推荐状态的方式进行过滤，以实现对推荐池中数据的实时过滤。
本发明实施例中，可以基于变更后的预设目标条件，对过滤列表以及黑名单进行即时变更，以确保在任一层数据过滤出现问题时，其他层能够辅助实现数据的全面过滤。
实际应用中，由于推荐数据具有个性化以及随机性，为保证在数据过滤的过程中数据过滤实质生效，本发明实施例中，提供了一种数据过滤的验证实施方式，可以通过如图3所示的数据过滤系统中的过滤监控平台实现对数据过滤的验证，以验证各层级数据过滤是否生效。如图5所示，本发明实施例所提供的一种数据过滤验证的实施方式可以包括：
S401，通过预设目标条件，对监控平台获取的推荐池中的数据进行验证，以确定推荐池的数据中是否还包含待过滤的数据。
S402，通过过滤列表，对监控平台获取的待推荐数据进行验证，以确定待推荐数据中是否还包含待过滤的数据。
S403，通过黑名单，对监控平台获取的目标推荐数据列表中的数据进行验证，以确定目标推荐数据列表中是否还包含待过滤的数据。
本发明实施例中，过滤监控平台可以获取各层级过滤后的数据，也可以接收或获取各层级数据过滤过程中所发送的预设目标条件、过滤列表以及黑名单等。进而可以通过预设目标条件，对监控平台获取的推荐池中的数据进行验证，以确定推荐池的数据中是否还包含待过滤的数据，示例性的，可以通过预设目标条件，判断推荐池中的数据是否还包含满足目标条件的数据，如果包含，则确定推荐池的数据中还包含待过滤的数据，表明运营后台的数据过滤出现故障，如果不包含，则确定推荐池的数据中不包含待过滤的数据，表明运营后台的数据过滤生效。
可以通过过滤列表，对监控平台获取的待推荐数据进行验证，以确定待推荐数据中是否还包含待过滤的数据，示例性的，可以将待推荐数据放在Http(HyperText TransferProtocol，超文本传输协议)请求中，进而通过过滤列表，判断Http请求中是否还包含过滤列表中的数据，如果包含，则确定Http请求中还包含待过滤的数据，表明推荐层的数据过滤出现故障，如果不包含，则确定Http请求中不包含待过滤的数据，表明推荐层的数据过滤生效。
可以通过黑名单，对监控平台获取的目标推荐数据列表中的数据进行验证，以确定目标推荐数据列表中是否还包含待过滤的数据，示例性的，可以将目标推荐数据列表中的数据放在Http请求中，进而通过黑名单，判断Http请求中是否还包含黑名单中的数据，如果包含，则确定Http请求中还包含待过滤的数据，表明展示层的数据过滤出现故障，如果不包含，则确定Http请求中不包含待过滤的数据，表明展示层的数据过滤生效。
可选地的，在监控平台验证出推荐池中的数据、待推荐数据，以及目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
本发明实施例中，可以在监控平台验证出推荐池中的数据、待推荐数据，以及目标推荐数据列表任一还包含待过滤的数据的情况下，即运营后台或推荐层或展示层任一层级出现过滤故障的情况下，输出报警信息，以通知后台运营人员数据过滤出现故障，进而完善数据的过滤过程。
如图6所示，本发明实施例所提供的第四种数据过滤方法，可以通过如下步骤实现：
S501，获取待过滤原数据，该待过滤原数据表示数据池中待进行数据过滤的原始数据。
S502，利用预设目标条件对待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，该预设目标条件用于标识待过滤的数据所满足的条件。
S503，在预设目标条件发生变化的情况下，启动第六层过滤，第六层过滤为：在按照推荐池中数据组装推荐数据页面前，利用黑名单对推荐池中的数据进行第六层过滤，得到目标推荐数据列表。其中，黑名单中记录了待过滤的数据。
S504，按照目标推荐数据列表组装推荐数据页面。
其中，步骤S501-S502的实施方式可参照上述步骤S101-S102的实施方式，骤S503-S504的实施方式可参照上述步骤S304-S305的实施方式，本发明实施例在此不再赘述。
本发明实施例提供的一种数据过滤方法，利用预设目标条件对所获取的待过滤原数据进行第五层过滤，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第六层过滤，该第六层过滤为：在按照推荐池中数据组装推荐数据页面前，利用黑名单对推荐池中的数据进行第六层过滤，以使待过滤的数据能够全面下线。数据过滤的整个过程使用的是多层过滤，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件以及黑名单对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
可选地，在将过滤后的数据加入到推荐池中之后，还可以为推荐池中的数据配置分发属性，利用分发属性对推荐池中的数据进行第七层过滤，其中，分发属性可以用于表征推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，还可以通过预设目标条件，对监控平台获取的推荐池中的数据进行验证，以确定推荐池的数据中是否还包含待过滤的数据；以及通过黑名单，对监控平台获取的目标推荐数据列表中的数据进行验证，以确定目标推荐数据列表中是否还包含待过滤的数据。
进一步地，可以在监控平台验证出推荐池中的数据，以及目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
可选地，在按照目标推荐数据列表组装推荐数据页面之前，还可以在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，上述步骤S502利用预设目标条件对待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据的实施方式，可以包括：
针对每一待过滤原数据，判断该待过滤原数据是否满足预设目标条件；其中，预设目标条件可以包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个。
删除满足预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，还可以在预设目标条件发生变更的情况下，在推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据，进而，在推荐池中删除待下架数据或将待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户。以及基于变更后的预设目标条件，对黑名单进行变更。
相应于上述图1所示的方法实施例，本发明实施例提供了一种数据过滤系统，如图7所示，所述系统可以包括：
第一数据获取模块601，用于获取待过滤原数据，待过滤原数据表示数据池中待进行数据过滤的原始数据。
第一数据过滤模块602，用于利用预设目标条件对待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，预设目标条件用于标识待过滤的数据所满足的条件。
第二数据过滤模块603，用于在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，其中，过滤列表中记录了待过滤的数据，预设推荐规则为根据指定用户的特征所确定的待向指定用户推荐数据的规则。
本发明实施例提供的一种数据过滤系统，利用预设目标条件对所获取的待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第二层过滤，第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从推荐池的数据中选取针对指定用户的待推荐数据，并利用过滤列表对待推荐数据进行第二层过滤，得到指定用户的推荐数据列表，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件与利用过滤列表对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
可选地，上述系统还可以包括：
第三数据过滤模块，用于为推荐池中的数据配置分发属性，利用分发属性对推荐池中的数据进行第三层过滤，其中，分发属性用于表征推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，上述系统还可以包括：
第四数据过滤模块，用于在预设目标条件和/或过滤列表发生变化的情况下，启动第四层过滤，第四层过滤为：在按照推荐数据列表组装推荐数据页面前，利用黑名单对推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，其中，黑名单中记录了待过滤的数据。
第一数据组装模块，用于按照目标推荐数据列表组装推荐数据页面。
可选地，上述系统还可以包括：
第一验证模块，用于通过预设目标条件，对监控平台获取的推荐池中的数据进行验证，以确定推荐池的数据中是否还包含待过滤的数据。
第二验证模块，用于通过过滤列表，对监控平台获取的待推荐数据进行验证，以确定待推荐数据中是否还包含待过滤的数据。
第三验证模块，用于通过黑名单，对监控平台获取的目标推荐数据列表中的数据进行验证，以确定目标推荐数据列表中是否还包含待过滤的数据。
可选地，上述系统还可以包括：
第一数据补充模块，用于在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，上述第一数据过滤模块602，具体用于：
针对每一待过滤原数据，判断该待过滤原数据是否满足预设目标条件；其中，预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个。
删除满足预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，上述系统还可以包括：
第一数据选取模块，用于在预设目标条件发生变更的情况下，在推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据。
第一数据下架模块，用于在推荐池中删除待下架数据或将待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户。
第一条件变更模块，用于基于变更后的预设目标条件，对过滤列表以及黑名单进行变更。
可选地，上述系统还可以包括：
第一报警模块，用于在监控平台验证出推荐池中的数据、待推荐数据，以及目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
相应于上述图6所示的方法实施例，本发明实施例提供了另一种数据过滤系统，如图8所示，所述系统可以包括：
第二数据获取模块701，用于获取待过滤原数据，待过滤原数据表示数据池中待进行数据过滤的原始数据。
第五数据过滤模块702，用于利用预设目标条件对待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将过滤后的数据加入到推荐池中，预设目标条件用于标识待过滤的数据所满足的条件。
第六数据过滤模块703，用于在预设目标条件发生变化的情况下，启动第六层过滤，第六层过滤为：在按照推荐池中数据组装推荐数据页面前，利用黑名单对推荐池中的数据进行第六层过滤，得到目标推荐数据列表，其中，黑名单中记录了待过滤的数据。
第二数据组装模块704，用于按照目标推荐数据列表组装推荐数据页面。
本发明实施例提供的一种数据过滤系统，利用预设目标条件对所获取的待过滤原数据进行第五层过滤，并将过滤后的数据加入到推荐池中，进一步，在预设目标条件发生变化的情况下，启动第六层过滤，第六层过滤为：在按照推荐池中数据组装推荐数据页面前，利用黑名单对推荐池中的数据进行第六层过滤，以使待过滤的数据能够全面下线。数据过滤的整个过程使用的是多层过滤，而不是仅仅依赖于过滤列表对待过滤的数据进行过滤，避免了数据过滤的单点问题，且利用目标条件以及黑名单对需要过滤数据的过滤可以互不影响，进而能够实现非法数据的快速、全面下线，减小了非法数据无法下线造成的负面影响。
可选地，上述系统还可以包括：
第七数据过滤模块，用于为推荐池中的数据配置分发属性，利用分发属性对推荐池中的数据进行第七层过滤，其中，分发属性用于表征推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
可选地，上述系统还可以包括：
第四验证模块，用于通过预设目标条件，对监控平台获取的推荐池中的数据进行验证，以确定推荐池的数据中是否还包含待过滤的数据。
第五验证模块，用于通过黑名单，对监控平台获取的目标推荐数据列表中的数据进行验证，以确定目标推荐数据列表中是否还包含待过滤的数据。
可选地，上述系统还可以包括：
第二数据补充模块，用于在目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
可选地，上述第五数据过滤模块702，具体用于：
针对每一待过滤原数据，判断该待过滤原数据是否满足预设目标条件；其中，预设目标条件可以包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个。
删除满足预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
可选地，上述系统还可以包括：
第二数据选取模块，用于在预设目标条件发生变更的情况下，在推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据。
第二数据下架模块，用于在推荐池中删除待下架数据或将待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户。
第二条件变更模块，用于基于变更后的预设目标条件，对黑名单进行变更。
可选地，上述系统还可以包括：
第二报警模块，用于在监控平台验证出推荐池中的数据，以及目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现本发明实施例上述所提供的任一方法的步骤，以获取相同的技术效果。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的数据过滤方法的步骤，以获取相同的技术效果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据过滤方法的步骤，以获取相同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD(Digital Versatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk，固态硬盘))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统/电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种数据过滤方法，其特征在于，所述方法包括：
获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。
2.根据权利要求1所述的方法，其特征在于，在将所述过滤后的数据加入到推荐池中之后，所述方法还包括：
为所述推荐池中的数据配置分发属性，利用所述分发属性对所述推荐池中的数据进行第三层过滤，其中，所述分发属性用于表征所述推荐池中的数据是否被配置为禁止分发状态，禁止分发状态的数据不会推荐给用户。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述预设目标条件和/或所述过滤列表发生变化的情况下，启动第四层过滤，所述第四层过滤为：在按照所述推荐数据列表组装推荐数据页面前，利用黑名单对所述推荐数据列表中的数据进行第四层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
按照所述目标推荐数据列表组装推荐数据页面。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过所述预设目标条件，对监控平台获取的所述推荐池中的数据进行验证，以确定所述推荐池的数据中是否还包含待过滤的数据；
通过所述过滤列表，对监控平台获取的所述待推荐数据进行验证，以确定所述待推荐数据中是否还包含待过滤的数据；
以及通过所述黑名单，对监控平台获取的所述目标推荐数据列表中的数据进行验证，以确定所述目标推荐数据列表中是否还包含待过滤的数据。
5.根据权利要求3-4任一项所述的方法，其特征在于，在所述按照所述目标推荐数据列表组装推荐数据页面之前，所述方法还包括：
在所述目标推荐数据列表中数据的数量小于阈值数量时，从预设存储区域中获取目标数量的目标推荐数据，所述目标推荐数据包括预先存储于预设存储区域中的通用推荐数据。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据的步骤，包括：
针对每一所述待过滤原数据，判断该待过滤原数据是否满足所述预设目标条件；其中，所述预设目标条件包括：目标数据类型，目标数据来源，目标数据标识，目标数据发布者，以及包含目标关键字的标题中的至少一个；
删除满足所述预设目标条件的待过滤原数据，得到用于向用户推荐的过滤后的数据。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述预设目标条件发生变更的情况下，在所述推荐池中选取满足变更后的预设目标条件的数据，得到待下架数据；
在所述推荐池中删除所述待下架数据或将所述待下架数据设置为禁止推荐状态，其中，禁止推荐状态的数据不会推荐给用户；
基于变更后的预设目标条件，对所述过滤列表以及黑名单进行变更。
8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述监控平台验证出所述推荐池中的数据、所述待推荐数据，以及所述目标推荐数据列表任一还包含待过滤的数据的情况下，输出报警信息。
9.一种数据过滤方法，其特征在于，所述方法包括：
获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
利用预设目标条件对所述待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
在所述预设目标条件发生变化的情况下，启动第六层过滤，所述第六层过滤为：在按照所述推荐池中数据组装推荐数据页面前，利用黑名单对所述推荐池中的数据进行第六层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
按照所述目标推荐数据列表组装推荐数据页面。
10.一种数据过滤系统，其特征在于，所述系统包括：
第一数据获取模块，用于获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
第一数据过滤模块，用于利用预设目标条件对所述待过滤原数据进行第一层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
第二数据过滤模块，用于在所述预设目标条件发生变化的情况下，启动第二层过滤，所述第二层过滤为：在利用推荐引擎确定向指定用户推荐的数据时，按照预设推荐规则从所述推荐池的数据中选取针对所述指定用户的待推荐数据，并利用过滤列表对所述待推荐数据进行第二层过滤，得到所述指定用户的推荐数据列表，其中，所述过滤列表中记录了待过滤的数据，所述预设推荐规则为根据所述指定用户的特征所确定的待向所述指定用户推荐数据的规则。
11.一种数据过滤系统，其特征在于，所述系统包括：
第二数据获取模块，用于获取待过滤原数据，所述待过滤原数据表示数据池中待进行数据过滤的原始数据；
第五数据过滤模块，用于利用预设目标条件对所述待过滤原数据进行第五层过滤，得到用于向用户推荐的过滤后的数据，并将所述过滤后的数据加入到推荐池中，所述预设目标条件用于标识待过滤的数据所满足的条件；
第六数据过滤模块，用于在所述预设目标条件发生变化的情况下，启动第六层过滤，所述第六层过滤为：在按照所述推荐池中数据组装推荐数据页面前，利用黑名单对所述推荐池中的数据进行第六层过滤，得到目标推荐数据列表，其中，所述黑名单中记录了待过滤的数据；
第二数据组装模块，用于按照所述目标推荐数据列表组装推荐数据页面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110540992.7A CN113127748B (zh) | 2021-05-18 | 2021-05-18 | 数据过滤方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110540992.7A CN113127748B (zh) | 2021-05-18 | 2021-05-18 | 数据过滤方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113127748A true CN113127748A (zh) | 2021-07-16 |
| CN113127748B CN113127748B (zh) | 2023-09-05 |
Family
ID=76783100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110540992.7A Active CN113127748B (zh) | 2021-05-18 | 2021-05-18 | 数据过滤方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113127748B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015188699A1 (zh) * | 2014-06-10 | 2015-12-17 | 华为技术有限公司 | 推荐项目的方法和装置 |
| WO2018001223A1 (zh) * | 2016-06-27 | 2018-01-04 | 中兴通讯股份有限公司 | 播放列表推荐方法及装置 |
| WO2018090793A1 (zh) * | 2016-11-18 | 2018-05-24 | 腾讯科技（深圳）有限公司 | 多媒体推荐方法和装置 |
| US9984386B1 (en) * | 2015-05-11 | 2018-05-29 | Amazon Technologies, Inc. | Rules recommendation based on customer feedback |
| CN109446422A (zh) * | 2018-10-24 | 2019-03-08 | 湖北大学 | 一种基于离群用户过滤的服务推荐方法 |
| WO2019051835A1 (zh) * | 2017-09-18 | 2019-03-21 | 华为技术有限公司 | 一种推荐方法及终端 |
| WO2019097785A1 (ja) * | 2017-11-17 | 2019-05-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN110020176A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团公司 | 一种资源推荐方法、电子设备以及计算机可读存储介质 |
| CN110020099A (zh) * | 2017-08-21 | 2019-07-16 | 武汉斗鱼网络科技有限公司 | 一种视频交友的用户推荐方法和装置 |
| CN112148972A (zh) * | 2020-09-04 | 2020-12-29 | 北京明略昭辉科技有限公司 | 待推荐信息的筛选方法及装置 |
-
2021
- 2021-05-18 CN CN202110540992.7A patent/CN113127748B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015188699A1 (zh) * | 2014-06-10 | 2015-12-17 | 华为技术有限公司 | 推荐项目的方法和装置 |
| US9984386B1 (en) * | 2015-05-11 | 2018-05-29 | Amazon Technologies, Inc. | Rules recommendation based on customer feedback |
| WO2018001223A1 (zh) * | 2016-06-27 | 2018-01-04 | 中兴通讯股份有限公司 | 播放列表推荐方法及装置 |
| WO2018090793A1 (zh) * | 2016-11-18 | 2018-05-24 | 腾讯科技（深圳）有限公司 | 多媒体推荐方法和装置 |
| CN110020099A (zh) * | 2017-08-21 | 2019-07-16 | 武汉斗鱼网络科技有限公司 | 一种视频交友的用户推荐方法和装置 |
| WO2019051835A1 (zh) * | 2017-09-18 | 2019-03-21 | 华为技术有限公司 | 一种推荐方法及终端 |
| WO2019097785A1 (ja) * | 2017-11-17 | 2019-05-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN110020176A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团公司 | 一种资源推荐方法、电子设备以及计算机可读存储介质 |
| CN109446422A (zh) * | 2018-10-24 | 2019-03-08 | 湖北大学 | 一种基于离群用户过滤的服务推荐方法 |
| CN112148972A (zh) * | 2020-09-04 | 2020-12-29 | 北京明略昭辉科技有限公司 | 待推荐信息的筛选方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 康美林;刘军万;: "基于双聚类模型的协同过滤推荐引擎设计", 电脑编程技巧与维护, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113127748B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018192437A1 (zh) | 媒体内容推荐方法、服务器、客户端及存储介质 | |
| US9934368B2 (en) | User-generated content permissions status analysis system and method | |
| US8826347B1 (en) | Method and system for creating video channels for delivery of content from multiple platforms | |
| KR101670100B1 (ko) | 일관성없는 사용자 동작 검출 및 피드백 제공 시스템 및 방법 | |
| US9377938B2 (en) | Live videocast to social network | |
| US7756895B1 (en) | Community-modified user data | |
| US9483652B2 (en) | Enabling user privacy for changes of access to shared content | |
| US9373101B2 (en) | Filtering social networking content | |
| US20130097259A1 (en) | In-product micro-blogging for design sharing | |
| US20170206379A1 (en) | User-generated content permissions status analysis system and method | |
| US20130346876A1 (en) | Simultaneous experience of online content | |
| CN111090813B (zh) | 一种内容处理方法、装置和计算机可读存储介质 | |
| US20220377083A1 (en) | Device for preventing and blocking posting of harmful content | |
| KR101000871B1 (ko) | 디지털 저작물의 통제를 위한 장치 및 방법 | |
| CN104021176A (zh) | 具有高度可扩展性的广告匹配方法和系统 | |
| EP2130156A1 (en) | System and method for confirming digital content | |
| CN116185754A (zh) | 数据监控方法、装置、设备及计算机存储介质、程序产品 | |
| CN111274415A (zh) | 确定替补视频素材的方法、装置及计算机存储介质 | |
| CN111669622A (zh) | 一种视频缺省播放关系的确定方法、装置及电子设备 | |
| US20160048595A1 (en) | Filtering Content Suggestions for Multiple Users | |
| US20170331909A1 (en) | System and method of monitoring and tracking online source content and/or determining content influencers | |
| US20140172965A1 (en) | Unified social graph | |
| CN113127748A (zh) | 数据过滤方法及系统 | |
| CN111669626A (zh) | 一种视频缺省播放关系的确定方法、装置及电子设备 | |
| CN108886631B (zh) | 电子数据检查系统、电子数据检查方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |