CN115315687A - 用于在操作系统（os）级别过滤显示的内容的系统 - Google Patents

Abstract

用于在操作系统级别过滤内容的方法、系统和装置。在一个方面，一种方法包括：在用户设备处访问包括将由在用户设备上执行的应用呈现的内容项目的数据；在由应用呈现内容之前：对于每个内容项目，在用户设备处并且通过过滤模型来确定内容项目是由应用呈现还是由过滤模型过滤，对于被确定为由应用呈现的每个内容项目，允许应用呈现内容项目，并且对于被确定为要过滤的每个内容项目，由过滤模型通过在操作系统级别执行的并且与执行应用的应用级别分离的系统级别过滤操作，来阻止应用对内容项目的呈现。

Description

用于在操作系统（OS）级别过滤显示的内容的系统

技术领域

出于各种原因进行内容过滤。例如，可以过滤内容，以防止儿童被暴露于不适合在年幼时观看的内容。还可以过滤内容以防止“剧透”，即泄露电视节目或电影的关键情节事件。还可以基于性别、种族或宗教过滤内容以防止对个人的骚扰。

背景技术

在互联网的语境中，过滤通常在服务侧完成，并且常常特定于应用。例如，搜索引擎可以启用“安全搜索”设置，该设置阻止向运行浏览器的用户设备提供无删减(explicit)的搜索结果。然而，“安全搜索”设置仅适用于搜索引擎进行的搜索，而如果用户导航到其他网站，则不防止对来自其他网站的内容的暴露。

作为另一示例，操作系统可以限制安装某些应用，例如在应用商店中被分级为“PG-14”的应用。然而，如果该应用未被分级，则该应用仍然可以被安装。

大多数现有的内容过滤解决方案适用于特定的情况，但是没有解决过滤独立于网站(在浏览器的情况下)或其他环境(在除浏览器之外的应用的情况下)的内容的问题。此外，限制特定应用的安装不能实现许多过滤目标，因为许多通用应用(例如，即时消息应用、电子邮件应用)仍然可以被安装，并且向用户暴露不期望的内容。

发明内容

本说明书涉及一种在用户设备上将数字内容呈现给用户之前分析和过滤不期望的内容的系统和方法。更具体地，下面描述的系统和方法在用户设备处分析要在用户设备上呈现的内容，并且在将内容呈现给用户设备的用户之前过滤不期望项目的内容。

在实施方式中，过滤系统在用户设备上的操作系统(OS)级别进行操作，这与在针对特定应用的应用级别进行操作相反。当在本说明书中使用时，在 OS级别进行操作意味着具有比在应用级别的下述操作和/或由操作系统执行的下述操作更高的权限(privilege)的访问的操作：其中，该操作处理要显示的内容。例如，可以处理要在屏幕显示上渲染的数据，以标识要过滤的内容。可以处理屏幕的全部内容，或者只处理某些内容，例如可以只处理图像。

作为又一示例，OS级别的操作可以访问由多个不同应用处理的数据，并且可以是影响由多个不同应用进行的数据呈现的操作。相反，应用级别操作是下述操作：该操作可能只能够访问其所属的应用正在处理的数据，而不能影响其他应用。因此，通过在OS级别进行操作，过滤系统对于过滤系统可以过滤其内容的应用是不可知的。

一个示例方法包括以下操作。该方法在用户设备处访问包括将由在用户设备上执行的应用呈现的多个内容项目的数据。内容项目可以是单词、短语、图像、视频和音频。通常，内容项目正在由应用处理，以便由应用在用于文本、图像和视频的UI中以及通过用于音频的音频输出系统来呈现。

在由应用呈现内容之前，过滤模型确定内容项目是由应用呈现还是由过滤模型过滤。确定的性质依赖于内容类型和过滤模型。例如，对于文本过滤器过滤模型，可以将文本与禁用单词和短语的列表进行比较；相反，如果过滤模型考虑了句子和段落的语义解释，则可以基于所确定的语义解释来过滤整个句子和段落。可以使用任何适当的过滤模型，这依赖于所期望的过滤的鲁棒性和成熟度(sophistication)，并且依赖于被过滤的内容类型。

对于确定由应用呈现的每个内容项目，过滤模型允许应用呈现内容项目。相反，对于确定要过滤的每个内容项目，过滤模型过滤该内容项目。更具体地，过滤模型通过在操作系统级别执行的并且与执行应用的应用级别分离的系统级别过滤操作，来阻止应用对内容项目的呈现。例如，这可以通过下述来实现：在过滤的文本、图像和视频上呈现不透明遮挡，或者抑制过滤的音频或对过滤的音频进行哔哔消声。

在一些实施方式中，过滤内容项目的过滤元素是可选择的，并且用户可以选择其以允许内容项目被呈现。过滤模型可以考虑这点，并且为将来的过滤操作调整其参数。例如，不透明遮挡可以是可选择的，并且一旦选择，就被移除以允许呈现过滤的内容。类似地，当音频被抑制时，过滤模型可以使设备声明音频被抑制，并且声明如果用户期望收听音频则使用什么命令来允许过滤的音频被呈现，例如，“你将要听到的歌曲包含无删减的歌词，并且我将哔哔消声无删减的单词以便你听不到它们。然而，如果你没有发现这类内容令人反感，就说“让我听到它”，我就不会哔哔消声无删减的单词。”

一般地，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：在用户设备处访问包括将由在用户设备上执行的应用呈现的多个内容项目的数据；在由应用呈现内容之前：对于每个内容项目，在用户设备处并且通过过滤模型来确定内容项目是由应用呈现还是由过滤模型过滤，对于被确定为由应用呈现的每个内容项目，允许应用呈现内容项目，并且对于被确定为要过滤的每个内容项目，通过在操作系统级别执行的并且与执行应用的应用级别分离的系统级别过滤操作，来阻止应用对内容项目的呈现。该方面的其他实施例包括相对应的系统、装置和计算机程序，其被配置为执行该方法的动作并且被编码在计算机存储设备上。

可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。通过在OS级别进行过滤，下面描述的过滤处理可以跨多个应用并且独立于每个应用来过滤特定内容。这降低了过滤泄漏的可能性，否则当在规范应用中进行过滤时可能发生过滤泄漏。例如，在搜索引擎内过滤色情内容可以阻止色情内容作为搜索结果被提供。然而，如果用户导航到托管该内容的站点，或者如果用户通过电子邮件或即时消息接收该内容，则可能提供相同的色情内容。相反，操作系统级别的过滤允许用户设备针对提供用于用户消费的内容的所有应用来实施针对特定内容的过滤处理。

内容的分析和过滤是独立于呈现内容的应用来完成的。这解决了与伴随用于每个应用的分离的过滤处理的复杂性和资源相关的问题。当仅在应用级别进行过滤时，必须在每个应用中实施分离的处理，并且因此当确定是否过滤内容时，每个应用可能消耗额外的处理资源(例如，图像、视频、文本和音频处理)。在每个应用中这样实施分离的处理可能是不可能的；例如，设备可能无法控制应用上运行的处理，并且因此提供有效的过滤带来了挑战。

此外，下面描述的过滤可以仅仅地在用户设备上完成，并且因此用户的偏好不需要在服务器级别处理。这减少了当用户改变他或她的过滤偏好时所需的网络流量的量。例如，当用户期望改变他或她的针对特定搜索结果集的过滤偏好时，不需要重新发送搜索结果。此外，在用户设备上完成的过滤保护了用户关于过滤偏好的信息不会泄露给第三方以及被用于过滤之外的其他目的(例如，广告)。

额外地，在设备上的过滤减少了当在服务器侧完成内容过滤时这种过滤所需的资源，因为诸如视频过滤的内容过滤仅在期望这种过滤的用户的设备上完成。

另一优点是能够过滤在设备处以加密形式接收的内容。因为内容是由应用(例如，聊天应用)解密的，所以内容在呈现之前是“明文”的。因此，通过加密来规避过滤在设备处被打破(defeat)。此外，过滤处理不需要包括加密/解密处理，因此简化了内容分析和过滤。

本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得明显。

附图说明

图1是示出操作系统的抽象级别的示例用户设备的框图。

图2是以操作系统的应用级别执行的示例文本应用的框图。

图3是过滤针对呈现给用户而生成的内容的示例处理的流程图。

具体实施方式

诸如蜂窝电话、智能电话、PDA、平板型计算机的用户设备已经变得非常普遍，并且成为我们日常生活的必须部分。现在，绝大多数人口得以接触 (access)这些设备中的一种或多种以通过其访问数字内容。这些设备通常能够执行各种任务，诸如浏览互联网、消息发送、电子邮件发送、下载内容和执行不同的应用以及各种其他功能。

这些设备执行的大部分任务会向用户暴露某种数字内容。例如，聊天应用允许用户向另一用户发送数字内容，如文本消息、图像、音频和视频。浏览器应用允许通过互联网搜索或数字广告来访问数字内容。这种应用的其他示例可以包括串流视频应用、在线游戏和基于云的应用。

在数字内容由应用访问并且由用户设备呈现给用户的所有上述情况中，总是存在用户可能被暴露于下述内容的风险：不适合特定用户的内容(例如，对于儿童的成人内容)，或者用户可能不想观看的内容(例如，剧透)，或者可能是要从呈现中过滤掉的内容。下面描述的系统和方法允许用户设备通过在OS级别同时跨多个应用过滤来过滤这样的内容。

下面将更详细地描述这些特征和额外的特征。

图1是示例用户设备100的框图，示出了在向用户呈现数字内容时用户设备100的功能。用户设备100具有应用级别120，其中，应用在用户设备 100的操作系统内执行。操作系统在OS级别140操作，例如内核模式或系统级别操作，诸如文本处理程序(handler)、视频处理程序或音频处理程序，而应用在OS级别140之外的应用级别120操作，例如比根用户(root)模式权限低的用户模式，或发生在应用环境内的操作。通常，在应用等级120操作的应用将只能访问特定于该应用的数据，而在OS级别140操作的处理将可以访问在应用级别120操作的许多应用的数据。

如图1所示，聊天应用122、浏览器应用124、音乐应用126和视频应用 128以应用级别120进行操作。用户设备还包括I/O系统160，该I/O系统160 包括为应用渲染应用数据的显示系统170。I/O系统160还包括扬声器系统180，该扬声器系统180依赖于在应用级别120执行的应用来生成音频。

在应用级别120执行的应用生成数字内容项目，用于在用户设备100上呈现给用户。内容项目可以是图像、一组视频帧、文本以及音频的连续部分中的每个(例如，音频的一秒增量)。当用户通过用户设备与特定应用交互时，特定应用的数字内容被直接地呈现给用户。例如，如果用户正在与浏览器应用124交互，则浏览器应用124连同浏览器应用124的数字内容一起被直接地渲染在用户设备100的I/O系统160内的显示系统170上。类似地，当用户与音乐应用126交互时，使用I/O系统160内的扬声器系统180直接地播放音乐。

过滤模型150在OS级别140实施。过滤模型150可以接收由在应用级别120执行的应用生成的数字内容作为输入；处理该输入；以及标识要过滤的内容。在标识要过滤的内容时，过滤模型150阻止用户设备100向用户呈现内容。过滤模型如何标识要过滤的内容，以及内容实际上是如何被过滤的，将在下面更详细地描述。

过滤模型150在用户设备100上以操作系统(OS)级别(或简称为“系统级别”)进行操作，这与在针对特定应用的应用级别进行操作相反。当在本说明书中使用时，OS级别的操作是具有比在应用级别的操作更的高权限的访问的操作。例如，OS级别的操作可以访问由多个不同应用处理的数据，并且可以是影响由多个不同应用呈现数据的操作。

过滤模型150可以被实施为包括多个参数的一个或多个机器学习模型，其中，多个参数已经被训练来标识某些内容，诸如色情、脏话等。例如，在一些实施方式中，过滤模型150可以是能够解释不同类型内容的各种模型的集合，诸如用于视频的皮肤检测模型、各种对象检测模型和单词检测模型。过滤模型150可以处理图像、视频、文本以及甚至音频，以检测要过滤的内容。

在一些实施方式中，过滤模型150基于用户偏好152确定是否要过滤内容。偏好可以指定要过滤什么类型的内容(如果有的话)。例如，过滤模型 150可以能够检测多种类型的内容——色情、脏话、血腥等。在由用户设置之后，用户偏好152可以指定要过滤哪些类型的内容(如果有的话)。假设用户期望只过滤色情，那么被识别为脏话或血腥的内容将不会被过滤。

在一些实施方式中并且依赖于用户偏好152，在确定要过滤特定数字内容时，该特定数字内容将根本不会被呈现给用户。在其他实施方式中，可以处理特定的数字内容，并且向用户呈现图像的修改的、过滤的版本。例如，特定的数字内容在呈现给用户之前可以被模糊化、像素化、静音化(mutated) 或另外地减弱化。

这些不同的操作是由过滤模型150在OS级别执行的过滤操作。例如，过滤模型150可以访问过滤操作库，诸如用于图像和视频的模糊、用于音频的静音以及用于文本的删除或模糊。因此，要过滤的图像和视频被模糊，要过滤的音频被静音，以及要过滤的文本被删除或模糊。

在一些实施方式中，当呈现过滤的内容时，用户可以选择过滤的内容来展示该内容。例如，在图像或文本的情况下，用户可以选择模糊的图像或文本，并且模糊的内容将被展示。替选地，可以向特定用户分配管理员角色，并且如果该用户不是管理人员，则对于该用户将无法获得展示过滤的内容的能力。在一些实施方式中，过滤模型150可以基于用户观看最初被过滤的数字内容的动作来更新自身。

图2是示出示例聊天应用的框图，其中发送者正在从用户设备210向用户设备220处的接收者发送数字内容。两个用户设备210和220通过网络230 连接，使得数字内容能够从一个设备传输到另一设备。网络230包括局域网 (LAN)、广域网(WAN)、互联网或其组合。在一些实施方式中，聊天应用和网络230可以使得多于两个用户设备能够通过网络进行通信，其中，多个用户设备可以同时发送和接收数字内容。

发送者使用用户设备210向用户设备220上的接收者发送数字内容。发送者首先传送树的图像252，该图像通过网络230传送。在一些实施方式中，聊天应用可以加密的图像252，使得接收者的用户设备上的聊天应用可以解密它。当在接收者的用户设备220上执行的聊天应用接收到加密的图像252 时，聊天应用解密加密图像252以恢复图像262。设备220上的聊天应用向过滤模型150提供图像262。当过滤模型150确定图像262将不被过滤时，图像262被呈现在用户设备220的显示器上以呈现给接收者。更一般地，以上示例示出了以加密的形式接收的并且然后由应用解密的任何数据可以在解密之后和呈现之前被检查以进行过滤。

发送者再次使用用户设备210通过网络230向接收者发送图像254。解密之后，设备220上的聊天应用向过滤模型150提供图像264。当过滤模型 150确定图像264将被过滤时(例如，图像描绘了用户设备220的用户已经在用户偏好152中指定要过滤的内容)，图像264连同在图像上的不透明层 266一起被渲染在显示器上，使得图像被遮挡而不能呈现给接收者。如上所述，在一些实施方式中，可以展示过滤的内容。例如，在一些实施方式中，不透明层266是可选择的，并且用户可以选择不透明层来看到图像264。

关于文本数据，过滤模型150可以处理文本数据并且检测图像中的文本，诸如通过光学字符识别。过滤模型150可以包括语义解释模型，以标识和提取有意义的文本数据。一旦接收到文本数据，语义解释模型将利用语义检测算法来提取与文本相关联的意义。过滤模型150然后可以确定内容项目的语义解释是否是例如在禁止语义解释列表中列出的禁止语义解释。如果是，则可以过滤该文本。

在一些实施方式中，过滤模型150可以进一步包括情感(sentiment)分析模型，以确定与文本数据相关联的情感。在一些实施方式中，这些模型基于包括多个参数的机器学习算法，这些参数被调整以通过在一组示例(如大型语料库或句子集合)上进行训练来学习自然语言的规则，并且执行统计推断。在执行文本分析和提取文本数据的意义之后，过滤系统基于用户偏好确定是否要过滤文本数据。例如，基于用户偏好，可以过滤与性或受管制物质相关的文本内容。

在一些实施方式中，模型150可以被训练来标识要过滤的文本部分。这些部分可以通过内容标题或主题标识符来标识。例如，文章可以包括标题“剧透警报”，其指示标题之后的文本包括电影的剧透。例如，模型150可以被训练来过滤文章中“剧透警报”标题之后的所有文本。其他文本过滤器可以包括基于与禁止单词匹配的单词进行的过滤。

关于音频，过滤模型150可以处理音频以检测语音和其他类型的内容(例如，不同风格的音乐，诸如古典、乡村、爵士、金属等等)。例如，在应用级别120内执行的音乐应用126可以使用扬声器系统180来播放音频歌曲。用户可能期望过滤无删减的歌词。在这样的实施方式中，过滤模型150将处理音频数据以检测无删减的单词。在确定歌曲中的特定单词是无删减的之后，并且基于用户偏好，过滤系统150可以过滤掉这些词，诸如通过在用户设备100上播放音乐时抑制音频或者添加审查哔哔声效果来代替该单词。

在其他实施方式中，可以采用描述内容的描述符对内容加标签，并且模型150可以基于标签来确定内容。

图3是过滤由在应用级别执行的应用生成的数字内容的示例处理300的流程图。处理300在计算机系统中实施，例如实施模型150的用户设备100。

处理300访问由在应用级别执行的应用生成的数字内容，以呈现给用户 (310)。内容过滤系统150接收由应用生成的数字内容作为输入。例如，在应用级别120中执行的聊天应用122接收需要呈现给用户设备的用户的文本。聊天应用122采用接收到的文本生成包括应用特定的用户界面的数字内容，以呈现给用户。在一些实施方式中，代替向用户设备100的I/O系统160提供数字内容，聊天应用122(以及应用级别的其他应用)向过滤模型150提供数字内容作为输入。在其他实施方式中，过滤模型150可以替代地从系统级别I/O处理接收数字内容。例如，当模型150被安装在用户设备上时，OS 可以在视频渲染或音频输出之前的步骤中向模型提供数字内容。以这种方式，模型150从应用捕获已经由应用处理的内容，以供应用呈现。然后，模型150 可以处理数字内容，并且然后，基于用户偏好和检测到的内容类型，使用户设备执行一个或多个过滤操作。

在过滤模型150接收到作为输入的数字内容之后，处理300确定是呈现或还是过滤数字内容(320)。如果处理300确定要呈现内容，则该处理向用户呈现数字内容(330)。例如，在确定要在应用120的用户界面中呈现的数字内容不被过滤时，该数字内容作为输入被提供给I/O系统160。然后，I/O 系统160将数字内容渲染在显示系统170上，以呈现给用户。

如果数字内容被确定为要被过滤，则处理300在被确定为不适当的数字内容或数字内容的一部分上呈现可选择的不透明层(340)。例如，在用户设备210接收到图像254之后，并且在确定图像254将被过滤时，过滤系统150 在图像上呈现可选择的不透明层266用于呈现，从而遮挡不适当的内容。其他过滤方法包括根本不呈现内容，或者在将内容呈现给用户之前对其进行模糊、像素化、删减或以其他方式减弱。

当在过滤内容上呈现不透明层时，用户可能期望看到过滤内容。在选择不透明层时，可以向用户提供观看未改变的数字内容的选项。基于用户的动作，过滤系统可以更新用户偏好(350)。在一些实施方式中，用户偏好可以独立于用户反馈，其中，用户可以指定不会基于用户动作而改变的过滤参数。

在这里讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供机会来控制应用或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或者用户的当前位置的信息)，或者控制是否和/或如何接收可能与用户更相关的内容。另外，在存储或使用某些数据之前，可能会以一种或多种方式对其进行处理，以便移除个人身份信息。例如，可以处理用户的身份，从而不能确定用户的个人可标识信息，或者可以概括获得位置信息处的用户的地理位置(诸如城市、邮政编码或州级)，从而不能确定用户的特定位置。因此，用户可以控制内容服务器如何收集和使用关于用户的信息。

本说明书中描述的主题和操作的实施例可以在下述中实施：数字电子电路，或者计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)，或者其中的一个或多个的组合。本说明书中描述的主题的实施例可以被实施为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其被编码在计算机存储介质上，用于由数据处理装置执行或控制数据处理装置的操作。

计算机存储介质可以是下述或被包括在下述中：计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或者其中的一个或多个的组合。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或被包括在一个或多个分离的物理组件或介质(例如，多个CD、盘或其他存储设备)中。

本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统或者前述的多个或组合。该装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言、声明或过程语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适用于计算环境的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或者在位于一个地点或分布在多个地点并且通过通信网络互连的多个计算机上执行。

本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并且生成输出来执行动作。处理和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传输数据，或两者兼有。然而，计算机不必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪速驱动器)等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CDROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入其中。

为了提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实施，该计算机具有：用于向用户显示信息的显示设备，例如CRT(阴极射线管)或LCD(液晶显示器)监视器；以及用户可以用来向计算机提供输入的键盘和指点设备，例如鼠标或轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从 web浏览器接收的请求，向用户的用户设备上的web浏览器发送网页。

本说明书中描述的主题的实施例可以在计算系统中实施，该计算系统包括：后端组件，例如作为数据服务器；或者包括中间件组件，例如应用服务器；或者包括前端组件，例如具有通过其用户可以与本说明书中描述的主题的实现交互的图形用户界面或Web浏览器的用户计算机；或者一个或多个这样的后端、中间件或前端组件的任何组合。该系统的组件可以通过任何形式或介质的数字数据通信(例如通信网络)来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网(例如，因特网)和对等网络(例如，自组织对等网络)。

计算系统可以包括用户和服务器。用户和服务器通常彼此远离，并且通常通过通信网络进行交互。用户和服务器的关系是由于在各自的计算机上运行的并且彼此具有用户-服务器关系的计算机程序而产生的。在一些实施例中，服务器向用户设备传送数据(例如，HTML页面)(例如，为了向与用户设备交互的用户显示数据并且从该用户接收用户输入的目的)。可以在服务器处从用户设备接收在用户设备处生成的数据(例如，用户交互的结果)。

虽然本说明书包含许多具体的实施方式细节，但是这些不应该被解释为对任何特征或可能要求保护的内容的范围的限制，而是应被解释为对特定实施例的特定特征的描述。本说明书中、在分离的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实施。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定的顺序描绘了操作，但是这不应该被理解为要求这些操作以所示的特定顺序执行或者顺序地执行，或者要求所有示出的操作都被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者打包到多个软件产品中。

因此，已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。在某些情况下，权利要求中所述的动作可以以不同的顺序执行，并且仍能实现期望的结果。此外，附图中描绘的处理不一定需要所示的特定顺序或顺序地来实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

Claims (17)

1.一种计算机实现的方法，包括：

在用户设备处访问包括将由在用户设备上执行的应用呈现的多个内容项目的数据；

在由所述应用呈现所述内容之前：

对于每个内容项目，在用户设备处并且通过过滤模型来确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤；

对于被确定为由所述应用呈现的每个内容项目，允许所述应用呈现所述内容项目；并且

对于被确定为要过滤的每个内容项目，通过在所述用户设备处的所述过滤模型并且通过在操作系统级别执行的且与执行所述应用的应用级别分离的系统级别过滤操作，来阻止所述应用对所述内容项目的呈现。

2.根据权利要求1所述的计算机实现的方法，其中，在所述用户设备处访问包括将由在所述用户设备上执行的所述应用呈现的多个内容项目的数据包括：

从所述应用捕获已经由所述应用处理以供所述应用呈现的内容项目。

3.根据权利要求2所述的计算机实现的方法，其中，从所述应用捕获已经由所述应用处理以供所述应用呈现的所述内容项目包括：捕获所述应用已经解密的内容项目。

4.根据权利要求2所述的计算机实现的方法，其中，从所述应用捕获已经由所述应用处理以供所述应用呈现的所述内容项目包括：捕获将由所述应用在图形用户界面中呈现的文本数据，并且每个内容项目是单词或短语之一。

5.根据权利要求4所述的计算机实现的方法，其中，在所述用户设备处并且通过所述过滤模型确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤包括：

确定所述内容项目是否为在禁止内容项目列表中列出的禁止内容项目；和

当所述内容项目被确定为在所述禁止内容项目列表中列出的禁止内容项目时，确定所述内容项目将被所述过滤模型过滤。

6.根据权利要求4所述的计算机实现的方法，其中，在所述用户设备处并且通过所述过滤模型确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤包括：

根据语义解释模型对内容项目进行语义解释；

确定所述内容项目的语义解释是否为禁止语义解释列表中列出的禁止语义解释；

过滤被确定为具有被确定为禁止语义解释列表中列出的禁止语义解释的语义解释的单词和短语的内容项目。

7.根据权利要求4所述的计算机实现的方法，其中，通过所述用户设备处的过滤模型并且通过在操作系统级别执行的且与执行所述应用的应用级别分离的系统级别过滤操作，过滤所述应用对所述内容项目的呈现包括：

仅在确定要过滤的所述单词或短语上呈现不透明层。

8.根据权利要求7所述的计算机实现的方法，其中：

不透明层是可选择的；以及

响应于对所述不透明层的选择，所述过滤模型移除所述不透明层，并且呈现被确定要过滤的所述单词或短语。

9.根据权利要求2所述的计算机实现的方法，其中，从所述应用捕获已经由所述应用处理以供所述应用呈现的所述内容项目包括：捕获将由所述应用在图形用户界面中呈现的图像或视频数据。

10.根据权利要求9所述的计算机实现的方法，其中，在所述用户设备处并且通过所述过滤模型确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤包括：

确定描述所述图像或视频的所述内容的主题的内容项目标签；

基于所述内容项目的所述主题，确定所述内容项目是否为禁止内容项目列表中列出的禁止内容项目；

当所述内容项目被确定为所述禁止内容项目列表中列出的禁止内容项目时，确定所述内容项目将被所述过滤模型过滤。

11.根据权利要求9所述的计算机实现的方法，其中，在所述用户设备处并且通过所述过滤模型确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤包括：

对所述图像或视频执行图像处理以确定所述图像或视频的所述内容的主题；

基于所述内容项目的所述主题确定所述内容项目是否为禁止内容项目列表中列出的禁止内容项目；

当所述内容项目被确定为所述禁止内容项目列表中列出的禁止内容项目时，确定所述内容项目将被所述过滤模型过滤。

12.根据权利要求9所述的计算机实现的方法，其中，通过所述用户设备处的所述过滤模型并且通过在所述操作系统级别执行的且与执行所述应用的应用级别分离的所述系统级别过滤操作，过滤所述应用对所述内容项目的呈现包括：

仅在确定要过滤的所述图像或视频上呈现不透明层。

13.根据权利要求12所述的计算机实现的方法，其中：

所述不透明层是可选择的；以及

响应于对所述不透明层的选择，所述过滤模型移除所述不透明层，并且呈现被确定要过滤的所述图像或视频。

14.根据权利要求2所述的计算机实现的方法，其中，从所述应用捕获已经由所述应用处理以供所述应用呈现的所述内容项目包括：捕获将由所述应用通过音频输出呈现的音频数据。

15.根据权利要求1所述的方法，其中，所述过滤模型是预定义的模型，并且其中：

通过所述用户设备处的所述过滤模型并且通过在所述操作系统级别执行的且与执行所述应用的应用级别分离的所述系统级别过滤操作，过滤所述应用对所述内容项目的呈现包括：

仅在被确定要过滤的内容项目上呈现可选择的不透明层；

响应于对所述不透明层的选择：

所述过滤模型移除所述不透明层，并且呈现被确定要过滤的所述内容；和

基于所述选择更新所述过滤模型。

16.一种系统，包括：

包括数据处理装置的用户设备；和

非暂时性计算机可读介质，存储由所述数据处理装置可执行的指令，并且在这种执行时使所述数据处理装置执行操作，所述操作包括：

在所述用户设备处访问包括将由在所述用户设备上执行的应用呈现的多个内容项目的数据；

在由所述应用呈现所述内容之前：

对于每个内容项目，在所述用户设备处并且通过过滤模型来确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤；

对于被确定为由所述应用呈现的每个内容项目，允许所述应用呈现所述内容项目；和

对于被确定为要过滤的每个内容项目，通过在所述用户设备处的所述过滤模型并且通过在操作系统级别执行的且与执行所述应用的应用级别分离的系统级别过滤操作，来阻止所述应用对所述内容项目的呈现。

17.一种存储可由用户设备的数据处理装置执行的指令，并且在这种执行时使得所述数据处理装置执行操作的非暂时性计算机可读介质，所述操作包括：

在所述用户设备处访问包括将由在所述用户设备上执行的应用呈现的多个内容项目的数据；

在由所述应用呈现所述内容之前：

对于每个内容项目，在所述用户设备处并且通过过滤模型来确定所述内容项目是由所述应用呈现还是由所述过滤模型过滤；

对于被确定为由所述应用呈现的每个内容项目，允许所述应用呈现所述内容项目；和

对于被确定为要过滤的每个内容项目，通过在所述用户设备处的所述过滤模型并且通过在操作系统级别执行的且与执行应用的应用级别分离的系统级别过滤操作，来阻止所述应用对所述内容项目的呈现。

Images