CN112417146A - 向用户通知侵犯性内容 - Google Patents

Abstract

本申请涉及向用户通知侵犯性内容。描述了确定用户要共享的内容何时可能具有侵犯性并向用户提供内容可能具有侵犯性的通知的技术。在一些示例中，可以向用户提供通知，该通知包括允许用户取消或撤销共享内容的可选选项、关于为什么该内容被确定为侵犯性的附加信息、内容共享准则和/或关于如何将该内容修改为不太侵犯性的建议。在一些示例中，通知可以被呈现预定时间段，并且内容可以保持在待定状态，并且直到预定时段期满才与其他用户共享。

Description

向用户通知侵犯性内容

背景

数字平台(如文本消息传递、即时消息传递、电子邮件、社交媒体、游戏或用户可以通过其共享内容的其他应用)为用户提供了许多好处和机会。例如，用户可以与家人、朋友、同事甚至陌生人共享信息、媒体和其他类型的内容。然而，与通过这些数字平台共享内容相关联的自由并非没有问题。例如，用户可以直接向其他特定用户或公开地共享侵犯性内容(offensive content)，如侮辱、仇恨言论、裸体、威胁、暴力等。在许多情况下，侵犯性内容会对内容共享者和内容消费者造成负面、严重和持久的后果，包括伤害感情、名誉受损，在更极端的情况下，还会导致抑郁、药物滥用和自杀。控制如何以及是否在数字平台上共享侵犯性内容可能会带来挑战。

附图简述

参考附图描述详细描述。在图中，附图标记的最左边的数字表示附图标记首次出现的图。在不同的图中使用相同的附图标记表示相似或相同的组件或特征。

图1是可用于实现本文描述的示例技术的示例系统的示意图。

图2A-2C示出了可用于呈现通知的示例界面，该通知是可选择的，以在发布潜在侵犯性评论之前控制潜在侵犯性评论的显示。

图3A-3C示出了可用于呈现通知的示例界面，该通知是可选择的，以在潜在侵犯性动态(story)被共享之前控制潜在侵犯性动态的显示。

图4示出了可用于呈现通知的示例界面，该通知是可选择的，以在潜在侵犯性消息被共享之前控制潜在侵犯性消息的显示。

图5示出了可用于呈现通知的示例界面，该通知是可选择的，以在潜在侵犯性简档帖子被共享之前控制潜在侵犯性简档帖子的显示。

图6A和图6B示出了用于确定由用户账户发布的潜在侵犯性评论并向与用户账户相关联的计算设备发送指令以呈现与潜在侵犯性评论相关联的通知的示例过程。

图7A和图7B示出了用于确定由用户账户发布的潜在侵犯性内容并向与用户账户相关联的计算设备发送指令以呈现与潜在侵犯性内容相关联的通知的示例过程。

图8示出了用于呈现与潜在侵犯性内容相关联的通知的示例过程。

图9示出了可用于实现本文描述的技术的示例系统和设备。

详细描述

如上所述，控制是否以及如何在数字平台上共享侵犯性内容可能会带来挑战。例如，侵犯性内容可以采取多种形式(例如，文本、图像、视频、音频或这些的组合)，并且共享侵犯性内容的方式的数量在不断增长。在某些情况下，侵犯性内容可能与网络欺凌(cyberbullying)有关，举几个示例，这可包括威胁、仇恨言论、侮辱或羞辱个人、以旨在勒索或骚扰某人的方式共享个人信息、以及重复的不需要的消息。侵犯性内容还可包括鼓励暴力、威胁危害公众和个人安全(例如，具体的人身伤害威胁、盗窃威胁、故意破坏和其他经济伤害)、美化自我伤害、其他类型的图形内容、淫秽和/或裸体。侵犯性内容会对共享内容的人和内容的消费者造成负面、严重和持久的后果，包括伤害感情、名誉损害，在更极端的情况下，还会导致抑郁、药物滥用和自杀。

用于控制是否以及如何在数字平台上共享侵犯性内容的现有选项已经不足。例如，以前的技术包括侵犯性内容的消费者对侵犯性内容的自我报告。在这种情况下，侵犯性内容的消费者可能选择不报告该内容，从而允许或甚至加剧对侵犯性内容的受害者(例如，在侵犯性内容中不知情地被描绘的人)造成的伤害。在另一个示例中，先前的技术还包括自动检测和移除一些侵犯性内容，例如由计算设备和/或管理员执行，而不需要用户报告侵犯性内容。然而，这些自动化技术通常不是实时实现的，因此侵犯性内容在从数字平台上移除之前至少会被共享一段时间。此外，现有内容共享系统的用户可能没有意识到内容可能侵犯其他用户，和/或可能不打算让内容侵犯其他用户，尽管有内容侵犯其他用户的可能性。在任何情况下，先前的技术都没有向处于共享内容过程中的用户提供内容具有潜在侵犯性的通知，也没有提供在共享动作完成之前重新考虑共享潜在侵犯性内容的能力。本申请描述了用于确定由用户共享的内容何时可能是侵犯性的并向用户提供内容可能是侵犯性的通知的技术。在一些示例中，本文描述的技术可以向用户提供通知，该通知包括允许用户重新考虑和取消(withdraw)或撤销共享内容的可选择控件。也就是说，可选择控件可以允许用户在内容被实际共享(例如，发表(publish)、发送或对一个或更多个其他用户可见)之前“撤销(undo)”共享内容的指令。在一些示例中，通知还可以包括关于为什么内容被确定为侵犯性的附加信息、内容共享准则、关于如何将内容修改为不太具有侵犯性的建议等。

例如，考虑第一个示例，其中第一用户在社交媒体平台上对由第二用户的账户共享的内容发布评论。该评论例如基于确定该评论包括对第二用户的仇恨言论或欺凌可被确定为侵犯性的。在发布评论之前，可以向第一用户提供评论可能是侵犯性的通知，并且向第一用户呈现将评论修改为更加礼貌的选项。如果第一用户选择了该选项，则评论可以被返回到可编辑字段，例如文本编辑字段，允许第一用户改变评论的内容和/或删除评论。通过在评论被共享之前通知第一用户评论可能是侵犯性的，并且向第一用户提供修改或删除侵犯性评论的手段，所描述的技术可以减少欺凌事件，改善用户之间的关系，等等。

在一些示例中，用户可以从社交媒体网络的用户的社交媒体账户发起内容项目的共享。从社交媒体账户共享内容可以采取多种形式，例如举几个示例，简档或订阅源帖子(feed post)、动态、给一个或更多个其他用户的直送消息(direct message)、推文(tweet)或快照(snap)。一般而言，简档(或订阅源)帖子可以包括文本和/或媒体内容项目，例如图像、视频和/或音频。简档帖子可以被发表到社交媒体网络以供其他用户消费，并且只要用户的社交媒体账户是活动的和/或帖子不被用户删除，其他用户就可以查看该简档帖子，尽管考虑了在一段时间(例如，一小时、一天、一周等)之后移除和/或删除简档帖子的示例。在一些情况下，由用户共享的简档帖子可以被包括在社交媒体网络的已经“关注”用户、与用户是“朋友”、是用户的关连(connection)或者以其他方式与用户相关联的其他用户的相应内容订阅源中。

动态可以类似于简档帖子，因为动态可以包括文本和/或媒体内容项目(例如图像、视频和/或音频)，被发表到社交媒体网络以供其他用户消费，并且可以被包括在订阅源中(尽管在某些情况下，是与简档帖子订阅源分开的订阅源)。然而，动态可以不同于简档帖子，因为该动态可以仅与用户的关注者的选定子集共享，和/或可以在某个时间段(例如，一小时、一天、一周等)之后被移除而无法被用户账户的关注者查看。直送消息也可以包括文本和/或媒体内容项目(例如图像、视频和/或音频)，但是通常，直送消息与社交媒体网络的单个其他用户或社交媒体网络的其他用户的选定子集共享，而不是与用户的所有关注者共享。

如上所述，由简档帖子、动态、直送消息和其他类型的通信提供的各种内容共享机会可允许共享侵犯性内容，这可导致负面后果。因此，所描述的技术在内容在简档帖子、动态或直送消息中被共享之前、期间和/或之后检测潜在的侵犯性内容，并通知共享内容的用户该内容可能是潜在侵犯性的。在一些示例中，机器学习算法可以检测共享内容流中的潜在侵犯性内容，例如要共享的内容中包括的图像、视频和/或文本中的潜在侵犯性内容。当在简档帖子、动态和/或直送消息中检测到潜在侵犯性内容时，可以向与用户相关联的计算设备发送指令，以显示内容可能是侵犯性的通知，并允许用户编辑内容，以在根据订阅源帖子、动态、直送消息和/或其他通信的不同共享技术共享内容之前使内容更加礼貌。

例如，当共享简档帖子或动态时，但是在与其他用户共享内容之前，可以在处理流程的屏幕上输出通知。在直送消息的情况下，当用户将字符输入到消息中时，和/或在消息完成时(例如，在用户选择“发送”之后但在内容与消息的接收者共享之前)，可以实时输出通知。在一些示例中，在根据内容共享技术按预期共享内容之前，通知可以显示一时间量(例如，3秒、5秒、8秒等)，给用户时间来审阅内容并决定用户是希望继续共享内容还是希望修改内容以使内容更加礼貌。通知将被显示的时间量可以由计时器、进度条、音频信号或对应于修改和/或撤销共享内容的剩余时间量的某个其他视觉指示器来表示。此外，在一些示例中，可以在该时间量内阻止内容与其他用户共享，从而允许用户在内容对其他用户可见之前撤回或编辑内容。

本公开的各种实施例包括社交网络系统的系统、方法和非暂时性计算机可读介质。在一些示例中，社交网络系统可以向与第一用户账户相关联的计算设备发送源自第二用户账户的内容。社交网络系统可以从与第一用户账户相关联的计算设备接收与内容相关联的评论。社交网络系统可以将评论输入到机器学习模型中，该机器学习模型被训练成识别潜在侵犯性评论。社交网络系统可以从机器学习模型接收与评论的侵犯性相关联的分数。社交网络系统可以将该分数与对应于侵犯性级别的阈值分数进行比较，并且至少部分地基于该分数大于阈值分数，向与第一用户账户相关联的计算设备发送呈现与评论相关联的通知的指令。

在一些示例中，呈现通知的指令包括呈现通知的持续时间。

在一些示例中，社交网络系统可以响应于该持续时间过去而发布评论。

在一些示例中，呈现通知的指令还指示与第一用户账户相关联的计算设备显示视觉指示器，以可视地指示持续时间。

在一些示例中，该指令是第一指令，并且社交网络系统向与第一用户账户相关联的计算设备发送第二指令，以在一持续时间内以待定状态(pending state)显示评论。

在一些示例中，该指令是第一指令，并且社交网络系统向与第一用户账户相关联的计算设备发送第二指令，以呈现可用于撤销评论的控件。

在一些示例中，社交网络系统从与第一用户账户相关联的计算设备接收对撤销评论的控件的选择的指示，并且向与第一用户账户相关联的计算设备发送第三指令，以在可编辑字段中显示评论，该可编辑字段使用户能够编辑评论。

在一些示例中，侵犯性级别是第一侵犯性级别，阈值分数是第一阈值分数，并且社交网络系统将该分数与对应于第二侵犯性级别的第二阈值分数进行比较，并且响应于该分数大于第二阈值分数而阻止评论被发布或以其他方式对其他用户账户可见。

在一些示例中，社交网络系统可以从与用户账户相关联的计算设备接收将由用户账户共享的内容的指示。社交网络系统可以将内容输入到机器学习模型中，该机器学习模型被训练成识别潜在侵犯性内容。社交网络系统可以从机器学习模型接收与内容的侵犯性相关联的分数。社交网络系统可以将该分数与对应于侵犯性级别的阈值分数进行比较，并且至少部分地基于该分数大于阈值分数，向与用户账户相关联的计算设备发送呈现与内容相关联的通知的指令。

在一些示例中，内容可以包括简档帖子、动态、直送消息、快照或推文。

在一些示例中，该指令是第一指令，并且社交网络系统向与用户账户相关联的计算设备发送第二指令，以呈现可用于撤销内容共享的控件。

在一些示例中，可由机器学习模型识别的潜在侵犯性内容可包括内容类别，这些类别包括欺凌内容、仇恨言论内容和/或裸体内容，社交网络系统确定潜在侵犯性内容的内容类别，并且呈现通知的指令还至少部分基于潜在侵犯性内容的内容类别。

在一些示例中，机器学习模型可以包括被训练来识别潜在侵犯性图像或视频的图像分类器。

在一些示例中，机器学习模型可以包括被训练来识别潜在侵犯性声音或语音的音频分类器。

在一些示例中，机器学习模型可以包括被训练来识别潜在侵犯性文本的文本分类器。

在一些示例中，机器学习模型可以包括光学字符识别(OCR)层，以识别图像或视频中描绘的潜在侵犯性文本。

在一些示例中，用户账户是第一用户账户，社交网络系统确定与内容相关联的第二用户账户，并且呈现通知的指令至少部分基于与内容相关联的第二用户账户。

在一些示例中，内容是包括一个或更多个内容类型(例如图像、视频、声音或文本)的简档帖子、动态或直送消息，并且分数至少部分地基于组合与简档帖子、动态或直送消息中包括的每个内容类型的侵犯性相关联的各个分数。

在一些示例中，呈现通知的指令包括呈现通知的持续时间。

在一些示例中，社交网络系统响应于持续时间过去而共享内容。

在一些示例中，呈现通知的指令还指示与用户账户相关联的计算设备显示视觉指示器，以可视地指示持续时间。

在一些示例中，该指令是第一指令，并且社交网络系统向与用户账户相关联的计算设备发送第二指令，以在一持续时间内以待定状态显示内容。

在一些示例中，社交网络系统将该分数与对应于第一侵犯性级别的第一阈值分数进行比较，并且如果该分数大于或等于第一阈值，则至少部分地基于该分数大于或等于第一阈值分数来阻止内容被共享。如果分数小于第一阈值但大于对应于第二侵犯性级别的第二阈值，则社交网络系统可以输出通知，该通知包括可用于至少部分基于分数小于第一阈值分数但大于第二阈值分数来撤销内容共享的控件。

在一些示例中，计算设备是第一计算设备，用户账户是第一用户账户，机器学习模型是第一机器学习模型，并且分数是第一分数，并且社交网络系统允许与和第二用户账户相关联的第二计算设备共享内容，然后将内容输入到第二机器学习模型中，该第二机器学习模型被训练为识别潜在侵犯性内容，从第二机器学习模型接收与内容的侵犯性相关联的第二分数，并且至少部分地基于第二分数来取消将内容与和第二用户账户相关联的第二计算设备共享，或者向用户发送通知，给予用户撤回内容的选项。

除了上面讨论的社会改进之外，本文描述的技术还通过减少通过网络发送的内容量来改进一个或更多个计算设备的性能。例如，如果用户响应于内容可能是侵犯性的通知而取消共享内容，则该内容可以从用户的计算设备中删除，并且可以防止被传播到其他用户的计算设备。以这种方式，通过网络发送的数据量可以减少。通过网络发送的数据量可以随着潜在的被侵犯用户减少了投诉、侵犯性内容标记的减少和/或被阻止用户的数量的减少而进一步减少。另外，在一些示例中，所描述的技术通过向用户显示有限的一组信息来改进计算设备的用户界面。例如，向共享内容的用户显示的信息可以通过允许用户更快地访问用于控制如何向其他用户显示用户输入的数据的选项，来提高使用计算设备的效率。此外，通过选择性地向用户输出对应于内容本身的控件，例如，通过相比于关于包含仇恨言论的动态的控件输出，针对关于另一用户的帖子的欺凌评论输出不同控件，来提高呈现用于输出内容的控件的速度。以这种方式，用户可以比现有技术更快地实时决定是共享还是撤回内容(例如，通过选择在共享内容时呈现的通知上的控件)，现有技术可能要求用户在已经共享内容之后通过导航一系列设置和/或菜单屏幕来移除内容而撤回内容。

下面参考附图进一步描述这些和其他方面。附图仅仅是示例实施方式，不应被解释为限制权利要求的范围。例如，虽然示例是在移动设备的用户界面的上下文中说明的，但是这些技术可以使用任何计算设备来实现，并且用户界面可以适应特定计算设备的大小、形状和配置。此外，虽然许多示例是在侵犯性内容的上下文中给出的，但是本文描述的技术也可以应用于但不限于攻击性内容、威胁性内容、性内容、辱骂性内容、淫秽内容或任何其他令用户反感的内容，其中训练机器学习模型来检测这些类型的内容中的任何一种或全部。

示例系统架构

图1是示例计算系统100的示意图，该示例计算系统100可用于实现本文描述的示例技术，以响应于用户试图通过系统100与其他用户共享潜在侵犯性内容而通知用户。在一些示例中，系统100可以包括用户102(1)、102(2)、…102(n)(统称为“用户102”)，以使用计算设备104(1)、104(2)、…104(m)(统称为“计算设备104”)经由网络108与社交网络系统106进行交互。在该示例中，n和m是大于1的非零整数。

每个计算设备104包括一个或更多个处理器和存储计算机可执行指令的存储器，以实现可归于各种计算设备的本文讨论的功能。在一些示例中，计算设备104可以包括台式计算机、膝上型计算机、平板计算机、移动设备(例如，智能电话或其他蜂窝或移动电话、移动游戏设备、便携式媒体设备等)、或其他合适的计算设备。计算设备104可以执行一个或更多个客户端应用，例如web浏览器(例如，微软视窗互联网浏览器、MozillaFirefox、苹果Safari、谷歌Chrome、Opera等)，或本地或专用客户端应用(例如，社交媒体应用、消息传递应用、电子邮件应用、游戏等)，以通过网络108访问和查看内容。

网络108可以代表计算设备104可以通过其访问社交网络系统106和/或彼此通信的一个网络或网络集合(例如互联网、公司内部网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、蜂窝网络、广域网(WAN)、城域网(MAN)或两个或更多个这样的网络的组合)。

社交网络系统106可以包括一个或更多个服务器或其他计算设备，它们中的任何一个或全部可以包括一个或更多个处理器和存储计算机可执行指令的存储器，以实现本文讨论的可归于社交网络系统或数字平台的功能。社交网络系统106可以使其用户102(例如个人或组织)能够经由计算设备104与社交网络系统106以及彼此进行交互。社交网络系统106可以利用来自用户的输入，在社交网络系统106中创建并存储与用户相关联的用户账户。用户账户可以包括用户的人口统计信息、通信渠道信息以及关于个人兴趣的信息。社交网络系统106还可以利用来自用户的输入来创建和存储用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，帖子、评论、照片共享、消息传递、标记、提及其他用户或实体、游戏等)，以促进用户102之间或者当中的社交互动。

社交网络系统106可以被配置成帮助促进用户102的安全和保障。例如，当社交网络系统106检测到用户102之一打算通过社交网络系统106共享潜在侵犯性内容时，社交网络系统106可以向用户102提供通知。

例如，在(由“1”指示的)操作110，第一用户102(1)传播侵犯性内容(例如，评论、消息、帖子、动态等)到第二用户102(2)和/或一个或更多个其他用户102(n)。例如，侵犯性内容可以是从第一用户102(1)发送到第二用户102(2)的欺凌消息。在一些示例中，侵犯性内容可以是包括裸体或仇恨言论的第一用户102(1)的简档帖子或动态，其中简档帖子或动态被共享给包括用户102(2)-102(n)的第一用户102(1)的关注者。

在一些示例中，第二用户102(2)可以发布内容项目(例如，简档帖子、动态等)，第一用户102(1)可以对其进行评论。由第二用户102(2)发布的内容项目可以与第一用户102(1)共享，并且在某些情况下，也可以与一个或更多个其他用户102(n)共享。回到操作110，在一些示例中，第一用户102(1)可以发布关于第二用户102(2)的帖子中包括的图像或其他内容项目的侵犯性评论或者针对第二用户102(2)的侵犯性评论。在一些情况下，评论可以对第二用户102(2)和关注第二用户102(2)的一个或更多个其他用户102(n)可见。

在一些示例中，社交网络系统106可以接收计算设备104(1)打算根据操作110共享潜在侵犯性内容的指示。在与其他用户102(2)-102(n)共享侵犯性内容之前，(由“2”指示的)操作112包括检测侵犯性内容。例如，社交网络系统106可以将潜在侵犯性内容输入到被训练成检测侵犯性内容的机器学习模型114中。在一些示例中，机器学习模型114可以使用包括诸如欺凌内容、仇恨言论、裸体、嘲弄等侵犯性内容的训练数据来构建数学模型，以在没有被明确编程为执行检测的情况下，对未来内容做出关于该内容是否是侵犯性的预测。此外，机器学习模型114可以被训练成输出对应于内容的侵犯性级别(例如，内容是侵犯性的可能性、侵犯性的程度等)的分数，和/或不同类型的侵犯性内容(例如，欺凌内容、仇恨言论、裸体、嘲弄等)的多个分数。机器学习模型可以采取多种形式。

例如，在将由第一用户102(1)发布的评论与第二用户102(2)先前共享的简档帖子或动态相关联的情况下(例如，根据操作112)，机器学习模型114可以是被训练为识别潜在侵犯性文本的文本分类器。在一些示例中，文本分类器可以是人工神经网络，其被训练成检测欺凌、仇恨言论、嘲弄、威胁、勒索、骚扰、自我伤害的宣传等等。机器学习模型114可以接收将由第一用户102(1)发布的评论，并且输出与该评论相关联的分数，该分数指示该评论的侵犯性级别(例如，内容是侵犯性的可能性)。在一些示例中，机器学习模型114可以输出对应于不同类型的侵犯性内容的多个分数，诸如欺凌分数、仇恨言论的分数、嘲弄分数等。

在一些示例中，在与一个或更多个其他用户102(2)-102(n)共享内容之前，可以将从用户102(1)接收的诸如简档帖子、动态或直送消息的内容输入到机器学习模型114中。在一些示例中，包括在简档帖子、动态或直送消息中的内容可以包括各种内容类型，例如文本、图像、视频、音频、表情符号(emojis)、GIF、贴纸和/或其他类型的覆盖。这些内容类型可以单独对应于侵犯性内容，和/或当与包括在简档帖子、动态或直送消息中的其他内容类型结合使用时，可以对应于侵犯性内容。

因此，机器学习模型114可以包括多个分类器，以单独地和/或组合地分析包括在简档帖子、动态或直送消息中的不同内容类型。例如，机器学习模型114可以包括人工神经网络，该人工神经网络包括计算机视觉分类器，该计算机视觉分类器被训练成针对裸体、侵犯性姿势、暴力、图形内容等分析图像和/或视频(例如，视频的一帧和/或多帧)。附加地或可替代地，机器学习模型114可以包括人工神经网络，该人工神经网络包括语音识别分类器，其被训练成针对欺凌、仇恨语音、嘲弄、威胁、勒索、骚扰、自我伤害的宣传等分析视频或音频记录中包括的语音或其他音频。此外，机器学习模型114可以包括光学字符识别(OCR)分类器，该OCR分类器在向其提供表示(例如，在GIF、贴纸、使用手指或触笔在触摸屏上描绘的字符等中)打印文本的图像时确定相应的文本。如上所述，OCR分类器可以将文本输出到被训练来识别潜在侵犯性文本的文本分类器。

尽管上面描述了特定的机器学习模型，但是也可以另外或可替代地使用其他类型的机器学习模型。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计散点图平滑(LOESS))、基于实例的算法(例如，岭回归(ridge regression)、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如，分类和回归树(CART)、迭代二分器3(ID3)、卡方自动交互检测(CHAID)、决策树桩(decision stump)、条件决策树)、贝叶斯算法(例如朴素贝叶斯(

ayes)、高斯朴素贝叶斯、多项式朴素贝叶斯、平均单相关估计器(AODE)、贝叶斯置信网络(BNN)、贝叶斯网络)、聚类算法(例如，k均值、k中值、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知器、反向传播、hopfield网络、径向基函数网络(RBFN))、深度学习算法(例如，深度玻尔兹曼机(DBM)、深度置信网络(DBN)、卷积神经网络(CNN)、堆叠自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度分析(MDS)、投影寻踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集成算法(例如，Boosting、自举聚合(Bagging)、AdaBoost、堆叠泛化(混合)、梯度提升机(GBM)、梯度提升回归树(GBRT)、随机森林)、SVM(支持向量机)、监督学习、非监督学习、半监督学习等。架构的其他示例包括神经网络，例如ResNet50、ResNet101、VGG、DenseNet、PointNet等。

在一些示例中，机器学习模型114可以通过组合由第一用户102(1)共享的具有不同内容类型的内容的组成部分的各个侵犯性分数来确定总侵犯性分数。例如，考虑第一用户102(1)选择与其他用户102(2)-102(n)共享包括视频、GIF和两个文本覆盖的动态的选项的示例。机器学习模型114可以输出视频的单独侵犯性分数、GIF的单独侵犯性分数、第一文本覆盖的单独侵犯性分数和第二文本覆盖的单独侵犯性分数。在一些示例中，机器学习模型114可以组合内容组成部分的这四个分数(例如，通过求和、加权平均等)来确定动态的总侵犯性分数。在其他示例中，机器学习模型114可以将用户102(1)输入的内容作为整体进行分析(例如，除了分析内容的各个组成部分之外，或者作为分析内容的各个组成部分的替代)，以确定内容的总侵犯性分数。

在机器学习模型114输出内容的侵犯性分数之后，在一些示例中，社交网络系统106将侵犯性分数与对应于侵犯性级别的一个或更多个阈值分数进行比较。例如，侵犯性级别可以对应于内容会侵犯社交网络系统106的用户的确定性。使用0到100的示例标度，其中0对应于根本不可能是侵犯性的，而100对应于内容是侵犯性的完全确定性，苹果的图像可以得到5的分数，而被击打的人的图像可以得到85的分数。当然，可以使用任何标度来指示内容的侵犯性级别(例如，从0到1的标度、从0到10的标度等等)。此外，机器学习模型114可以连续地调整标度以适应内容中的不同趋势，这些趋势可能随着时间而变得更具有侵犯性或不那么具有侵犯性，例如，基于通过社交网络系统106在内容中描述的新闻项目、基于社交网络系统106中使用的话题标签(hashtag)、基于使用社交网络系统106标记的人和/或地点等等。

在一些情况下，由机器学习模型114输出的侵犯性分数可以与侵犯性级别的第一阈值分数进行比较，该第一阈值分数可以指定内容是否应该被完全禁止发布(例如，阻止)。继续上面从0到100的示例标度，第一阈值分数可以被设置为标度上的95(或98、99或某个其他分数)。在该示例中，如果要由第一用户102(1)共享的内容超过第一阈值分数95，则该内容可以被禁止由第一用户102(1)按预期共享。另一方面，如果要由第一用户102(1)共享的内容小于第一阈值分数，则该内容可以按预期被共享和/或可以与一个或更多个附加的阈值侵犯性级别分数相比较。

例如，由机器学习模型114输出的侵犯性分数可以与侵犯性级别的第二阈值分数进行比较，该第二阈值分数可以指定计算设备104(1)是否向与内容相关联的第一用户102(1)显示通知。如果社交网络系统106确定要显示通知，则(由“3”指示的)操作116包括发送指令以基于侵犯性级别(例如，内容是侵犯性的可能性)输出通知。该通知可以向第一用户102(1)提供指示，即第一用户102(1)打算与其他用户102(2)-102(n)中的一个或更多个共享的内容可能会侵犯其他用户。在一些情况下，该通知可以基于内容是潜在侵犯性的而向第一用户102(1)提供关于如何继续进行的可选选项，诸如撤回或撤销内容共享的选项、编辑内容的选项、继续共享内容的选项等等。在一些示例中，通知可以在内容共享之前显示预定的时间量(例如，2秒、3秒、5秒、8秒、10秒等)。例如，当用户输入并提交内容时，如果社交网络系统106确定该内容满足或超过被发现具有侵犯性的阈值可能性(例如，上述第二阈值级别)，则社交网络系统106可以将该内容保持在待定状态，而不与其他用户共享该内容，直到预定时间量过去。此外，在一些示例中，计算设备104(1)显示通知的时间量可以基于侵犯性分数而变化，例如通过当侵犯性分数较高时在共享内容之前在更多时间内显示通知，和/或当侵犯性分数较低时在共享内容之前在更少时间内显示通知。

在(由“4”指示的)操作118，由社交网络系统106从计算设备104(1)接收对通知的响应。举几个示例，该响应可以包括计时器已经到期的指示、内容被从用户账户共享中撤回的指示、和/或内容已经被编辑的指示。在一些示例中，由第一用户102(1)共享的内容是待定的，并且对其他用户不可见，直到指示预定时间量的计时器到期，或者接收到对第一用户102(1)发布内容的批准。计时器可以与用户102(1)想要共享的内容是潜在侵犯性的通知相关联地显示。以这种方式，计时器向用户102(1)提供内容尚未被共享(例如，处于待定状态)的指示，同时还向用户提供在内容与其他用户102(2)-102(n)共享之前修改内容以使内容更加礼貌和/或撤回或撤销内容的机会。通过在显示通知的同时阻止内容被共享，通知用户102(1)该内容是潜在侵犯性的，并且向用户102(1)提供修改或撤回该内容的机会，用户102可以避免传播侵犯性内容的负面后果，并且向用户102提供社交网络系统106的更积极的用户体验。

在(由“5”指示的)操作120，社交网络系统106控制侵犯性内容是否与一个或更多个其他用户共享。在一些示例中，如果侵犯性分数指示内容很可能是侵犯性的，则社交网络系统106可以完全阻止该内容与其他用户102(2)-102(n)共享。如果社交网络系统106在没有来自用户102(1)的输入的情况下接收到呈现为由计算设备104(1)输出的通知的一部分的计时器已经到期的指示，则社交网络系统106可以与其他用户102(2)-102(n)共享由用户102(1)输入的内容。在一些示例中，对通知的响应可以包括对内容的修改，并且社交网络系统106可以基于接收到修改后的内容而继续与其他用户102(2)-102(n)共享内容，和/或可以响应于(例如，通过机器学习模型114)确定修改后的内容的侵犯性分数不满足阈值侵犯性级别而与其他用户102(2)-102(n)共享内容。在一些情况下，社交网络系统106可以接收指示用户102(1)响应于接收到通知而撤回内容的响应，并且因此社交网络系统可以阻止与其他用户102(2)-102(n)共享内容(例如，通过在共享内容之前从社交网络系统106的存储中删除内容)。

在一些示例中，社交网络系统106可以在用户102与社交网络系统106交互时向用户102提供隐私特征。在特定示例中，计算系统100的一个或更多个对象(例如，内容或其他类型的对象)可以与一个或更多个隐私设置相关联。一个或更多个对象可以存储在任何合适的计算系统或应用上或者以其他方式与任何合适的计算系统或应用相关联，这些计算系统或应用诸如例如社交网络系统106、客户端系统、第三方系统、社交网络应用、消息传递应用、照片共享应用或者任何其他合适的计算系统或应用。尽管本文讨论的示例是在在线社交网络的上下文中，但是这些隐私设置可以应用于任何其他合适的计算系统。关于对象或内容项目的隐私设置(或“访问设置”)可以以任何合适的方式——诸如例如，与对象相关联地、以授权服务器上的索引、以另一种合适的方式或其任何合适的组合——存储。对象的隐私设置可以指定如何可以在在线社交网络中访问、存储或以其他方式使用(例如，查看、共享、修改、复制、执行、显现(surfaced)或识别)该对象(或与该对象相关联的特定信息)。当对象的隐私设置允许特定用户或其他实体访问该对象时，该对象可以被描述为相对于该用户或其他实体是“可见的”。作为示例而不是作为限制，在线社交网络的用户可以指定关于用户简档页面的隐私设置，该隐私设置识别可以访问在用户简档页面上的工作经历信息的一组用户，因而排除其他用户访问该信息。

在特定示例中，对象的隐私设置可以指定不应被允许访问与该对象相关联的某些信息的用户或其他实体的“阻止列表(blocked list)”和/或“限制列表”。在特定示例中，阻止列表可以包括第三方实体。阻止列表或限制列表可以指定对象对其不可见的一个或更多个用户或实体。作为示例而非限制，用户可以指定一组不能访问与该用户相关联的相册的用户，从而排除这些用户访问相册(同时也可能允许不在指定用户组内的某些用户访问相册)。在特定示例中，隐私设置可以与特定社交图元素相关联。社交图元素(例如节点或边)的隐私设置可以指定可以如何使用在线社交网络来访问社交图元素、与社交图元素相关联的信息、或与社交图元素相关联的对象。作为示例而非限制，对应于特定照片的特定概念节点可以具有隐私设置，该隐私设置指定照片只能由照片中标记的用户和照片中标记的用户的朋友访问。在特定示例中，隐私设置可以允许用户选择加入或选择退出使其内容、信息或动作被社交网络系统存储/记录或与其他系统(例如，第三方系统)共享。尽管本公开描述了以特定方式使用特定隐私设置，但是本公开设想了以任何合适的方式使用任何合适的隐私设置。

在特定示例中，隐私设置可以基于社交图的一个或更多个节点或边。可以针对社交图的一个或更多个边或边类型、或者针对社交图的一个或更多个节点或节点类型指定隐私设置。应用于连接两个节点的特定边的隐私设置可以控制对应于节点的两个实体之间的关系对于在线社交网络的其他用户是否可见。类似地，应用于特定节点的隐私设置可以控制对应于该节点的用户或概念对于在线社交网络的其他用户是否可见。作为示例而非限制，用户102(1)可以向社交网络系统106共享对象。该对象可以与通过边连接到用户102(1)的用户节点的概念节点相关联。用户102(1)可以指定应用于连接到对象的概念节点的特定边的隐私设置，或者可以指定应用于连接到概念节点的所有边的隐私设置。在一些示例中，用户102(1)可以共享特定对象类型的一组对象(例如，一组图像)。用户102(1)可以将关于与用户102(1)相关联的具有该特定对象类型的所有对象的隐私设置指定为具有特定的隐私设置(例如，指定由用户102(1)发布的所有图像仅对用户的朋友和/或在图像中标记的用户可见)。

在特定示例中，社交网络系统106可以(例如，在网页、模块、一个或更多个对话框或任何其他合适的界面内)向用户102(1)呈现“隐私向导”，以帮助用户指定一个或更多个隐私设置。隐私向导可以显示指令、合适的隐私相关信息、当前隐私设置、用于接受来自第一用户的指定隐私设置的改变或确认的一个或更多个输入的一个或更多个输入字段、或其任何合适的组合。在特定示例中，社交网络系统106可以向用户102(1)提供“仪表板”功能，其可以向用户102(1)显示用户102(1)的当前隐私设置。仪表板功能可以在任何适当的时间向用户102(1)显示(例如，在来自用户102(1)调用仪表板功能的输入之后，在特定事件或触发动作发生之后)。仪表板功能可以允许用户102(1)在任何时间以任何合适的方式修改用户的一个或更多个当前隐私设置(例如，将用户102(1)重定向到隐私向导)。

与对象相关联的隐私设置可以指定允许访问或访问拒绝的任何合适的粒度。作为示例而不是作为限制，可以为特定用户(例如，只有我、我的室友和我的老板)、在特定分离度内的用户(例如，朋友，朋友的朋友)、用户团体(例如，游戏俱乐部、我的家人)、用户网络(例如，特定雇主的雇员、特定大学的学生或校友)、所有用户(“公众”)、无用户(“私人的”)、第三方系统的用户、特定应用(例如，第三方应用、外部网站)、其他适当的实体、或其任何合适组合来指定访问或拒绝访问。尽管本公开描述了允许访问或拒绝访问的特定粒度，但是本公开考虑了允许访问或拒绝访问的任何合适粒度。

在特定示例中，社交网络系统106的一个或更多个服务器可以是用于实施隐私设置的授权/隐私服务器。响应于来自用户102(1)(或其他实体)的对存储在数据储存器中的特定对象的请求，社交网络系统106可以向数据储存器发送对该对象的请求。该请求可以识别与该请求相关联的用户102(1)，并且只有在授权服务器基于与该对象相关联的隐私设置确定用户102(1)被授权访问该对象时，该对象才可以被发送给用户102(1)(或者用户的客户端系统)。如果请求用户未被授权访问该对象，则授权服务器可以阻止所请求的对象从数据储存器中被检索，或者可以阻止所请求的对象被发送给用户。在搜索-查询上下文中，只有当查询用户被授权访问对象时，例如，如果对象的隐私设置允许它显现给查询用户、被查询用户发现或以其他方式对查询用户可见，对象才可以被提供作为搜索结果。在特定示例中，对象可以表示通过用户的动态消息(newsfeed)对用户可见的内容。作为示例而非限制，一个或更多个对象对于用户的“趋势”页面可以是可见的。在特定示例中，对象可以对应于特定用户。该对象可以是与特定用户相关联的内容，或者可以是特定用户的存储在社交网络系统106或其他计算系统上的账户或信息。作为示例而非限制，用户102(1)可以通过在线社交网络的“你可能认识的人”功能或者通过查看用户102(1)的朋友列表来查看在线社交网络的一个或更多个其他用户102(2)…102(n)。作为示例而非限制，用户102(1)可以指定他们不希望在他们的动态消息或朋友列表中看到与特定的其他用户(例如，用户102(2))相关联的对象。如果对象的隐私设置不允许它对用户102(1)显现、被用户102(1)发现或对用户102(1)可见，则可以从搜索结果中排除该对象。尽管本公开描述了以特定方式实施隐私设置，但是本公开设想了以任何合适的方式实施隐私设置。

在特定示例中，与用户相关联的相同类型的不同对象可具有不同的隐私设置。与用户相关联的不同类型的对象也可以具有不同类型的隐私设置。作为示例而非限制，用户102(1)可以指定用户的状态更新是公开的，但是用户共享的任何图像仅对在线社交网络上的用户的朋友可见。在一些示例中，用户102(1)可以为不同类型的实体(例如个人用户、朋友的朋友、关注者、用户组或公司实体)指定不同的隐私设置。在一些示例中，用户102(1)可以指定可以观看由用户102(1)发布的视频的一组用户，同时防止视频对用户的雇主可见。在特定示例中，可以为不同的用户组或用户人口统计提供不同的隐私设置。作为示例而非限制，用户102(1)可以指定与用户102(1)上同一所大学的其他用户可以观看用户的照片，但是作为用户102(1)的家庭成员的其他用户不可以观看那些相同的照片。

在特定示例中，社交网络系统106可以为特定对象类型的每个对象提供一个或更多个默认隐私设置。设置为默认的对象的隐私设置可以由与该对象相关联的用户来改变。作为示例而非限制，用户102(1)发布的所有图像可以具有仅对第一用户的朋友可见的默认隐私设置，并且对于特定图像，用户102(1)可以将图像的隐私设置改变为对朋友和朋友的朋友可见。

在特定示例中，隐私设置可以允许用户102(1)指定(例如，通过选择退出，通过不选择加入)社交网络系统106是否可以出于任何目的接收、收集、记录或存储与用户102(1)相关联的特定对象或信息。在特定示例中，隐私设置可以允许用户102(1)指定特定应用或进程是否可以访问、存储或使用与用户相关联的特定对象或信息。隐私设置可以允许用户102(1)选择加入或选择退出使对象或信息被特定应用或进程访问、存储或使用。社交网络系统106可以访问这样的信息，以便向用户102(1)提供特定的功能或服务，而社交网络系统106不能出于任何其他目的访问该信息。在访问、存储或使用这样的对象或信息之前，社交网络系统106可以在允许任何这样的动作之前提示用户102(1)提供隐私设置，该隐私设置指定哪些应用或进程(如果有的话)可以访问、存储或使用对象或信息。作为示例而非限制，用户102(1)可以经由与在线社交网络相关的应用(例如，消息传递app)向用户102(2)传输消息，并且可以指定这样的消息不应由社交网络系统106存储的隐私设置。

在特定示例中，用户102(1)可以指定社交网络系统106是否可以访问、存储或使用与用户102(1)相关联的特定类型的对象或信息。作为示例而非限制，用户102(1)可以指定用户102(1)通过社交网络系统106发送的图像不可以由社交网络系统106存储。在一些示例中，用户102(1)可以指定社交网络系统106不可以存储从用户102(1)发送给另一用户102(2)的消息。在一些情况下，用户102(1)可以指定经由特定应用发送的所有对象可以由社交网络系统106保存。

在特定示例中，隐私设置可以允许用户102(1)指定是否可以从特定客户端系统或第三方系统访问与用户102(1)相关联的特定对象或信息。隐私设置可以允许用户102(1)选择加入或者选择退出使对象或信息被从特定设备(例如，用户的智能电话上的电话簿)、从特定应用(例如，消息传递app)或从特定系统(例如，电子邮件服务器)访问。社交网络系统106可以提供关于每个设备、系统或应用的默认隐私设置，和/或可以提示用户102(1)为每个上下文指定特定的隐私设置。作为示例而非限制，用户102(1)可以利用社交网络系统106的位置服务特征来提供关于用户102(1)附近的餐馆或其他地方的推荐。用户102(1)的默认隐私设置可以指定社交网络系统106可以使用从用户102(1)的计算设备104(1)提供的位置信息来提供基于位置的服务，但是社交网络系统106不可以存储用户102(1)的位置信息或者将其提供给任何第三方系统。用户102(1)然后可以更新隐私设置，以允许第三方图像共享应用使用位置信息，以便对照片进行地理标记。

在特定示例中，隐私设置可以允许用户参与在线社交网络上对象的短暂共享。短暂共享是指在有限的时间段内共享对象(如帖子、照片)或信息。可以通过时间或日期来指定对对象或信息的访问或拒绝访问。作为示例而非限制，用户可以指定由用户上传的特定图像在接下来的一周内对用户的朋友可见，在这段时间之后该图像对于其他用户可不再是可访问的。在一些示例中，公司可以在正式发布之前发布与产品发行相关的内容，并且规定该内容在产品发布之后才可以对其他用户可见。

在特定示例中，对于具有指定它们是短暂的隐私设置的特定对象或信息，社交网络系统106可以限制其对对象或信息的访问、存储或使用。社交网络系统106可以临时访问、存储或使用这些特定对象或信息，以便于与对象或信息相关联的用户的特定动作，并且可以随后删除对象或信息，如相应的隐私设置所指定的。作为示例而非限制，用户102(1)可以向用户102(2)传输消息，并且社交网络系统106可以将该消息临时存储在数据储存器中，直到用户102(2)已经查看或下载了该消息，此时社交网络系统106可以从数据储存器中删除该消息。在一些示例中，继续先前的示例，消息可以被存储指定的时间段(例如，2周)，在该时间段之后，社交网络系统106可以从数据储存器中删除该消息。

在特定示例中，对隐私设置的改变可能会追溯生效，这会影响改变前共享的对象和内容的可见性。作为示例而非限制，用户102(1)可以共享第一图像，并指定第一图像对所有其他用户公开。稍后，用户102(1)可以指定由用户102(1)共享的任何图像应该仅对第一用户组可见。社交网络系统106可以确定该隐私设置也适用于第一图像，并且使得第一图像仅对第一用户组可见。在特定示例中，隐私设置的改变可只对将来生效。继续上面的示例，如果用户102(1)改变隐私设置，然后共享第二图像，则第二图像可以仅对第一用户组可见，但是第一图像可以保持对所有用户可见。在特定示例中，响应于改变隐私设置的用户动作，社交网络系统106可以进一步提示用户指示用户是否想要追溯性地应用对隐私设置的改变。在特定示例中，用户对隐私设置的改变可以是特定于一个对象的一次性改变。在特定示例中，用户对隐私的改变可以是针对与用户相关联的所有对象的全局改变。

在特定示例中，社交网络系统106可以响应于与用户102(1)相关联的触发动作而确定用户102(1)可能想要改变一个或更多个隐私设置。触发动作可以是在线社交网络上的任何合适的动作。作为示例而非限制，触发动作可以是在线社交网络的第一用户和第二用户之间的关系的改变(例如，与用户“解除好友关系”、改变用户之间的关系状态等)。在特定示例中，在确定触发动作已经发生时，社交网络系统106可以提示用户102(1)改变关于与用户102(1)相关联的对象的可见性的隐私设置。该提示可以将用户102(1)重定向到用于编辑关于与触发动作相关联的一个或更多个实体的隐私设置的工作流过程。与用户102(1)相关联的隐私设置可以仅响应于来自用户102(1)的明确输入而被改变，并且未经用户102(1)的批准不得被改变。作为示例而非限制，工作流过程可以包括向用户102(1)提供关于用户102(2)或一组用户的当前隐私设置(例如，从特定对象中取消对用户102(1)或用户102(2)的标记，改变特定对象相对于用户102(2)或一组用户的可见性)，以及从用户102(1)接收基于本文所述的任何方法来改变隐私设置的指示，或者保持现有的隐私设置的指示。

在特定示例中，用户可能需要在允许用户在在线社交网络上执行特定动作之前提供隐私设置的验证，或者在改变特定隐私设置之前提供验证。当执行特定动作或改变特定隐私设置时，可以向用户呈现提示以提醒用户他或她的当前隐私设置，并要求用户验证关于特定动作的隐私设置。此外，在进行特定动作之前，用户可能需要提供确认、双重确认、认证或其他合适类型的验证，并且在提供这种验证之前，动作不可能完成。作为示例而非限制，用户的默认隐私设置可以指示一个人的关系状态对所有用户都是可见的(即，“公开”)。然而，如果用户改变他或她的关系状态，社交网络系统106可以确定这样的动作可能是敏感的，并且可以在继续之前提示用户确认他或她的关系状态是否应该保持公开。在一些示例中，用户的隐私设置可以指定用户的帖子仅对用户的朋友可见。然而，如果用户将他或她的帖子的隐私设置改变为公开的，则社交网络系统106可以向用户提示用户当前针对帖子的隐私设置仅对朋友可见的提醒，以及该改变将使用户的所有过去的帖子对公众可见的警告。然后，在继续进行隐私设置的改变之前，用户可能需要提供第二次验证、输入认证凭证或提供其他类型的验证。在特定示例中，用户可能需要定期提供隐私设置的验证。可以基于经过的时间或用户动作的数量定期向用户发送提示或提醒。作为示例而非限制，社交网络系统106可以每六个月或每十次照片发布后向用户发送提醒以确认他或她的隐私设置。在特定示例中，隐私设置还可以允许用户基于每个请求来控制对对象或信息的访问。作为示例而非限制，每当第三方系统试图访问与用户相关联的信息时，社交网络系统106可以通知用户，并在继续之前要求用户提供应该允许访问的验证。

示例用户界面

图2A-图5是示出示例用户界面的示意图，该示例用户界面可用于实现本文描述的用于通知用户用户想要共享的内容可能是潜在侵犯性的技术。界面和/或通知可以由社交网络系统(例如，社交网络系统106)的计算设备生成，并被传输到一个或更多个用户计算设备(例如，计算设备104)用于呈现，和/或界面可以由一个或更多个用户计算设备至少部分基于从社交网络系统接收的指令来生成。如上所述，本节中描述的界面可以但不需要在系统100的环境中实现。

图2A-2C示出了一个示例，其中已经指示响应于在第二用户的订阅源中共享的照片的帖子而由第一用户(在该示例中为“anon3”)共享评论形式的侵犯性内容。图2A所示的第一用户界面200a对应于第二用户的订阅源或动态中的评论，因为它将出现在与第二用户的账户相关联的计算设备上。在该示例中，第一用户(anon3)已经响应于第二用户的帖子输入了侵犯性评论202(“你真差劲(You suck)”)，并且在用户界面中选择了“发布”指示器204来共享该评论。评论202与第二用户相关联，因为它是对第二用户发布的帖子的响应。如本文所使用的，除非另有说明，术语“选择(select)”或“选择(selection)”意味着触摸、力触摸(force touch)、多重触摸、任何方向的滑动、语音输入、鼠标输入、触笔输入或设计成与用户界面控件交互的任何其他输入。

在传统的评论发布技术中，在第一用户选择用户界面200a中的发布指示器204时，评论202将不仅与第二用户共享，而且还将与第二用户在社交媒体平台上的任何关注者(例如，已经发布评论的其他用户，“anon1”和“anon2”)共享，这些关注者随后可以查看第二用户的帖子。因此，在传统社交媒体平台中共享侵犯性评论可能会在第二用户查看评论时造成情感伤害，并且在第二用户的关注者也查看评论时造成尴尬。

然而，本文描述的技术在评论202被共享之前检测到潜在的侵犯性评论202，并且向第一用户提供修改评论和/或取消共享评论的能力。例如，当第一用户选择发布指示器204时，评论202可以被输入到被训练为检测侵犯性内容的机器学习模型中，如关于图1所描述的。机器学习模型可以输出评论202的侵犯性分数，并且该分数可以与对应于评论202的侵犯性级别的阈值进行比较。如果分数大于(或在一些示例中小于)阈值分数，则图1的社交网络系统106可以向第一用户的计算设备输出指令，以在与第二用户和第二用户的关注者共享评论202之前显示与评论202相关联的通知206。

在一些示例中，通知206可以包括诸如“其他人可能会觉得这有侵犯性”的文本，警告第一用户其他人(包括第二用户)可能如何感知第一用户打算共享的评论。另外，在示例中，呈现通知206的指令可以包括由第一用户的计算设备呈现通知206的持续时间(例如，3秒、5秒、8秒等)。为了使第一用户知道将显示通知206的持续时间，还可以(例如，在通知206附近)显示诸如进度条208的视觉指示器，其可视地指示显示通知206的经过的时间和/或剩余的持续时间。还考虑显示通知206的经过的时间和/或剩余时间的其他视觉指示器，例如数字或模拟计时器、进度轮、沙漏、“灰化”其他评论或用户界面的一部分(例如，类似于进度条在屏幕上的进度)等。此外，在一些示例中，社交网络系统可以在显示通知206的持续时间内阻止评论202的发布，例如通过向第一用户的计算设备发送指令，和/或阻止评论的内容与社交网络应用中的第二用户的帖子相关联。

虽然没有在图2A-2C中明确示出，但是在一些情况下，评论202可以响应于持续时间过去而被发布，从而与第二用户和/或第二用户的关注者共享评论。通过在持续时间已经过去之后共享评论202，本文描述的技术给予第一用户重新考虑共享潜在侵犯性内容的机会，但是也可以允许在第一用户不必在共享评论的过程中执行附加动作(例如，通过肯定地选择附加控件来发布评论)的情况下共享评论202。然而，考虑这样的示例，其中可要求第一用户选择肯定控件(affirmative control)来继续发布潜在的侵犯性评论。

此外，社交网络系统可以向第一用户的计算设备发送指令，以呈现可用于撤销评论202的控件210。在一些情况下，控件210可以被包括作为通知206的一部分和/或显示在通知206附近。在一个示例中，控件210当被选择时可以通过删除评论202的内容来取消共享评论202。在一些示例中，控件210的选择可以导致评论202的内容被返回到可编辑字段212(例如，文本编辑字段、照片编辑字段等)，其中第一用户可以修改和/或删除评论202中包括的内容。以这种方式，第一用户在被通知其他用户可能发现评论202是侵犯性的之后被提供有使评论更加礼貌的机会。

在一些示例中，通知206还可以包括控件214(在这种情况下，由“了解更多”表示)，该控件可用于向第一用户提供关于通知206的附加信息。在该示例中，图2B的第二用户界面200b描绘了第一用户通过触摸输入选择通知206的控件214。作为第一用户选择通知206的控件214的结果，图2C的第三用户界面200c可以显示在第一用户的计算设备上。在示例第三用户界面200c中，作为选择控件214的结果，可以显示消息216，其内容为“我们要求人们重新思考那些看起来与其他已经报告的评论相似的评论。如果我们犯了错误，请告诉我们。”。可以显示其他消息以向第一用户提供关于通知206为什么被呈现给第一用户的附加信息，诸如评论202从机器学习模型接收的侵犯性分数的指示、已经被报告为侵犯性的其他评论的示例、可以替换评论202的更礼貌的评论的提示(例如，可由用户选择以自动替换评论202)等等。在一些情况下，消息216可以包括可由第一用户选择的控件218(在这种情况下是消息216的“请告诉我们”部分)，控件218当被第一用户选择时可以向社交网络系统提供反馈，即第一用户不将评论202解释为侵犯性的。这种反馈可用于改进机器学习模型的参数，以对未来的侵犯性内容做出更准确的预测。

图3A-3C示出了可用于呈现通知的示例界面，该通知是可选择的，以在潜在侵犯性动态被第一用户共享之前控制潜在侵犯性动态的显示。图3A所示的第一用户界面300a对应于由第一用户编写的动态，其包括图像302、文本覆盖304和贴纸306。其他内容可以被包括在动态中，如以上关于图1所描述的。动态中包括的图像302可以是第二用户的图像，第一用户可打算与第一用户的关注者共享关于第二用户的侵犯性动态。在一些示例中，第二用户可以是社交网络应用上的第一用户的关注者，尽管设想了第二用户不是第一用户的关注者的示例。在第二用户不是第一用户的关注者的情况下，第二用户可能没有机会在第一用户的其他关注者观看该动态之前看见该动态，因此可能没有机会在其他用户看到该动态之前请求撤回该动态(例如，通过直接请求第一用户和/或向社交网络系统发送请求以移除该动态)。

第一用户界面300a可以包括用于与第一用户的不同群组的关注者共享动态的可选控件，诸如“你的动态(Your Story)”控件308、“密友”控件310和/或“发送到”控件312。在示例中，你的动态控件308可以是用于与第一用户的所有关注者共享动态的单输入控件，密友控件310可以是用于与第一用户的关注者的预选组共享动态的单输入控件，并且发送到控件312可以在被选择时导致呈现附加用户界面，第一用户可以在其上选择与之共享动态的关注者。在第一用户界面300a中，你的动态控件308已经被第一用户选择，如粗体图标所示。图3B所示的第二用户界面300b对应于图3A的第一用户界面300a中描绘的动态，但是在第二用户界面300b中，发送到控件312已经被第一用户选择，如粗体图标所示。作为第一用户选择发送到控件312的结果，图3C的第三用户界面300c可以由第一用户的计算设备显示，其中第一用户可以从第一用户的关注者中选择将与谁共享动态。

在示例中，社交网络系统可以在动态被共享之前检测潜在的侵犯性动态，并且向第一用户提供修改动态和/或取消共享动态的能力。例如，当第一用户选择你的动态控件308时，该动态可以被输入到被训练为检测侵犯性内容的机器学习模型中，如关于图1所描述的。类似地，当第一用户选择发送到控件312，随后是第三用户界面300c中列出的第一用户的一个或更多个关注者时，该动态可以被输入到被训练为检测侵犯性内容的机器学习模型中，如关于图1所描述的。机器学习模型可以输出动态的侵犯性分数，并且该分数可以与对应于动态的侵犯性级别的阈值进行比较。如果分数大于(或小于)阈值分数，则图1的社交网络系统106可以向第一用户的计算设备输出指令，以在根据相应用户界面的不同共享技术与第一用户的关注者共享动态之前，在第一用户界面300a和/或第三用户界面300c中显示与动态相关联的通知314。因为与评论不同，动态可能不是固有地与另一用户的账户相关联，所以机器学习模型可以确定该动态是否包括与该动态相关联的第二用户账户的指示(例如，通过第一用户在该动态中“标记”第二用户)。当确定动态是否包括欺凌内容时，可以考虑确定动态是否包括第二用户账户的指示，例如，如果另一用户被标记，则通过增加动态的侵犯性分数。

机器学习模型可以采取多种形式，如关于图1的机器学习模型114所讨论的。例如，举几个示例，机器学习模型可以是经训练以识别动态中潜在侵犯性图像或视频的图像分类器、经训练以识别动态中潜在侵犯性声音或语音的音频分类器和/或经训练以识别动态中潜在侵犯性文本(包括使用OCR检测到的文本)的文本分类器。在动态包括不同类型的内容(例如，图像、声音、文本覆盖、标签、GIF等)的情况下，侵犯性分数可以基于组合与包括在动态中的每个内容类型的侵犯性相关联的各个分数(例如，通过求和、加权平均等)。

在某些情况下，可通过机器学习模型识别的潜在侵犯性内容可包括不同的内容类别，如欺凌内容、仇恨言论内容、裸体内容或其他内容。机器学习模型可以确定动态中包括的内容(例如，图像302、文本覆盖304或贴纸306中的一个或更多个)是已知侵犯性内容类别的内容类别。基于确定该动态是已知侵犯性内容类别的内容类别，社交网络系统可以相应地定制通知314。例如，如果动态被确定为包括针对社交网络应用的另一特定用户(例如，“anon2”)的欺凌内容，则通知314可以被定制为内容是“以这种方式对待其他用户是不合适的。你想改变你的关于anon2的动态吗？”或者诸如此类。另一方面，如果动态被确定为包括裸体内容，则通知314可以被定制为内容是“你的图像可能包含不符合我们的社区准则的内容。你想要选择不同的图像来共享？”。还考虑了其他定制的通知示例。

类似于以上关于图2A-2C的讨论，在一些示例中，通知314可以包括诸如“其他人可能会觉得这有侵犯性”的文本，警告第一用户其他用户可能如何感知第一用户打算共享的动态。另外，在示例中，呈现通知314的指令可以包括由第一用户的计算设备在第一用户界面300a或第三用户界面300c中呈现通知314的持续时间(例如，3秒、5秒、8秒等)。为了使第一用户知道将显示通知314的持续时间，还可以(例如，在通知314附近)显示进度条318或其他可视计时器指示，其可视地指示显示通知314的经过的时间和/或剩余持续时间。此外，在一些示例中，社交网络系统可以在显示通知314的持续时间内阻止共享动态，例如通过向第一用户的计算设备发送指令来阻止共享动态。

虽然没有在图3A-3C中明确示出，但是在一些情况下，响应于持续时间过去，可以根据对你的动态控件308、密友控件310和/或发送到控件312的选择接着是与之共享动态的所选择用户来与第一用户的关注者共享该动态。通过在一持续时间过去之后共享动态，本文描述的技术给第一用户提供了重新考虑共享潜在侵犯性内容的机会，但是可以允许在第一用户不必在共享动态的过程中执行附加动作(例如，通过肯定地选择附加控件来共享动态)的情况下共享动态。然而，考虑这样的示例，其中可要求第一用户选择肯定控件来继续发布潜在的侵犯性动态。

此外，社交网络系统可以向第一用户的计算设备发送指令，以呈现控件316，该控件316可用于在动态与其他用户共享之前撤销动态的共享。在一些情况下，控件316可以被包括作为通知314的一部分和/或显示在通知314附近。在一个示例中，控件316在被选择时，可以通过删除动态的内容来取消该动态的共享。在一些示例中，控件316的选择可以使得动态返回到可编辑状态，在该状态中第一用户可以修改和/或删除包括在动态中的内容。以这种方式，第一用户在被告知其他用户可能会觉得该动态具有侵犯性之后，被提供有机会使该动态更加礼貌。在一些示例中，通知314还可以包括控件(在这种情况下，由“了解更多”表示)，该控件可用于向第一用户提供关于通知314的附加信息。控件可以包括类似于图2A/B的控件214的功能。

在某些情况下，可以使用多个阈值来确定是否以及如何共享动态。例如，用于确定是否显示通知314的阈值分数可以是与动态的侵犯性分数相比较的第一阈值分数。此外，可以将动态的侵犯性分数与第二阈值分数进行比较，该第二阈值分数可以阻止内容被共享，而无需首先通知用户。在一些示例中，第二阈值分数可以是比第一阈值分数更高的阈值分数(或更低的阈值分数)，对应于更具侵犯性的内容。换句话说，可以完全防止被认为更具侵犯性的内容被共享，而允许判断有侵犯性的内容可以提示通知314显示给第一用户，以允许第一用户决定是否继续共享该内容。

在一些示例中，可以(例如，串联)使用多个机器学习模型来确定是否以及如何共享动态。例如，第一机器学习模型可以被本地包括在第一用户的计算设备上的应用中，该第一机器学习模型执行对动态的侵犯性级别的初始评估。第一机器学习模型可以利用有限的处理资源来确定潜在的侵犯性内容，但是可以具有比远程定位的更健壮的机器学习模型更快地提供通知314的优点。在由第一机器学习模型评估之后，动态可以由第一用户与第一用户的关注者共享。然而，此外，在由第一机器学习模型进行评估之后，第二更健壮的机器学习模型(例如，在社交网络系统中远离第一服务器的计算设备定位的机器学习模型)也可以针对侵犯性内容分析动态。如果第二机器学习模型检测到该动态的侵犯性分数超过阈值侵犯性级别，则社交网络系统可以根据本文所述的技术取消该动态的共享，向第一用户的计算设备提供指令，通知第一用户该内容是侵犯性的，向第一用户提供编辑和/或移除该动态的控件，等等。

图4示出了可用于呈现通知的示例界面400，该通知是可选择的，以在潜在侵犯性消息被共享之前控制潜在侵犯性消息的显示。该消息可以是消息传递或社交媒体应用中的直送消息、文本消息、电子邮件、即时消息或任何其他消息类型。示例界面400包括可编辑文本输入字段，在其中第一用户已经输入“你真差劲！！”作为要与第二用户(例如，“anon8”)共享的直送消息402。在一些示例中，其他内容类型可以被包括在直送消息中，诸如图像、视频、表情符号等等，如以上关于图1所描述的。

用户界面400可以包括可选控件404，用于与第二用户共享直送消息402。在示例中，社交网络系统可以在与第二用户共享直送消息之前检测潜在的侵犯性直送消息402，并且向第一用户提供修改直送消息和/或取消共享直送消息的能力。例如，当第一用户选择控件404时，直送消息可以被输入到被训练为检测侵犯性内容的机器学习模型中，例如关于图1所描述的。机器学习模型可以输出直送消息的侵犯性分数，并且该分数可以与对应于直送消息的侵犯性级别的阈值进行比较。如果分数大于(或小于)阈值分数，则图1的社交网络系统106可以向第一用户的计算设备输出指令，以在与第二用户共享直送消息之前，在用户界面400中显示与直送消息402相关联的通知406。

如关于图1的机器学习模型114所讨论的，机器学习模型可以采取多种形式。例如，举几个示例，机器学习模型可以是经训练以识别直送消息402中的潜在侵犯性图像或视频的图像分类器、经训练以识别直送消息402中的潜在侵犯性声音或语音的音频分类器、和/或经训练以识别直送消息402中的潜在侵犯性文本(包括使用OCR检测到的文本)的文本分类器。在直送消息402包括不同类型的内容(例如，图像、声音、文本覆盖、基于文本的消息等)的情况下，侵犯性分数可以基于组合与直送消息402中包括的每个内容类型的侵犯性相关联的各个分数(例如，通过求和、加权平均等)。

在某些情况下，可通过机器学习模型识别的潜在侵犯性内容可包括不同的内容类别，如欺凌内容、仇恨言论内容、裸体内容或其他内容。机器学习模型可以确定直送消息402中包括的内容是已知侵犯性内容类别的内容类别。基于确定直送消息402是已知侵犯性内容类别中的内容类别，社交网络系统可以相应地定制通知406，例如关于图3A-3C所描述的。

类似于以上关于图2A-2C的讨论，在一些示例中，通知406可以包括诸如“其他人可能会觉得这有侵犯性”的文本，警告第一用户其他用户可能如何感知第一用户打算共享的直送消息402。另外，在示例中，呈现通知406的指令可以包括由第一用户的计算设备在用户界面400中呈现通知406的持续时间(例如，3秒、5秒、8秒等)。为了使第一用户知道将显示通知406的持续时间，还可以(例如，在通知406附近)显示进度条408或其他可视计时器指示，其可视地指示显示通知406的经过的时间和/或剩余持续时间。另外，在一些示例中，社交网络系统可以在显示通知406的持续时间内阻止与第二用户共享直送消息402，例如通过向第一用户的计算设备发送指令以阻止直送消息402被共享。

虽然没有在图4中明确示出，但是在一些情况下，响应于持续时间过去，可以与第二用户共享直送消息402。通过在一持续时间过去之后共享直送消息402，本文描述的技术给第一用户提供了重新考虑共享潜在侵犯性内容的机会，但是可以允许在第一用户不必在共享直送消息402的过程中执行附加动作(例如，通过肯定地选择附加控件来共享直送消息)的情况下共享直送消息402。然而，考虑这样的示例，其中可要求第一用户选择肯定控件来继续发布潜在的侵犯性直送消息402。

此外，社交网络系统可以向第一用户的计算设备发送指令，以呈现控件410，该控件可用于在直送消息402与第二用户共享之前撤销对直送消息402的共享。在一些情况下，控件410可以被包括作为通知406的一部分和/或显示在通知406附近。在一个示例中，控件410当被选择时可以通过删除直送消息402的内容来取消直送消息402的共享。在一些示例中，控件410的选择可以使得直送消息402返回到可编辑字段，在其中第一用户可以修改和/或删除直送消息402中包括的内容。以这种方式，第一用户在被通知第二用户可能发现直送消息402是侵犯性的之后，被提供有使直送消息402更加礼貌的机会。在一些示例中，通知406还可以包括可用于向第一用户提供关于通知406的附加信息的控件(在这种情况下，由“了解更多”表示)，并且该控件可以包括类似于图2A/B的控件214的功能。

在一些情况下，如以上关于图3A-3C所讨论的，可以使用多个阈值来确定是否以及如何共享直送消息。例如，可以完全防止被认为更具侵犯性的内容被共享，而允许判断有侵犯性的内容可以提示向第一用户显示通知406，以允许第一用户决定是否继续共享该内容。另外，如关于图3A-3C所描述的，可以(例如，串联)使用多个机器学习模型来确定是否以及如何共享直送消息。例如，第一机器学习模型可以被本地包括在第一用户的计算设备上的应用中，该第一机器学习模型执行对直送消息的侵犯性级别的初始评估，而更健壮的机器学习模型可以更彻底地评估内容，并根据所描述的技术取消内容的共享，或者向第一用户呈现内容可能是侵犯性的通知。

图5示出了可用于呈现通知的示例界面500，该通知是可选择的，以在潜在侵犯性简档帖子被共享之前控制潜在侵犯性简档帖子的显示。示例界面500包括图像502，当与第一用户的关注者共享时，该图像将出现在第一用户的关注者的订阅源中。可以在显示用户界面500之前选择、捕捉和/或编辑图像502，并且为了清楚起见，这里没有描绘这些先前的用户界面。示例界面500还包括文本字段504，在文本字段504中第一用户已经输入“你真差劲！！”，其可以作为简档帖子的一部分出现在图像502附近。在一些示例中，其他内容类型可以被包括在简档帖子中，诸如多个图像、视频、表情符号等等，如以上关于图1所描述的。

此外，示例界面500包括标签字段506，第一用户可以在其中选择一个或更多个其他用户来在简档帖子中被标记。在这种情况下，第一用户在简档帖子中标记了第二用户(“anon9”)。在一些示例中，当第二用户在简档帖子中被标记时，其他用户可以查看第二用户已经在帖子中被标记(例如，通过“单次点击”简档帖子)，并且其他用户可以查看作为第二用户的简档的一部分的用户已经被标记的帖子。如果与简档帖子相关联的图像502和/或文本字段504包含侵犯性内容，并且第二用户已经在简档帖子中被第一用户标记，则第二用户可能会受到上述不良后果的影响，例如负面情绪、尴尬等。

用户界面500也可以包括位置标签字段508，第一用户可以在其中选择对应于简档帖子的位置。通常，用户喜欢共享简档帖子的图像或视频被捕获的位置，以给出地标、餐馆、商店等的参考。然而，在某些情况下，用户可以输入定制的、虚构的位置和/或实际位置的“双关语(play on words)”，当在整个简档帖子的上下文中考虑(或单独考虑)时，这可能导致具有侵犯性。在这种情况下，第一用户在位置标签字段508中输入的位置是“什么不差劲？”，这可能增加简档帖子的整体侵犯性。

此外，用户界面500包括可选控件510，其允许用户在一个或更多个其他社交媒体平台上自动共享简档帖子。在一些示例中，其他社交媒体平台可能没有监控侵犯性内容的适当的系统。因此，通过采用本文描述的技术，不仅可以在使用中的社交媒体应用上，而且也可以在其他社交媒体平台上，扣留侵犯性内容和/或编辑侵犯性内容以使其更加礼貌。

用户界面500还可以包括可选控件512，用于与第一用户的关注者共享简档帖子。在示例中，社交网络系统可以在与第一用户的关注者共享简档帖子之前检测潜在的侵犯性简档帖子，并且向第一用户提供修改简档帖子和/或取消共享简档帖子的能力。例如，当第一用户选择控件512时，简档帖子可以被输入到被训练为检测侵犯性内容的机器学习模型中，例如关于图1所描述的。机器学习模型可以输出简档帖子的侵犯性分数，并且该分数可以与对应于简档帖子的侵犯性级别的阈值进行比较。如果分数大于(或小于)阈值分数，则图1的社交网络系统106可以向第一用户的计算设备输出指令，以在与第一用户的关注者共享简档帖子之前，在用户界面500中显示与简档帖子相关联的通知514。

机器学习模型可以采取多种形式，如关于图1的机器学习模型114所讨论的。例如，举几个示例，机器学习模型可以是被训练来识别简档帖子中的潜在侵犯性图像或视频的图像分类器、被训练来识别简档帖子中的潜在侵犯性声音或语音的音频分类器、和/或被训练来识别简档帖子中的潜在侵犯性文本(包括使用OCR检测到的文本)的文本分类器。在简档帖子包括不同类型的内容(例如，图像、声音、视频、文本覆盖、文本字段、用户标签、位置标签等)的情况下，侵犯性分数可以基于组合与简档帖子中包括的每个内容类型的侵犯性相关联的各个分数(例如，通过求和、加权平均等)。

在某些情况下，可通过机器学习模型识别的潜在侵犯性内容可包括不同的内容类别，如欺凌内容、仇恨言论内容、裸体内容或其他内容。机器学习模型可以确定包括在简档帖子中的内容是已知侵犯性内容类别的内容类别。基于确定简档帖子是已知侵犯性内容类别中的内容类别，社交网络系统可以相应地定制通知514，例如关于图3A-3C所描述的。

类似于以上关于图2A-2C的讨论，在一些示例中，通知514可以包括诸如“其他人可能会觉得这有侵犯性”的文本，警告第一用户其他用户可能如何感知第一用户打算共享的简档帖子。另外，在示例中，呈现通知514的指令可以包括由第一用户的计算设备在用户界面500中呈现通知514的持续时间(例如，3秒、5秒、8秒等)。为了使第一用户知道将显示通知514的持续时间，还可以(例如，在通知514附近)显示进度条516或其他可视计时器指示，其可视地指示显示通知514的经过的时间和/或剩余持续时间。另外，在一些示例中，社交网络系统可以在显示通知514的持续时间内阻止与第一用户的关注者共享简档帖子，例如通过向第一用户的计算设备发送指令以防止简档帖子被共享。

虽然没有在图5中明确示出，但是在一些情况下，响应于持续时间过去，简档帖子可以与第一用户的关注者共享。通过在一持续时间过去之后共享简档帖子，本文描述的技术给予第一用户重新考虑共享潜在侵犯性内容的机会，但是可以允许在第一用户不必在共享简档帖子的过程中执行附加动作(例如，通过肯定地选择附加控件来共享简档帖子)的情况下共享简档帖子。然而，考虑这样的示例，其中可要求第一用户选择肯定控件来继续发布潜在的侵犯性简档帖子。

此外，社交网络系统可以向第一用户的计算设备发送指令，以呈现控件518，该控件可用于在简档帖子与第一用户的关注者共享之前撤销简档帖子的共享。在一些情况下，控件518可以被包括作为通知514的一部分和/或显示在通知514附近。在一个示例中，控件518当被选择时可以通过删除简档帖子的内容来取消简档帖子的共享。在一些示例中，控件518的选择可以使得简档帖子返回到可编辑状态，在可编辑状态中第一用户可以修改和/或删除包括在简档帖子中的内容。以这种方式，第一用户在被通知第一用户的一个或更多个关注者和/或在简档帖子中被标记的第二用户可能会觉得简档帖子是侵犯性的之后，被提供有使简档帖子更加礼貌的机会。在一些示例中，通知514还可以包括可用于向第一用户提供关于通知514的附加信息的控件(在这种情况下，由“了解更多”表示)，并且该控件可以包括类似于图2A/B的控件214的功能。

在一些情况下，如以上关于图3A-3C所讨论的，可以使用多个阈值来确定是否以及如何共享简档帖子。例如，可以完全防止被认为更具侵犯性的内容被共享，而允许判断有侵犯性的内容可以提示向第一用户显示通知514，以允许第一用户决定是否继续共享该内容。另外，如关于图3A-3C所描述的，可以(例如，串联)使用多个机器学习模型来确定是否以及如何共享动态。例如，第一机器学习模型可以被本地包括在第一用户的计算设备上的应用中，该第一机器学习模型执行简档帖子的侵犯性级别的初始评估，而更健壮的机器学习模型可以更彻底地评估内容，并且根据所描述的技术来取消共享内容，或者向第一用户呈现内容可能是侵犯性的通知。

示例方法

为了方便和易于理解，参照图1的示例系统描述了各种方法。然而，所描述的方法不限于使用图1的系统来执行，并且可以使用除了本文描述的系统和设备之外的系统和设备来实现。

本文描述的方法表示可以用硬件、软件或其组合实现的操作序列。在软件的上下文中，这些块表示存储在一个或更多个计算机可读存储介质上的计算机可执行指令，当由一个或更多个处理器执行时，这些指令执行所述操作。通常，计算机可执行指令包括例程、程序、对象、组件、数据结构等，它们执行特定的功能或实现特定的抽象数据类型。描述操作的顺序不旨在被解释为限制，并且任何数量的所描述的操作可以以任何顺序和/或并行地组合以实现过程。在一些实施例中，可以完全省略该方法的一个或更多个操作。此外，本文描述的方法可以整体或部分地彼此结合或者与其他方法结合。

图6A和图6B描绘了用于确定由用户账户发布的潜在侵犯性评论并向与用户账户相关联的计算设备发送指令以呈现与潜在侵犯性评论相关联的通知的示例过程600。

在操作602，该过程可以包括向与第一用户账户相关联的计算设备发送源自第二用户账户的内容。例如，内容可以是由第二用户账户与第二用户账户的关注者或者与社交网络应用的所有用户共享的简档帖子。在一些示例中，第一用户可以是第二用户的关注者，并且可以在第一用户的订阅源中接收内容。在一些情况下，第一用户可以不是第二用户的关注者，但是可以替代地通过其他方式(例如，通过执行搜索，其中第二用户是搜索结果)来访问内容。

在操作604，该过程可以包括从与第一用户账户相关联的计算设备接收与内容相关联的评论。在一些情况下，评论可以在该评论与任何其他用户(包括第一用户对其内容评论的第二用户)共享之前由社交网络系统106接收。

在操作606，该过程可以包括将评论输入到被训练以识别潜在侵犯性评论的机器学习模型中。例如，机器学习模型可以被训练来识别欺凌、仇恨言论、威胁和/或其他类型的潜在侵犯性评论。

在操作608，该过程可以包括从机器学习模型接收与评论的侵犯性相关联的分数。过程600通过“A”前进到图6B，其中在操作610，将分数与一个或更多个阈值进行比较。在一些示例中，一个或更多个阈值可以对应于一个或更多个侵犯性级别(例如，侵犯性的可能性、侵犯性的程度等)。如果分数小于一个或更多个阈值中的每一个阈值(例如，分数表示评论具有侵犯性的低可能性)，则该过程可以前进到操作612，在操作612中，评论与内容相关联地发布，从而使得评论对其他用户可见。

如果分数大于第一阈值分数，则该过程可以前进到操作614，在操作614中，阻止发布评论。第一阈值分数可以对应于高侵犯性级别(例如，确定内容是侵犯性的)。在一些示例中，尽管在分数高于第一阈值分数时可以阻止发布评论，但是可以在与第一用户账户相关联的计算设备处输出通知，以通知用户评论被确定为侵犯性的，从而允许用户重新提交可更具礼貌性的评论。

如果分数大于第二阈值分数，但是小于第一阈值分数，则过程可以前进到操作616，在操作616中，向与第一用户账户相关联的计算设备发送指令，以呈现与评论相关联的通知。在一些示例中，通知可以告知用户该评论可能侵犯其他用户，给用户更多关于侵犯性内容的信息，和/或向用户提供可选择的控件来撤销发布和/或修改评论，如本文所述。另外，在一些情况下，通知可以被呈现一定的时间量(例如，3秒、5秒、8秒等)，允许用户在发布评论之前撤销发布和/或修改评论。在这段时间量期间，评论可处于“待定”状态，在这种状态下，评论不会发布给其他用户查看。

例如，在操作618，该过程可以包括确定在阈值时间量内是否已经接收到撤销评论的控件的选择。如果在阈值时间量内没有接收到撤销评论发布的控件的选择，则该过程可以返回到操作612，在操作612中，评论与内容相关联地发布，使得评论可被其他用户查看。另一方面，如果在阈值时间量内接收到控件的选择，则该过程可以前进到操作620，在操作620中，将指令发送到与第一用户账户相关联的计算设备，以使评论返回到可编辑字段(例如，文本编辑字段)。以这种方式，用户可以将评论编辑为更加礼貌，和/或取消发布评论供其他用户查看。

在操作622，该过程可以包括确定是否接收到附加评论。如果接收到附加评论，则该过程可以通过“B”返回到操作606，在操作606，附加评论被输入到被训练来识别潜在侵犯性评论的机器学习模型中。如果没有接收到附加评论，则该过程可以返回到操作614，在操作614，原始评论被阻止发布，并且可以从社交网络系统中删除。

图7A和图7B描绘了用于确定由用户账户发布的潜在侵犯性内容，并向与用户账户相关联的计算设备发送指令以呈现与潜在侵犯性内容相关联的通知的示例过程700。

在操作702，该过程可以包括从与用户账户相关联的计算设备接收将由用户账户共享的内容的指示。在一些示例中，将由用户账户共享的内容可以是简档帖子、动态和/或给一个或更多个其他用户的直送消息。

在操作704，该过程可以包括将内容输入到经过训练以识别潜在侵犯性内容的机器学习模型中。例如，举几个示例，机器学习模型可以是经训练以识别内容中的潜在侵犯性图像或视频的图像分类器、经训练以识别内容中的潜在侵犯性声音或语音的音频分类器和/或经训练以识别内容中的潜在侵犯性文本(包括使用OCR检测到的文本)的文本分类器。在内容包括不同类型的内容(例如，图像、声音、文本覆盖、标签、GIF等)的情况下，侵犯性分数可以基于组合与包括在内容中的每个内容类型的侵犯性相关联的各个分数(例如，通过求和、加权平均等)。

在操作706，该过程可以包括从机器学习模型接收与内容的侵犯性相关联的分数。过程700通过“A”前进到图7B，在图7B中，在操作708，将分数与一个或更多个阈值进行比较。在一些示例中，一个或更多个阈值可以对应于一个或更多个侵犯性级别(例如，侵犯性的可能性、侵犯性的程度等)。如果分数小于一个或更多个阈值中的每一个阈值(例如，分数表示内容是侵犯性的低可能性)，则该过程可以前进到操作710，在操作710，内容被共享，从而根据本文描述的内容类型使内容对其他用户可见。

如果分数大于第一阈值分数，则该过程可以前进到操作712，在操作712中，阻止内容被共享。第一阈值分数可以对应于高侵犯性级别(例如，确定内容是侵犯性的)。在一些示例中，尽管在分数高于第一阈值分数时可以阻止内容被共享，但是可以在与用户账户相关联的计算设备处输出通知，以通知用户评论被确定为侵犯性的，从而允许用户重新提交可更具礼貌的内容。

如果分数大于第二阈值分数，但是小于第一阈值分数，则过程可以前进到操作714，在操作714中，向与用户账户相关联的计算设备发送指令，以呈现与内容相关联的通知。在一些示例中，如本文所述，通知可以告知用户该内容可能侵犯其他用户，给用户更多关于侵犯性内容的信息，和/或向用户提供可选择的控件来撤销共享内容和/或修改内容。另外，在一些情况下，通知可以被呈现一定时间量(例如，3秒、5秒、8秒等)，允许用户在共享内容之前撤销共享内容和/或修改内容。在该时间量期间，内容可处于“待定”状态，在这种状态下，它不会与其他用户共享以供查看和/或消费。

例如，在操作716，该过程可以包括确定是否在阈值时间量内已经接收到对撤销共享内容的控件的选择。如果在阈值时间量内没有接收到撤销内容共享的控件的选择，则该过程可以返回到操作710，在其中，如本文所述地根据内容类型来共享内容，使得该内容可供其他用户消费。另一方面，如果在阈值时间量内接收到对该控件的选择，则过程可以前进到操作718，在该操作中，向与用户账户相关联的计算设备发送指令，以使内容返回到可编辑状态(例如，文本编辑字段、图像编辑界面、视频编辑界面、声音编辑界面等)。以这种方式，用户可以将内容编辑为更加礼貌，和/或取消共享内容供其他用户消费。

在操作720，该过程可以包括确定是否接收到附加内容。如果接收到附加内容，该过程可以通过“B”返回到操作704，在操作704，附加内容被输入到被训练来识别潜在侵犯性内容的机器学习模型中。如果没有接收到附加内容，则该过程可以返回到操作712，在操作712，原始内容被阻止发布，并且可以从社交网络系统中删除。

图8是用于呈现与潜在侵犯性内容相关联的通知的示例过程800。

在操作802，该过程可以包括在与用户账户相关联的计算设备处接收将由用户账户共享的内容的指示。例如，用户账户可以与由计算设备执行的社交网络应用相关联。在一些示例中，如本文所述，要共享的内容可以是简档或订阅源帖子、动态、消息、对另一个用户的共享内容的评论或其他类型的内容。

在操作804，该过程可以包括向社交网络系统输出内容。在一些示例中，社交网络系统可以包括远离与用户账户相关联的计算设备定位的另一计算设备，并且内容通过网络输出到社交网络系统的计算设备。

在操作806，该过程可以包括从社交网络系统接收呈现与内容相关联的通知的指令。在一些示例中，如本文所述，通知可以告知用户该内容可能侵犯其他用户，给用户更多关于侵犯性内容的信息，和/或向用户提供可选择的控件来撤销共享内容和/或修改内容。在操作808，该过程可以包括在阈值时间量内呈现与内容相关联的通知。在示例中，通知可以被呈现一定的时间量(例如，3秒、5秒、8秒等)，并且可以包括允许用户在共享内容之前撤销共享内容和/或修改内容的可选控件，如本文所述。在该时间量期间，内容可处于“待定”状态，在这种状态下，它不会与其他用户共享以供查看和/或消费。

本文描述的各种技术可以在计算机可执行指令或软件(例如程序模块)的上下文中实现，这些指令或软件存储在计算机可读存储装置中，并由一个或更多个计算设备(例如图中所示的计算设备)的处理器执行。通常，程序模块包括例程、程序、对象、组件、数据结构等，并定义用于执行特定任务或实现特定抽象数据类型的操作逻辑。

可以使用其他架构来实现所描述的功能，并且这些架构意图在本公开的范围内。此外，尽管以上出于讨论的目的定义了具体的职责分配，但根据具体情况，各种功能和职责可能会以不同的方式进行分配和划分。

类似地，软件可以以各种方式并使用不同的手段来存储和分发，并且上述特定的软件存储和执行配置可以以许多不同的方式变化。因此，实现上述技术的软件可以分布在各种类型的计算机可读介质上，不限于具体描述的存储器形式。

示例系统和设备

图9示出了总体上在900处的示例系统，其包括示例计算设备902，该示例计算设备902代表可以实现本文描述的各种技术的一个或更多个计算系统和/或设备。这通过包括社交网络系统106和机器学习模型114来说明，社交网络系统106被配置成向与用户账户相关联的计算设备输出指令以呈现侵犯性内容的通知，机器学习模型114被训练成检测侵犯性内容。计算设备902可以是例如服务提供商的服务器、与客户端相关联的设备(例如，客户端设备)、片上系统和/或任何其他合适的计算设备或计算系统。

所示的示例计算设备902包括彼此通信耦合的处理系统904、一个或更多个计算机可读介质906和一个或更多个I/O接口908。尽管未示出，计算设备902还可以包括将各种组件彼此耦合的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构中的任何一种或组合，例如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线。还设想了各种其他示例，例如控制线和数据线。

处理系统904代表使用硬件执行一个或更多个操作的功能。因此，处理系统904被示为包括可以被配置为处理器、功能块等的硬件元件910。这可以包括在硬件中实现为使用一个或更多个半导体形成的专用集成电路或其他逻辑器件。硬件元件910不受形成它们的材料或其中采用的处理机制的限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。

计算机可读存储介质906被示为包括存储器/存储装置912。存储器/存储装置912表示与一个或更多个计算机可读介质相关联的存储器/存储装置容量。存储器/存储组件912可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储组件912可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如，闪存、可移动硬盘驱动器、光盘等)。计算机可读介质906可以以多种其他方式配置，如下文进一步描述的。

输入/输出接口908代表允许用户向计算设备902输入命令和信息并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息的功能。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或其他传感器)、照相机(例如，其可以采用可见光波长或诸如红外频率的不可见波长来将移动识别为不涉及触摸的手势)等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备902可以如下文进一步描述以各种方式来配置，以支持用户交互。

本文可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。通常，这样的模块包括例程、程序、对象、元件、组件、数据结构等等，它们执行特定的任务或实现特定的抽象数据类型。本文使用的术语“模块”、“功能”、“逻辑”和“组件”通常表示软件、固件、硬件或其组合。本文描述的技术的特征是平台无关的，这意味着这些技术可以在具有各种处理器的各种商业计算平台上实现。

所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上和/或通过某种形式的计算机可读介质传输。计算机可读介质可以包括可以由计算设备902访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读传输介质”。

“计算机可读存储介质”可以指与仅仅信号传输、载波或信号本身相比，能够持久和/或非暂时性存储信息的介质和/或设备。因此，计算机可读存储介质指的是非信号承载介质。计算机可读存储介质包括硬件，例如易失性和非易失性、可移动和不可移动介质和/或以适合于存储信息的方法或技术实现的存储设备，所述信息例如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光存储装置、硬盘、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或其他存储设备、有形介质、或适于存储所需信息并可由计算机访问的制品。

“计算机可读传输介质”可以指被配置为例如经由网络向计算设备902的硬件传输指令的介质。计算机可读传输介质通常可以在诸如载波、数据信号或其他传输机制的经调制的数据信号中传输计算机可读指令、数据结构、程序模块或其他数据。计算机可读传输介质也包括任何信息传递介质。术语“经调制的数据信号”是指一种信号，其具有以在信号中编码信息这样的方式被设置或改变的一个或更多个特征。作为示例而非限制，计算机可读传输介质包括有线介质(例如有线网络或直接有线连接)以及无线介质(例如声学、射频(RF)、红外和其他无线介质)。

如前所述，硬件元件910和计算机可读介质906代表以硬件形式实现的模块、可编程设备逻辑和/或设备逻辑，其可以在一些实施例中用于实现本文描述的技术的至少一些方面，例如执行一个或更多个指令。硬件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅或其他硬件中的其他实现的组件。在这种上下文中，硬件可以作为执行由指令和/或由硬件实现的逻辑定义的程序任务的处理设备、以及用于存储用于执行的指令的硬件(例如前面描述的计算机可读存储介质)进行操作。

前述的组合也可以用于实现本文描述的各种技术。因此，软件、硬件或可执行模块可以被实现为包含在某种形式的计算机可读存储介质上和/或由一个或更多个硬件元件910实现的一个或更多个指令和/或逻辑。计算设备902可以被配置成实现对应于软件和/或硬件模块的特定指令和/或功能。因此，可由计算设备902作为软件执行的模块的实现可以至少部分地在硬件中实现，例如，通过使用计算机可读存储介质和/或处理系统904的硬件元件910。指令和/或功能可以由一个或更多个制品(例如，一个或更多个计算设备902和/或处理系统904)执行/操作，以实现本文描述的技术、模块和示例。

本文描述的技术可以由计算设备902的各种配置支持，并且不限于本文描述的技术的具体示例。该功能也可以全部或部分通过使用分布式系统来实现，例如通过如下所述的平台916在“云”914上实现。

云914包括和/或代表资源918的平台916。平台916使云914的硬件(例如，服务器)和软件资源的底层功能抽象化。资源918可以包括在远离计算设备902的服务器上执行计算机处理时可以利用的应用和/或数据。资源918还可以包括通过互联网和/或通过诸如蜂窝或Wi-Fi网络的用户网络提供的服务。

平台916可以使资源和功能抽象化，以将计算设备902与其他计算设备连接。平台916也可以是可扩展的，以提供与对通过平台916实现的资源918的遇到的需求相对应的扩展级别。因此，在互连设备实施例中，本文描述的功能的实现可以分布在系统900的多个设备中。例如，该功能可以部分地在计算设备902上以及经由平台916来实现，平台916可以代表云计算环境914。

结论

尽管上面的讨论阐述了所描述的技术的示例实现，但是也可以使用其他架构来实现所描述的功能，并且这些架构意图在本公开的范围内。此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求中定义的主题不一定限于所描述的特定特征或动作。更确切地，具体特征和动作被公开为实现权利要求的示例性形式。

Claims (20)

1.一种方法，包括：

从与用户账户相关联的计算设备接收将由所述用户账户共享的内容；

将所述内容输入到机器学习模型中，所述机器学习模型被训练以识别潜在侵犯性内容；

从所述机器学习模型接收与所述内容的侵犯性相关联的分数；

将所述分数与对应于侵犯性级别的阈值分数进行比较；和

至少部分基于所述分数大于所述阈值分数向与所述用户账户相关联的所述计算设备发送指令以呈现与所述内容相关联的通知。

2.根据权利要求1所述的方法，其中所述内容包括简档帖子、动态或直送消息的至少一部分。

3.根据权利要求1所述的方法，其中所述指令是第一指令，所述方法还包括向与所述用户账户相关联的所述计算设备发送第二指令，以呈现能够用于撤销共享所述内容的控件。

4.根据权利要求1所述的方法，其中能够由所述机器学习模型识别的所述潜在侵犯性内容包括内容类型，所述内容类型包括欺凌内容、仇恨言论内容或裸体内容，所述方法还包括：

确定所述内容是所述内容类型中的内容类型，

其中呈现所述通知的所述指令还至少部分基于所述内容的内容类型。

5.根据权利要求1所述的方法，其中所述机器学习模型包括图像分类器，所述图像分类器被训练成识别潜在侵犯性图像或视频。

6.根据权利要求1所述的方法，其中所述机器学习模型包括音频分类器，所述音频分类器被训练成识别潜在侵犯性声音或语音。

7.根据权利要求1所述的方法，其中所述机器学习模型包括文本分类器，所述文本分类器被训练成识别潜在侵犯性文本。

8.根据权利要求7所述的方法，其中所述机器学习模型还包括光学字符识别(OCR)层，以识别图像或视频中描绘的所述潜在侵犯性文本。

9.根据权利要求1所述的方法，其中所述用户账户是第一用户账户，所述方法还包括确定与所述内容相关联的第二用户账户，

其中呈现所述通知的所述指令至少部分基于所述第二用户账户与所述内容相关联。

10.一种系统，包括：

一个或更多个处理器；和

存储指令的计算机可读介质，所述指令在被所述一个或更多个处理器执行时使得所述系统执行包括以下动作的操作：

从与用户账户相关联的计算设备接收将由所述用户账户共享的内容；

将所述内容输入到机器学习模型中，所述机器学习模型被训练以识别潜在侵犯性内容；

从所述机器学习模型接收与所述内容的侵犯性相关联的分数；

将所述分数与对应于侵犯性级别的阈值分数进行比较；和

至少部分基于所述分数大于所述阈值分数向与所述用户账户相关联的所述计算设备发送指令以呈现与所述内容相关联的通知。

11.根据权利要求10所述的系统，其中所述内容是包括一个或更多个内容类别的简档帖子、动态或直送消息，所述内容类别包括图像、视频、声音或文本，其中所述分数至少部分基于组合与所述简档帖子、动态或直送消息中包括的所述内容类别中的各个内容类别的侵犯性相关联的各个分数。

12.根据权利要求10所述的系统，其中呈现所述通知的所述指令包括呈现所述通知的持续时间。

13.根据权利要求12所述的系统，所述操作还包括响应于所述持续时间过去而共享所述内容。

14.根据权利要求12所述的系统，其中呈现所述通知的所述指令还指示与所述用户账户相关联的所述计算设备显示视觉指示器以指示所述持续时间。

15.根据权利要求10所述的系统，其中所述指令是第一指令，所述操作还包括向与所述用户账户相关联的所述计算设备发送第二指令，以在一持续时间内以待定状态显示所述内容。

16.根据权利要求10所述的系统，其中所述指令是第一指令，所述操作还包括向与所述用户账户相关联的所述计算设备发送第二指令，以呈现能够用于撤销共享所述内容的控件。

17.一个或更多个计算机可读介质，其存储指令，所述指令在由服务器计算设备的一个或更多个处理器执行时使得所述服务器计算设备执行包括以下动作的操作：

从与用户账户相关联的计算设备接收将由所述用户账户共享的内容；

将所述内容输入到机器学习模型中，所述机器学习模型被训练以识别潜在侵犯性内容；

从所述机器学习模型接收与所述内容的侵犯性相关联的分数；和

至少部分基于所述分数来向与所述用户账户相关联的所述计算设备发送指令以呈现与所述内容相关联的通知。

18.根据权利要求17所述的一个或更多个计算机可读介质，所述操作还包括：

将所述分数与对应于第一侵犯性级别的第一阈值分数进行比较；

至少部分基于所述分数大于所述第一阈值分数来阻止所述内容被共享；和

将所述分数与对应于第二侵犯性级别的第二阈值分数进行比较，

其中所述通知包括能够用于至少部分基于所述分数小于所述第一阈值分数且大于所述第二阈值分数来撤销共享所述内容的控件。

19.根据权利要求17所述的一个或更多个计算机可读介质，其中所述计算设备是第一计算设备，所述用户账户是第一用户账户，所述机器学习模型是第一机器学习模型，并且所述分数是第一分数，所述操作还包括：

允许与和第二用户账户相关联的第二计算设备共享所述内容；

将所述内容输入到第二机器学习模型中，所述第二机器学习模型被训练以识别所述潜在侵犯性内容；

从所述机器学习模型接收与所述内容的侵犯性相关联的第二分数；和

至少部分地基于所述第二分数，取消将所述内容与和所述第二用户账户相关联的所述第二计算设备共享。

20.根据权利要求17所述的一个或更多个计算机可读介质，其中所述内容包括简档帖子、动态或直送消息。

Images