CN107402948B - 进行文字攻击性检测和处理的系统和方法 - Google Patents

Abstract

本发明提供了用于识别将认为是对于用户或系统所有者而言淫秽或另外具有攻击性的语言的计算机实施的系统和方法。接收到多个攻击性文字，其中每个攻击性文字与标识该文字的攻击性的严重性评分相关联。接收文字串。计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离，且计算候选文字的多个攻击性评分，每个攻击性评分是基于在候选文字与该攻击性文字之间的距离和攻击性文字的严重性评分。关于候选文字是否为攻击文字做出判断，其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。

Description

进行文字攻击性检测和处理的系统和方法

本申请是申请日为2011年01月28日、申请号为201180017473.7、名称为“使用加权字典和正规化来进行文字攻击性检测和处理的系统和方法”的发明申请的分案。

技术领域

本公开大体而言涉及用于识别将认为对于用户或系统所有者而言具有攻击性的语言的计算机实施的系统和方法。

背景技术

淫秽(Obscenity)(在拉丁语中，obscenus，表示“污秽、令人厌恶、可憎的”)为最常用于描述攻击性的表达(文字、短语、图像、动作)的用语。淫秽的定义因文化不同，在单个文化内的社区之间以及在这些社区内的个人之间而不同。

许多文化制定了法律来限定哪些认为是淫秽的或者另外具有攻击性，且常常使用审查制度来试图抑制或控制属于这些定义内的材料。各种国家对于他们作为法人允许他们的公民访问和在他们本地人口中宣传的材料类型具有不同的标准。这些国家许可的内容广泛不同，且某些对于违反限制的人具有极端的惩罚。但是，虽然访问这些类型的内容可能在一个社会中导致惩罚，该内容在另一社会中可能会被很好地接受。

发明内容

根据本文所提供的教导内容，提供了用于识别将认为对于用户或系统所有者而言淫秽或另外具有攻击性的语言的实施的系统和方法。举例而言，一种系统和方法可被配置为：使用一个或多个处理器来接收多个攻击性文字，其中在多个攻击性文字中的每个相应攻击性文字与识别该文字的攻击性的严重性评分相关联。接收文字串，其中候选文字选自所述文字串；且可计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离。可计算候选文字的多个攻击性评分，每个攻击性评分是基于在候选文字与该攻击性文字之间的距离和攻击性文字的严重性评分。对候选文字是否为攻击文字(offender word)做出判断，其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。

一种系统和方法还利用Levenshtein距离、Hamming距离、Damerau-Levenshtein距离、Dice系数、或Jaro-Winkler距离作为在候选文字与每个攻击性文字之间的距离。攻击性阈值由服务管理员设置；其中文字串从用户输入到服务；以及其中如果在文字串中的候选文字由于具有超过服务管理员所设置的攻击性阈值的攻击性评分而被识别为攻击文字，则拒绝从所述用户到服务的输入。该服务为内容评论入口，其中攻击性阈值基于下列之一来设置：被评论的内容所存在的类型；攻击性阈值相关联的特定内容；或者内容的第三方内容分级。该服务选自下列：留言板、内容评论入口、聊天室、电子布告栏系统、社交网站或者多人游戏。

一种系统和方法可具有由服务的用户设置的攻击性阈值，其中文字串为从服务到用户的有意输出；其中包含因攻击性评分超过用户设置的攻击性阈值而被识别为攻击文字的文字串在显示给用户之前被修改。可通过删除文字串使得该文字串并不显示给用户或者通过删改(censor)文字串使得不显示攻击性文字来修改该文字串。攻击性文字的默认类别和默认攻击性阈值可基于用户当地的文化规范来设置。对用户设置最大攻击性阈值，其中用户不能设置高于最大攻击性阈值的攻击性阈值。

一种系统和方法可根据下式来计算候选文字的攻击性评分：攻击性评分＝A*((B-C)/B)；其中A为在多个攻击性文字中的攻击性文字的严重性评分；其中B为所述攻击性文字的长度的函数；以及其中C为在候选文字与攻击性文字之间的计算的距离。多个攻击性文字和识别多个攻击性文字中每一个的严重性评分由用户、服务管理员、第三方或其组合来识别。识别多个攻击性文字可包括识别多个可能攻击性文字的子列表(其中每个子列表包括可能攻击性文字的类别)，接收攻击性的文字的类别的标识，且识别多个攻击性文字为包含于被认为攻击性的文字类别中的一个或多个中的可能的攻击性文字。识别攻击性文字类别可由服务管理员或由服务的用户来识别。最高攻击性评分为下列之一：比较多个攻击性文字中的每一个与候选文字而计算的最小值攻击性评分；或者比较多个攻击性文字中的每一个与候选文字而计算的最大值攻击性评分。

附图说明

图1描绘了其中用户可与攻击性文字识别器互动的计算机实施的环境。

图2为描绘用于识别文字串中的攻击性文字的攻击性文字识别器的框图。

图3为描绘了攻击性文字列表的示例源或者对于攻击性文字列表上的文字的贡献。

图4A和图4B描绘了示例攻击性文字列表。

图5为描绘了示例攻击性文字识别器的选定细节的框图。

图6为利用Levenshtein距离计算来描绘攻击性文字识别器的框图。

图7为描绘用作输入过滤器的攻击性文字识别器的框图。

图8为描绘用作输出过滤器的攻击性文字识别器的框图。

图9为描绘包括于攻击性文字列表上的文字标识的框图。

图10为示例用户界面，其中，用户可选择用户认为是攻击性的文字类别来生成攻击性文字列表且选择攻击性阈值。

图11为描绘了攻击性文字识别器的框图，攻击性文字识别器利用用户位置阈值最大值来设置用于标志攻击文字的阈值。

图12描绘了示例界面，其中攻击性文字识别器可用作输入过滤器。

图13描绘了示例用户界面，其中攻击性文字识别器可用作输出过滤器。

图14为描绘了识别文字串中的攻击文字的方法的流程图。

具体实施方式

图1描绘了其中用户102可与攻击性文字识别器104互动的计算机实施的环境。攻击性文字识别器104提供用于节制读者或媒体论坛的提供商认为是攻击性的语言的框架。内容管理系统可用于多种情形中。例如，留言板操作者可配置此留言板的攻击性阈值。用户留言板帖子可被解析，帖子的文字被详细检查攻击性阈值，且包含超过攻击异性阈值的一个或多个用语的帖子可被拒绝、修改以节制攻击性(例如，符号的使用可用于删改攻击性用语：####、@％^#等)或以其它方式节制。

在另一示例中，诸如留言板的系统的用户可配置表示其对攻击性语言的个人敏感性的攻击性阈值。用户请求查看的留言板张贴中的内容然后可在通过帖子呈现给用户之前被详细检查。包含超过用户攻击性阈值的一个或多个用语的帖子可被隐藏不让用户看到，可给出警告，包括用户查看包括攻击性语言的帖子的链接，或者可修改该帖子以节制攻击性，诸如通过使用符号来删改有异议的用语。在另一示例中，攻击性文字识别器104可用于到系统的输入和自系统的输出中。

例如，在允许张贴内容评论(诸如新发行的电影的评论)的在线服务中，网站所有者可设置将应用的一个或多个攻击性阈值(例如对于内容评论服务的用户帖子)。例如，网站所有者可在包含适合于儿童的主题的电影(例如，G级电影)类别的评论中对于认为攻击性的用语设置很低阈值，而可对于包括更成人主题的电影类别(例如，R级电影)设置更高的攻击性阈值。然后类别攻击性阈值可应用于用户评论，其中包含认为对于该类别而言是攻击性的用语的帖子可被拒绝或以其它方式节制。

在内容评论服务处的输入过滤器可与一个或多个额外个别用户攻击性过滤器协同工作。个别用户可为其查看体验来标识个人化的攻击性阈值。然后将呈现给该用户的内容评论的文本可在向该用户呈现评论之前被仔细审查。包含超越了用户攻击性阈值的一个或多个用语的帖子可隐藏不让看到或以其它方式节制。

攻击性文字识别器也可用于多种其它情形。例如，在社交网站，用户能向其自己的“墙”设置帖子中用语的攻击性阈值，同时也设置应用于自该社交网站呈现给该用户的内容的个人攻击性阈值。在另一示例中，在公共图书馆，一般的公共赞助人攻击性阈值可设置为低阈值，而图书管理员可被允许经由更少限制阈值来设置更松的过滤器。在另一示例中，在大型多人在线角色扮演游戏(MMORPG)中，游戏设计者可设置用户在玩游戏体验中能“用语言表达”的特定容忍度。比默认容忍度更具攻击性的语言将会被输入过滤器拒绝。游戏玩家(或玩家父母)也可设置对于语言的特定容忍度从而可防止在玩家的屏幕上显示使之“进入游戏”的语言。

攻击性文字识别器104也可用于适应地区攻击性标准。例如，对于攻击性语言具有低阈值的某些国家可防止公民访问被爬虫发现有攻击性语言的网站。可对于自那些国家的访问者，包括爬虫，设置较低攻击性阈值以便不引起可能在该国家导致网站禁止的攻击性拒绝理由。然后可允许自该国家的用户设置低于国家最大值而不是高于它的个人阈值。在其它配置中，国家攻击性阈值可为默认用户攻击性阈值，但可允许用户根据其需要而调整他们的个人阈值更高或更低。

攻击性文字识别器104也可用于离线内容。例如，时事通讯用户可具有在印刷时根据其用户攻击性阈值过滤的时事通讯的个人纸质拷贝。同样，数字书可根据用户个人攻击性阈值而递送给用户设备或者在用户设备上显示。攻击性文字识别器104也可用于其它环境中，诸如文本至语音实施方式。例如，经由文本至语音技术而数字发音的书中的语言可被删除或修改以防止超越用户攻击性阈值的文字的数字语音。

攻击性文字识别器104可通过允许所有者和/或用户过滤攻击性语言以维持内容标准且提供满足内容用户的攻击性容忍度的内容而提高了内容门户和媒体的能力和灵活性。内容管理系统104包含用于识别文字串中的攻击文字的操作或例程。用户102可通过多种方式，诸如通过一个或多个网络108与攻击性文字识别器104互动。可通过(网络)网络108访问的一个或多个服务器106能主控攻击性文字识别器104。一个或多个服务器106对于一个或多个数据贮存器110做出响应来向攻击性文字识别器104提供数据。在包含于一个或多个数据贮存器110中的数据中可存在便于识别攻击文字的攻击性文字112和攻击文字(例如，作为文字串的部分)严重性114的集合。

图2为描绘了用于识别文字串中的攻击性文字的攻击性文字识别器202的框图。用于分析的一个或多个文字的串204被提供为攻击性文字识别器202的输入。攻击性文字识别器202也对于攻击性文字列表206做出响应，攻击性文字列表206包含要与一个或多个文字的串204进行比较的文字列表。基于用于分析的文字串204和攻击性文字列表206，攻击性文字识别器202标志认为可能是攻击性的用于分析的一个或多个文字的串204中的任何攻击文字。

例如，使用攻击性文字的集合(例如，亵渎、猥亵、憎恨言论、淫荡、冒渎、渎神、破坏性等)作为具有分配给它们的各种“严重性”评分的攻击性文字列表206，攻击性文字识别器202可确定从候选文字(在一个或多个文字的串204中)的候选文字到攻击性文字列表206上的文字的距离，来识别在一个或多个文字的串204中的文字“与不良文字的差异有多少”。与不良文字的差异可结合“不良”文字的严重性评分用于生成候选文字的攻击性评分。如果比较候选文字与攻击性文字列表206上的多个文字所生成的最高攻击性评分大于攻击性阈值，那么候选文字可认为是攻击文字(例如，可能对于阈值设置者而言具有攻击性)。这样的攻击性文字识别器202可防止通过对攻击性文字进行微小调整(例如，插入微小错拼，利用看起来类似字母的标点，在字母之间插入空格或标点)而避开攻击性文字识别器202的许多尝试。

攻击性文字列表的内容可来自多种来源。图3为描绘了攻击性文字列表302的示例源或者对于攻击性文字列表302上的文字的贡献。例如，可由网站管理员304生成攻击性文字列表302。网站管理员304(或网站管理员304委任这种指责的其它控制人员)可识别认为是攻击性的文字列表(例如，不应允许出现在其网站上)，且单独地或结合攻击性文字识别器利用该文字列表作为攻击性文字列表302。攻击性文字列表302也可由向其呈现内容的用户306生成。用户306可标识在查看内容时不想阅读的文字，且那些标识的文字可作为攻击性文字列表302呈递给攻击性文字识别器。攻击性文字列表302也可由第三方(例如，并非网站管理员304或用户306的某人)提供。第三方可标识常常认为是攻击性的文字集合。这样的文字列表可作为攻击性文字列表302提供给攻击性文字识别器。攻击性文字列表302也可由网站管理员304、用户306、第三方提供者和/或其他人生成以用于攻击性文字识别器。例如，网站管理员可向用户呈现可为了其自己的目的而定制的“默认”文字列表。在另一示例中，用户可共用攻击性文字列表。在另一示例中，攻击性文字列表302可基于用户与已经限定的攻击性文字列表的另一组用户的相似性来创建。

图4A和图4B描绘了示例攻击性文字列表。在图4A的示例中，攻击性文字列表402包括被认为是攻击性的文字集合以及与攻击性文字列表402中的文字中的每一个相关联的严重性评分。攻击性文字列表402可例如存储为相关数据库中的表。严重性评分可指示文字的攻击性程度。例如，某些四字母长度文字比有些人认为是攻击性的其它用语更认为有攻击性。严重性评分表示与其它文字相比这些文字的攻击性程度。在与主流美国文化相关的实施方式中，“F文字”在数据库中可具有最高评分，而文字“Tienneman”可不存在于该特定数据库中。在例如可与亚洲文化的某些社区有关的另一示例中，文字“Tienneman”将具有很高等级，而“F文字”将不存在于该特定数据库中。

图4B描绘了并不包括该列表上的文字的严重性评分的攻击性文字列表404。在攻击性文字列表404上的每个文字可认为总体上是攻击性的。在确定图4B的攻击性文字列表404上的文字的攻击性评分时，在该列表上的文字中每一个可认为具有相等的严重性评分，例如1，且施加给被分析的文字的阈值可相应地调整。

此外，任一示例数据库可任选地包含变换函数集，其允许系统匹配文字的变化与其变型。在数据库并不包含这样的变换函数的情况下，变换函数集可任选地动态地确定。变换函数的一个示例为将字符‘@’当做字符‘a’的常规表达。

图5为描绘了示例攻击性文字识别器502的选定细节的框图。攻击性文字识别器502接收用于分析的一个或多个文字的串504和攻击性文字列表506。候选文字可以多种方式从用于分析的一个或多个文字的串504来识别。例如，在空格或标点之间的字符的记号可确定为用于由攻击性文字识别器502分析的候选文字或短语。此外，可从用于分析的文字串504移除空格和标点，且可将其余字符的不同长度的组作为候选文字510提供给攻击性文字识别器502，在多个候选文字的长度作为在一个或多个文字的串504中当前位置的候选文字510提供之后，将一个字符在一个或多个文字的串504中右移。变换函数513可应用于候选文字510以识别可能隐藏在一个或多个文字的串504中的备选候选文字。例如，在候选文字中的所有“@”符号可基于其相似的外观而变换为“a”。然后在用于分析的文字串504中的候选文字510(或者变换的候选文字)与攻击性文字列表506中的每个文字512之间执行距离计算508。

例如，距离计算可利用Levenshtein距离计算。Levenshtein可由以下代码来实施：

作为示例，假定文字“merde”与10分的严重性评分相关联。仅使用攻击性文字列表，如果文字“m.e.r.d.e”和“m3rcl3”未出现在攻击性文字列表506中，那么该词的那些变型可能会错过。但是为了包括每个可能攻击性文字的所有变型，攻击性文字列表506将需要非常大。在某些实施方式中，如果利用距离计算508，可维持较短的攻击性文字列表506。在这些实施方式中，可在执行距离计算之前从候选文本中移除诸如空格和标点等的填充文本。在其它实施方式中，任选的变换函数可用于标记在该串的开始和结尾处的字母作为可能“攻击性文字”匹配的边界。在这些实施方式中的每一个实施方式中，然后可执行诸如上文所提到的函数的距离计算。向上述函数中输入攻击性文字列表成员“merde”和候选文字“m3rcl3”返回值4，基于将“m3rcl3”变换为“merde”(例如，“3”为“e”,"c"为“d”，“l”被移除且“3”为“e”)所必需的四个变换。

在某些实施方式中，也可实施其它距离计算过程作为距离计算508。例如，距离计算508可为Hamming距离、Damerau-Levenshtein距离、Dice系数、或Jaro-Winkler距离或其它测量。

距离计算508可输出在文字串504中的候选文字510离攻击性文字列表506中的文字512的距离514。离攻击性文字的距离514和该攻击性文字的严重性评分516被输入到攻击性评分计算518内，其基于在攻击性文字列表506中的一个文字来输出用于候选文字的攻击性评分。可重复距离计算508和攻击性评分计算518来确定在攻击性列表506中的每个文字的候选文字510的攻击性评分。在522比较对于该候选文字510所计算的最大攻击性评分520与攻击性阈值。如果最大攻击性评分520确定候选文字510比攻击性阈值更具有攻击性，那么，候选文字510被标志为攻击文字524。虽然攻击文字在本文中常常被称作具有大于攻击性阈值的攻击性评分，应了解某些实施例可在候选文字的攻击性评分小于攻击性阈值的情况下识别该候选文字为攻击文字。

攻击性阈值表示个人对于敏感文字的敏感性，其中如果文字的攻击性评分超过攻击性阈值，那么该文字可能由该攻击性阈值相关联的人认为是攻击性的。备选地，并不超过攻击性阈值的文字可能对于该攻击性阈值相关联的人而言并不是攻击性的。例如，如果用户能忍受“中度咒骂”，这些最具有攻击性的四字母文字之一的直接呈现将由攻击性文字识别器标志。一个示例将为在美国主流文化中使用以字母‘f’开头的特定四字母文字。在此示例中，如果单词“frick”替代地输入到系统内，而该单词隐含的“意义”仍是很严重的词，离试实际四字母单词的字母距离较远，因此，字母“frick”可能未被识别为攻击文字。此外，对于喜欢零咒骂的用户而言，单词“frick”将具有高于用户攻击性文字容忍度的评分且将被标志为攻击者单词。

图6为利用Levenshtein距离计算来描绘攻击性文字识别器602的框图。攻击性文字识别器602接收用于分析的一个或多个文字的串604且也对于攻击性文字列表602做出响应。攻击性文字识别器602使用Levenshtein距离计算612比较在文字串604中的候选文字608与在攻击性文字列表606中的每个文字606。所计算的离当前攻击性文字的距离以及当前攻击性文字的严重性评分616被输入到严重性评分计算618内。例如，攻击性评分可计算为：

评分＝A*((B-C)/B)，

其中A为在攻击性文字列表606中的当前攻击性文字610的严重性评分，B为攻击性文字610的长度，以及C为在候选文字608与当前攻击性文字610之间的计算的距离614。

例如，在其中单词“merde”具有10分的严重性评分和长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中，可如下来填充上述公式：

评分＝10*((5-4)/5)＝2。

将经由用候选文字608和在攻击性文字列表606中的文字610中每一个进行比较和计算得到的最大攻击性评分620与阈值在622进行比较以判断候选文字608是否被标志为攻击性文字624。因此，如果“merde”对于该串“m3rcl3”具有最高攻击性评分2，如果所应用的攻击性阈值小于(或者在某些实施例中)等于2，那么攻击性文字识别器602将标志该串，“m3rcl3”为攻击文字。阈值可设置为在攻击性文字列表606中所存在的最低严重性评分到最高严重性评分的范围(例如从0到10)或者设置为在该范围外的其它值。使用从0到10的数值范围，攻击性阈值可由对于攻击性语言具有低容忍度的人来设置为3，而具有更高容忍度的人可使用攻击性阈值8。所利用的阈值变化可根据所用的严重性评分(或者不使用严重性评分)、所用的攻击性评分计算方法以及其它因素而不同。

可由攻击性文字识别器602来利用其它攻击性评分计算。例如，如果使用相似性度量，诸如Jaro-Winkler距离或

相似性指数作为在距离计算中距离度量的替代，那么可根据反距离计算来计算攻击性评分计算(使用单词相似性的非零的安全假设)：

评分＝A*((B-(1/C))/B)，

其中A为在多个攻击性文字中的攻击性文字的严重性评分；其中B为攻击性文字的长度的函数(其中该函数可为攻击性文字本身的长度)，且其中C为在候选文字与攻击性文字之间的计算的距离。

例如，在其中单词“merde”具有10分的严重性评分和长度5且在“merde”与“m3rcl3”之间所计算的

类似性为大约为0.44的上述示例中，可如下来填充上述公式：

评分＝10*((5-(1/.44))/5)＝4.5(四舍五入到一个有效位)

在此示例中，如先前示例，可能的计算值的范围应是无限的，因为文字严重性的值是无限的，但网站管理员能限定满足该网站的特定需要的适当数值范围。必须指出的是尽管此算法需要相似性评分的非零值，此为实际的限制，因为候选文字或短语将有条件地与根攻击性文字具有某些相似性以便首先触发分析。

也可执行攻击性评分计算使得并不利用自攻击性文字列表606的文字长度来规范化评分，如下：

评分＝Max(((A-C)/A),0)

例如，在其中单词“merde”具有10分的严重性评分和长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中，可如下来填充上述公式：

评分＝Max(((10-4)/10),0)＝Max((6/10),0)＝.6

在此示例中，基于示例基础算法的特定计算的值总是在[0..1]的范围且因此阈值数值范围应适应此范围。

作为另一示例，在攻击性文字列表606并不包括每个条目的严重性评分的情况下，或者每个条目具有相同的严重性评分，那么可调整攻击性阈值(例如，如果在攻击性文字列表606中的所有文字认为具有严重性1，那么攻击性阈值可设置在0与1之间)，使得文字根据下式来标志：

‘攻击性’＝(((B-C)/B)>T)，

其中T为攻击性阈值。

例如，在其中单词“merde”出现在文字数据库中且具有长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中，可如下来填充上述公式：

((5-4)/5)＝.2

在此示例中，在评分等于或大于0.2的情况下限定文字为攻击性的任何阈值将文字“m3rcl3”标记为攻击性的。同样，基于示例基础算法的特定计算的值总是在[0..1]的范围且因此阈值数值范围应适应此范围。

图7为描绘用作输入过滤器的攻击性文字识别器702的框图。攻击性文字过滤器702接收用户输入串704。例如，用户输入串704可为向留言板提交的帖子。攻击性文字识别器702也对于攻击性文字列表706做出响应。经由距离计算712来比较在用户输入串704中的候选文字708与在攻击性文字列表710中的文字710。离攻击性文字列表706中的文字710的候选文字708的距离在714输出，其与自攻击性文字列表710的当前文字710的严重性评分710一起变成为攻击性评分计算718的输入。在718所计算的最大攻击性评分720是基于候选文字708与在攻击性文字列表706中的每个文字710的比较。在722比较最大攻击性评分720与攻击性阈值。如果在用户输入串704中的文字被识别为攻击文字(例如超过了最大攻击性评分720)，可在724处拒绝用户输入704(例如，在用户输入串704中的文字)。

图8为描绘用作输出过滤器的攻击性文字识别器802的框图。攻击性文字过滤器802接收到用户系统的候选输出804。例如，到用户系统的候选输出804可为由用户请求显示的留言板帖子。攻击性文字识别器802也对于攻击性文字列表806做出响应。经由距离计算812比较到用户系统的候选输出804中的候选文字808与在攻击性文字列表806中的攻击性文字列表806。在814输出离攻击性文字列表806中的文字810的距离。此输出然后与自攻击性文字列表806的当前文字的严重性评分816一起输入到攻击性评分计算818。在818所计算的最大攻击性评分820是基于候选文字808与在攻击性文字列表806中的每个文字810的比较。在822比较最大攻击性评分820与攻击性阈值。如果在到用户系统的候选输出804中的文字被识别为攻击文字(例如，超过了攻击阈值822)，到用户系统的候选输出804可在824被修改(例如，经由使用符号来删改攻击者文字)

图9为描绘标识包括于攻击性文字列表902上的文字的框图。如上文所指出的那样，不同的人对于攻击性语言具有不同的容忍度且不同类型的攻击性文字对人的影响可不同。例如，虽然俚语可能会对某些人具有攻击性，那些俚语可能会被另一些人很好地接受。为了适应这些差别，可生成定制攻击性文字列表902。例如可将攻击性文字分为在子列表904、906、908上的一个或多个类别。例如，子列表1 904可包含被认为种族攻击性的文字，子列表2 906可包含被认为性攻击性的文字，且子列表3 903可包含被认为是攻击性的俚语。攻击性文字列表发生器910可接收人认为是攻击性的文字912的标识。人确定为攻击性的那些类别912可包括于攻击性文字列表902上，而包含未标识的类别的那些子列表可能不包括于攻击性文字列表902上。

图10为其中用户能选择用户认为是攻击性的文字类别的示例用户界面1000。那些选定的攻击性文字可用于生成攻击性文字列表且选择攻击性阈值。示例用户界面1000包括账户偏好部分1001。在1003处的第一控件允许选择描述用户对于“强烈语言”容忍度的选项的选择。这个选择可用于设置该用户的攻击性阈值。例如，在使用0-10的攻击性阈值的系统中，选择“Do not allow strong language(不允许强烈语言)”可导致对于该用户设置攻击性阈值1，选择“I tolerate moderate language(我容忍中度语言)”可导致对于该用户设置攻击性阈值4，且选择“I am receptive to strong language(我接受强烈语言)”导致对于该用户设置攻击性阈值8。账户偏好1001还包括用于选择在1004应过滤哪类强烈语言的控件。例如，控件1004可列出以下类别、咒骂(Swearing)、俚语(Slang)、种族歧视(RacialSlur)、青少年导向、酒精相关、药物相关、宗教相关。这些类别中的每一个可对应于如关于图9所描述的子列表。该系统也可包括“用户限定的”子选择和填充，由此，用户能输入他个人发现是攻击性的文字，其可合并到攻击性文字列表内。当用户保存他的设置时，可构建个人化的攻击性文字列表，其包括自包含在控件1004中所选的文字类别的子列表中每一个的文字。

图11为描绘了攻击性文字识别器1102的框图，攻击性文字识别器1102利用用户位置阈值最大值1104来设置用于标志攻击文字的阈值。攻击性文字过滤器1102接收用于分析的一个或多个文字的串1106。攻击性文字识别器1102也对于攻击性文字列表1108做出响应。经由距离计算1114来比较用于分析的一个或多个文字的串1106中的候选文字1110与攻击性文字列表1108中的文字1112。在1116输出候选文字1110离攻击性文字列表1108中的文字1112的距离。此输出与来自攻击性文字列表1108的当前文字1112的严重性评分1118一起变成到攻击性评分计算1120的输入。在1120所计算的最大攻击性评分1122是基于候选文字1110与在攻击性文字列表1108中的每个文字1112的比较。在1124比较最大攻击性评分1122与攻击性阈值。可基于用户位置阈值最大值1104来设置攻击性阈值。

例如，在某些国家，用户位置阈值最大值1104可根据本地道德标准来设置使得人不能设置大于用户位置阈值最大值1104的用户攻击性容忍度。在某些实施方式中，可允许用户经由用户容忍度指示1126来设置比用户位置阈值最大值1104更严格的阈值。在另一实施方式中，用户位置阈值可设置为在该位置的用户的默认阈值。该用户然后经由用户容忍度指示1126自由设置更高或更低的个人攻击性阈值(例如，基于该用户的个人攻击性容忍度)。如果候选文字1110具有大于设置阈值(例如，在用户位置)的最大攻击性评分1122，那么候选文字1110可在1128被标志为攻击文字。

攻击性文字识别器1102也可允许基于用户的位置来定制攻击性阈值和攻击性文字列表1108。例如，如果地理区域具有与该区域相关联的第一攻击性文字列表且用户具有与他相关联的个人攻击性文字列表，那么攻击性文字识别器1102可利用地区攻击性文字列表与用户攻击性文字列表的并集或交集作为分析一个或多个文字的串的攻击性文字列表1108。此外，可基于用户位置来利用不同的攻击性阈值。例如，较低的攻击性阈值可用于公共家庭区，诸如起居室中的电视机机顶盒中，而更高的攻击性阈值可用于父母卧室中的机顶盒中。

图12描绘了示例用户界面1200，其中攻击性文字识别器可用作输入过滤器。用户界面1200包括用于内容评论入口的媒体门户，其包括用于观看视频媒体1201的界面，以及到用于输入可在媒体播放器界面1201中查看的内容的用户评论的表单1205的链接1203。在经由评论表单1205起草且提交了用户评论之后，攻击性文字识别器可审查所提交的评论文本。如果在所提交的评论文本中的任何文字被攻击性文字识别器标志(例如，文字的计算的攻击性评分具有大于网站所有者所确定的网站或类别攻击性阈值)，那么所提交的评论文本可被拒绝或修改以节制攻击性。此外，提交的用户可被通知他的帖子被拒绝或修改。

图13描绘了示例用户界面1300，其中攻击性文字识别器可用作输出过滤器。用户界面1300包括媒体门户，其包括用于观看视频媒体的界面1301，以及到用于阅读可在媒体播放器界面1301中查看的内容的用户评论的界面1305的链接1303。在选择了访问评论的链接1303时，攻击性文字识别器可在1305审查要呈现给用户的评论内容。如果在待呈现的评论中的任何文字由攻击性文字识别器标志(例如，文字具有计算的攻击性评分，其标识文字为比用户标识的攻击性阈值更具有攻击性)，那么那些评论可不呈现给用户。此外，可删改所标志的攻击性文字，或者可采取其它节制措施来最小化用户的攻击。

图14为描绘了识别文字串中的攻击性文字的方法1400的流程图。在1402，使用一个或多个处理器接收多个攻击性文字，其中在多个攻击性字中的每个相应攻击性文字与标识该文字的攻击性的严重性评分相关联。在1404，接收文字串，其中候选文字选自文字串；和在1406，计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离。在1408，对于多个攻击性文字中的每个攻击性文字和候选文字基于所计算的距离和严重性评分来计算攻击性评分，从而计算多个攻击性评分。在1412，关于候选文字是否为攻击文字做出判断，其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。

在此说明中所描述的主题的实施例和功能操作可实施于数字电子电路或计算机软件、固件或硬件中，包括在本说明书中公开的结构和其结构等效物或它们中一个或多个的组合。在本说明书中所描述的主题的实施例可实施为一个或多个计算机程序产品，即，在计算机可读介质上编码以由数据处理设备执行或控制数据处理设备操作的计算机程序指令的一个或多个模块。

计算机可读介质可为机器可读存储设备，机器可读存储基板、存储设备、影响到机器可读传播信号的物质组合物或者它们中一个或多个的组合。用语“数据处理设备”涵盖用于处理数据的所有装置、设备和机器，包括(例如)可编程的处理器、计算机或多个处理器或计算机。该设备可包括，除了硬件之外，创建相所讨论的计算机程序的执行环境的代码，例如，构成处理器固件的代码，协议栈、数据库管理系统，操作系统，或它们中一个或多个的组合。所传播的信号为人为生成的信号，例如，机器生成的电、光和电磁信号，其被生成以对用于传输到合适接收器设备的信息进行编码。

计算机程序(也被称作程序、软件、软件应用程序、脚本或代码)，可以任何形式的编程语言写成，包括编译或翻译语言，且其能以任何形式部署，包括作为独立程序或模块、构件、子例程或适用于计算环境中的其它单元。计算机程序未必对应于在文件系统中的文件。程序可存储于保持其它程序或数据的文件的一部分中(例如，存储于标记语言文档中的一个或多个脚本)，专用于所讨论的程序的单个文件中，或者多个协作的文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可被部署为在一个或多个计算机上执行，多个计算机位于一个位点或在多个位点分布且由通信网络互连。

在本说明书中所描述的过程和逻辑流程可由一个或多个可编程的处理器来执行，可编程的处理器执行一个或多个计算机程序以通过操作输入数据且生成输出而执行功能。过程和逻辑流程也可由专用逻辑电路来执行且设备也可实施为专用逻辑电路，例如FPGA(场可编程的门阵列)或ASIC(专用集成电路)。适合于执行计算机程序的处理器包括(例如)通用和专用微处理器；和任何类型的数字计算机的任何一个或多个处理器。通常，处理器将接收从只读存储器或随机存取存储器或二者的指令和数据。计算机的基本元件为用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。

一般而言，计算机还可包括用于存储数据的一个或多个大容量存储设备或在操作上联接成从一个或多个大容量存储设备接收数据或向其转移数据或既接收也转移数据，大容量存储器为例如磁盘、磁光盘或光盘。但是，计算机并非必需具有这样的设备。此外，计算机可嵌入于另一设备中，例如，移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，仅给出几个例子。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括(例如)半导体存储设备，例如，EPROM、EEPROM和闪速存储设备；磁盘，例如内置硬盘或可移除的盘；磁光盘；和CD ROM和DVDROM盘。处理器和存储器可由专用逻辑电路来实施或者合并于专用逻辑电路中。

为了提供与用户的互动，在本说明书中所描述的主题的实施例能实施于计算机上，计算机具有：显示设备，例如CRT(阴极射线管)至LCD(液晶显示器)监视器，用于向用户显示信息；键盘；以及点击设备，例如鼠标或跟踪球，用户能用它来向计算机提供输入。其它类型的设备也可用于提供与用户互动；例如，提供给用户的反馈可呈感觉反馈的任何形式，例如，视觉反馈，听觉反馈或触觉反馈；且自用户的输入能以任何形式接收，包括声、语音或触觉输入。

在本说明书中所描述的主题的实施例能实施于计算系统中，计算系统包括后端构件，例如，作为数据服务器；或者其包括中间件构件，例如应用程序服务器；或者其包括前端构件，例如具有图形用户界面或网页浏览器的客户端计算机，用户能用它来与本说明书中所描述的主题的实施方式互动，或者一个或多个这样的后端、中间件或前端构件的任何组合。该系统的构件可由任何形式或介质的数字数据通信(例如，通信网络)而互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。

计算系统可包括客户端和服务器。客户端和服务器通常彼此离得较远且通常通过通信网络互动。客户端与服务器的关系利用计算机程序来产生，计算机程序运行于相应计算机上且彼此具有客户端服务器关系。

在某些实施方式中，内部人士可为对于下列中的一个或多个表现出兴趣的第三方：处理，营销，促销，管理，包装，推销，履行，交货，分销，发许可证或实行内容和/或内容相关的数据。在某些实施方式中，内部人士可认为是内容提供商。内容提供商可为对于内容和/或内容相关数据进行分销、发许可证和/或次级发许可证表现出兴趣的任何人。内容提供商可包括(但不限于)内容和/或内容相关数据的分销商、子分销商和许可证持有者。在某些实施方式中，内容提供商能执行与本文所提供的系统和方法相关联的任何和所有功能。应了解由内容创建者执行的任何和所有功能也可由内容提供商来执行。

虽然本说明书包含许多具体细节，这些具体细节不应理解为限制所要求保护的本发明的范围，而是作为本发明的特定实施例的具体特点的描述。在说明书中在上下文或单独实施例中描述的某些特点也可与单个实施例组合地实施。相反，在单个实施例的情形中描述的各种特点也可单独地或以任何合适子组合实施于多个实施例中。此外，尽管特点可在上文中描述以特定组合起作用且甚至最初要求保护这样，自所要求保护的组合的一个或多个特点能在某些情况下从该组合去除，且所要求保护的组合可针对于子组合或子组合的变型。

同样，虽然操作在附图中以特定次序描述，这不应认为要求这样的操作以图示的特定次序或循序的顺序来执行，或者执行所有图示操作来实现所需结果。在某些情形中，多任务和并行处理可为有利的。此外，在上文所述的实施例中的各种系统构件的分开不应理解为要求在所有实施例中这样分开，且应了解所描述的程序构件和系统可通常在单个软件产品中集成在一起或者包装到多个软件产品中。

因此，描述了本发明的特定实施例，其它实施例在下文的权利要求的范围内。例如，在说明书中陈述的动作能以不同的次序来执行且仍实现所需结果。

Claims (26)

1.通过检测在计算机网络上传递的文字串中的攻击性文字来修改图形用户界面上显示的文本的方法，包括：

使用一个或多个处理器在计算机数据库中接收和存储多个攻击性文字，其中在所述多个攻击性文字中的每个相应攻击性文字与标识该相应文字的攻击性的严重性评分相关联；

使用该一个或多个处理器接收文字串，其中候选文字选自所述文字串；

对于在所述多个攻击性文字中的每个相应攻击性文字，使用该一个或多个处理器计算候选文字与所述相应攻击性文字之间的距离；

使用该一个或多个处理器计算所述候选文字的攻击性评分，所述计算基于(i)在所述候选文字与所述多个攻击性文字中的攻击性文字之间的所计算的距离和(ii)所述攻击性文字的严重性评分，其中所述攻击性评分基于两个项的乘积，该两个项中的第一项基于所述候选文字与所述攻击性文字之间计算的所述距离，而该两个项中的第二项基于所述攻击性文字的严重性评分；

使用该一个或多个处理器，基于所述候选文字的攻击性评分是否超过了攻击性阈值来判断所述候选文字是否为攻击性文字；以及

当所述候选文字被判断为攻击性文字时，在图形用户界面显示该候选文字之前，调整计算机可读存储器中的该候选文字。

2.根据权利要求1所述的方法，其中所述多个攻击性文字中的每个文字和所述文字串中的每个文字包括简写。

3.根据权利要求1所述的方法，其中所述距离被计算为：Levenshtein距离、Hamming距离、Damerau-Levenshtein距离、Dice系数、

相似性系数或Jaro-Winkler距离。

4.根据权利要求1所述的方法，其中所述攻击性阈值由服务管理员设置；

其中所述文字串从用户输入到服务；以及

其中如果在所述文字串中的候选文字由于具有超过所述服务管理员所设置的攻击性阈值的攻击性评分而被识别为攻击性文字，则拒绝自所述用户到所述服务的输入。

5.根据权利要求4所述的方法，其中所述服务为内容评论入口，且其中所述攻击性阈值基于下列之一来设置：其中存在被评论的内容的内容分组；所述攻击性阈值相关联的特定内容；以及内容的第三方内容分级。

6.根据权利要求5所述的方法，其中所述内容分组包括：

主题的特定分类，

类型，

地理原产地，其中所述地理包括国家、州、城市、公国或者它们的区域或子区域的集合，

专业或政府认证或分级的组，或行业节日或事件精选。

7.根据权利要求4所述的方法，其中所述服务选自下列的组：

留言板、内容评论入口、聊天室、电子布告栏系统、社交网站和多人游戏。

8.根据权利要求1所述的方法，其中：

所述攻击性阈值由服务用户来设置；

所述文字串为从所述服务到所述用户的有意输出；以及

包含因攻击性评分超过所述用户设置的所述攻击性阈值而被识别为攻击性文字的文字串在显示给所述用户之前被修改。

9.根据权利要求8所述的方法，根据下列之一来修改所述文字串：

删除所述文字串使得所述文字串并不显示给所述用户；

从所述文字串删除所述攻击性文字使得所述攻击性文字不显示给所述用户；

删改所述文字串使得所述文字串并不显示给所述用户；或者，

从所述文字串删改所述攻击性文字使得所述攻击性文字不显示给所述用户。

10.根据权利要求8所述的方法，其中所述多个攻击性文字和攻击性阈值是基于对所述用户所确定的文化规范来设置。

11.根据权利要求8所述的方法，其中所述多个攻击性文字和攻击性阈值基于政府机构限定的定义来设置，所述政府机构对于用户或者与所述用户相关联的非政府机构具有管辖权。

12.根据权利要求8所述的方法，其中对于用户设置最大攻击性阈值，且其中所述用户不能设置高于所述最大攻击性阈值的攻击性阈值。

13.根据权利要求1所述的方法，其中包含因攻击性评分超过所述攻击性阈值而被识别为攻击性文字的候选文字的文字串被拒绝输入。

14.根据权利要求1所述的方法，其中候选文字的攻击性评分根据下式来计算：

攻击性评分＝A*((B-C)/B)；

其中，

A为在所述多个攻击性文字中的攻击性文字的严重性评分；

B为所述攻击性文字的长度的函数；以及

C为在所述候选文字与所述攻击性文字之间的计算的距离。

15.根据权利要求1所述的方法，其中候选文字的攻击性评分根据下式来计算：

攻击性评分＝A*((B-(1/C))/B)；

其中，

A为在所述多个攻击性文字中的攻击性文字的严重性评分；

B为所述攻击性文字的长度的函数；以及

C为在所述候选文字与所述攻击性文字之间的计算的距离。

16.根据权利要求1所述的方法，其中候选文字的攻击性评分根据下式来计算：

攻击性评分＝Max(((A-C)/A),0)；

其中，

A为在所述多个攻击性文字中的攻击性文字的严重性评分；以及

C为在所述候选文字与所述攻击性文字之间的计算的距离。

17.根据权利要求1所述的方法，其中候选文字的攻击性评分根据下式来计算：

攻击性评分＝(((B-C)/B)>T)；

其中，

攻击性文字的严重性评分具有为1的隐含值；

B为所述攻击性文字的长度的函数；以及

C为在所述候选文字与所述攻击性文字之间的计算的距离。

18.根据权利要求1所述的方法，其中所述多个攻击性文字和标识所述多个攻击性文字中每一个的严重性评分由用户、服务管理员、第三方或其任何组合来标识。

19.一种计算机实施的系统，其用于通过检测在计算机网络上传递的文字串中的攻击性文字来修改图形用户界面上显示的文本，所述系统包括：

一个或多个数据处理器；

计算机可读存储器，其利用计算机数据库指令编码以命令所述数据处理器来执行包括下列的步骤：

使用一个或多个处理器在计算机数据库中接收和存储多个攻击性文字，其中在所述多个攻击性文字中的每个相应攻击性文字与标识该相应文字的攻击性的严重性评分相关联；

使用该一个或多个处理器接收文字串，其中候选文字选自所述文字串；

对于在所述多个攻击性文字中的每个相应攻击性文字，使用该一个或多个处理器计算候选文字与所述相应攻击性文字之间的距离；

使用该一个或多个处理器计算所述候选文字的攻击性评分，所述计算基于(i)在所述候选文字与所述多个攻击性文字中的攻击性文字之间的所计算的距离和(ii)所述攻击性文字的严重性评分，其中所述攻击性评分基于两个项的乘积，该两个项中的第一项基于所述候选文字与所述攻击性文字之间计算的所述距离，而该两个项中的第二项基于所述攻击性文字的严重性评分；

使用该一个或多个处理器，基于所述候选文字的攻击性评分是否超过了攻击性阈值来判断所述候选文字是否为攻击性文字；以及

当所述候选文字被判断为攻击性文字时，在图形用户界面显示该候选文字之前，调整计算机可读存储器中的该候选文字。

20.一种计算机实施的方法，其包括：

使用一个或多个数据处理器接收第一多个攻击性文字，并将该第一多个攻击性文字存储在计算机可读介质；

使用一个或多个数据处理器接收第二多个攻击性文字，并将该第二多个攻击性文字存储在计算机可读介质；

接收文字串，其中选自所述文字串的一个或多个测得的攻击性文字与来自所述第一多个攻击性文字或所述第二多个攻击性文字的文字匹配；以及

根据所述文字串中攻击性文字的检测来处理所述文字串，其中文字串的处理包括在计算机可读介质中存储所述一个或多个测得的攻击性文字；

其中所述第一多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第一严重性评分相关联；

其中所述第二多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第二严重性评分相关联；

其中对于所述第一多个攻击性文字和所述第二多个攻击性文字中的每个攻击性文字和特定攻击性文字基于所计算的距离和严重性评分来计算攻击性评分；

其中对特定攻击性文字的检测基于超过攻击性阈值的与该特定攻击性文字关联的严重性评分的最大值。

21.一种计算机实施的系统，其包括：

数据处理器；

计算机可读存储器，其利用指令编码以命令所述数据处理器来执行包括下列的步骤：

使用一个或多个数据处理器接收第一多个攻击性文字；

使用一个或多个数据处理器接收第二多个攻击性文字；

接收文字串，其中选自所述文字串的一个或多个测得的攻击性文字与来自所述第一多个攻击性文字或所述第二多个攻击性文字的文字匹配；以及

根据所述文字串中攻击性文字的检测来处理所述文字串；

其中所述第一多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第一严重性评分相关联；

其中所述第二多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第二严重性评分相关联；

其中对于所述第一多个攻击性文字和所述第二多个攻击性文字中的每个攻击性文字和特定攻击性文字基于所计算的距离和严重性评分来计算攻击性评分；

其中对特定攻击性文字的检测基于超过攻击性阈值的与该特定攻击性文字关联的严重性评分的最大值。

22.一个或多个非暂时性计算机可读介质，其利用指令编码以命令一个或多个数据处理器来执行包括下列的步骤：

使用一个或多个数据处理器接收第一多个攻击性文字；

使用一个或多个数据处理器接收第二多个攻击性文字；

接收文字串，其中选自所述文字串的一个或多个测得的攻击性文字与来自所述第一多个攻击性文字或所述第二多个攻击性文字的文字匹配；以及

根据所述文字串中攻击性文字的检测来处理所述文字串；

其中所述第一多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第一严重性评分相关联；

其中所述第二多个攻击性文字中的每个攻击性文字与标识该文字的攻击性的第二严重性评分相关联；

其中对于所述第一多个攻击性文字和所述第二多个攻击性文字中的每个攻击性文字和特定攻击性文字基于所计算的距离和严重性评分来计算攻击性评分；

其中对特定攻击性文字的检测基于超过攻击性阈值的与该特定攻击性文字关联的严重性评分的最大值。

23.一种计算机实施的方法，其包括：

使用一个或多个数据处理器接收第一多个攻击性文字，所述第一多个攻击性文字与第一类别攻击性文字相关联；

使用一个或多个数据处理器接收第二多个攻击性文字，所述第二多个攻击性文字与第二类别攻击性文字相关联；

使用一个或多个数据处理器接收用户偏好，其识别应当被过滤的文字的多个类别，其中所述多个类别包括所述第一类别和第二类别；

根据所述用户偏好，使用一个或多个处理器生成该用户的攻击性文字的合并列表，其包括所述第一多个攻击性文字和所述第二多个攻击性文字；

使用一个或多个数据处理器接收文字串，其中计算在选自所述文字串的一个或多个测得的攻击性文字与来自所述包括了第一多个攻击性文字和第二多个攻击性文字的合并列表中的文字之间的距离；以及

使用一个或多个数据处理器根据所述文字串中攻击性文字的检测来处理所述文字串。

24.一种计算机实施的系统，其包括：

数据处理器；

计算机可读存储器，其利用指令编码以命令所述数据处理器来执行包括下列的步骤：

接收第一多个攻击性文字，所述第一多个攻击性文字与第一类别攻击性文字相关联；

接收第二多个攻击性文字，所述第二多个攻击性文字与第二类别攻击性文字相关联；

接收用户偏好，其识别应当被过滤的文字的多个类别，其中所述多个类别包括所述第一类别和第二类别；

根据所述用户偏好，生成该用户的攻击性文字的合并列表，其包括所述第一多个攻击性文字和所述第二多个攻击性文字；

接收文字串，其中计算在选自所述文字串的一个或多个测得的攻击性文字与来自所述包括了第一多个攻击性文字和第二多个攻击性文字的合并列表中的文字之间的距离；以及

根据所述文字串中攻击性文字的检测来处理所述文字串。

25.一种计算机实施的方法，其包括：

使用一个或多个数据处理器接收第一多个攻击性文字，所述第一多个攻击性文字中的每一个与第一攻击性评分相关联；

使用一个或多个数据处理器接收第二多个攻击性文字，所述第二多个攻击性文字中的每一个与第二攻击性评分相关联；

使用一个或多个数据处理器接收文字串，其中计算选自所述文字串的潜在攻击性文字与来自所述包括了第一多个攻击性文字和第二多个攻击性文字的文字之间的距离；

使用一个或多个数据处理器根据所述潜在攻击性文字的第一攻击性评分和第二攻击性评分的最大值确定该潜在攻击性文字的攻击性评分；以及

当攻击性评分达到攻击性阈值时，使用一个或多个数据处理器处理所述文字串以节制所述潜在攻击性文字。

26.一种计算机实施的方法，其包括：

使用一个或多个数据处理器接收第一多个攻击性文字，所述第一多个攻击性文字中的每一个与第一攻击性评分相关联；

使用一个或多个数据处理器接收文字串；

计算所述文字串中潜在攻击性文字和所述第一多个攻击性文字中的攻击性文字之间的距离，其中所述距离的计算基于该潜在攻击性文字和该第一多个攻击性文字中的攻击性文字之间的拼写差异；

根据所计算的距离和与该第一多个攻击性文字中的攻击性文字相关的第一攻击性评分计算所述潜在攻击性文字的攻击性评分；以及

当攻击性评分达到攻击性阈值时，使用一个或多个数据处理器处理所述文字串以节制所述潜在攻击性文字。

Images