CN103098050A - 使用加权字典和正规化来进行文字攻击性检测和处理的系统和方法 - Google Patents
使用加权字典和正规化来进行文字攻击性检测和处理的系统和方法 Download PDFInfo
- Publication number
- CN103098050A CN103098050A CN2011800174737A CN201180017473A CN103098050A CN 103098050 A CN103098050 A CN 103098050A CN 2011800174737 A CN2011800174737 A CN 2011800174737A CN 201180017473 A CN201180017473 A CN 201180017473A CN 103098050 A CN103098050 A CN 103098050A
- Authority
- CN
- China
- Prior art keywords
- offensive
- word
- words
- offensiveness
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 title description 7
- 238000001514 detection method Methods 0.000 title description 2
- 238000010606 normalization Methods 0.000 title description 2
- 238000012552 review Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 230000006855 networking Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了用于识别将认为是对于用户或系统所有者而言淫秽或另外具有攻击性的语言的计算机实施的系统和方法。接收到多个攻击性文字,其中每个攻击性文字与标识该文字的攻击性的严重性评分相关联。接收文字串。计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离,且计算候选文字的多个攻击性评分,每个攻击性评分是基于在候选文字与该攻击性文字之间的距离和攻击性文字的严重性评分。关于候选文字是否为攻击文字做出判断,其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。
Description
技术领域
本公开大体而言涉及用于识别将认为对于用户或系统所有者而言具有攻击性的语言的计算机实施的系统和方法。
背景技术
淫秽(Obscenity)(在拉丁语中,obscenus,表示“污秽、令人厌恶、可憎的”)为最常用于描述攻击性的表达(文字、短语、图像、动作)的用语。淫秽的定义因文化不同,在单个文化内的社区之间以及在这些社区内的个人之间而不同。
许多文化制定了法律来限定哪些认为是淫秽的或者另外具有攻击性,且常常使用审查制度来试图抑制或控制属于这些定义内的材料。各种国家对于他们作为法人允许他们的公民访问和在他们本地人口中宣传的材料类型具有不同的标准。这些国家许可的内容广泛不同,且某些对于违反限制的人具有极端的惩罚。但是,虽然访问这些类型的内容可能在一个社会中导致惩罚,该内容在另一社会中可能会被很好地接受。
发明内容
根据本文所提供的教导内容,提供了用于识别将认为对于用户或系统所有者而言淫秽或另外具有攻击性的语言的实施的系统和方法。举例而言,一种系统和方法可被配置为:使用一个或多个处理器来接收多个攻击性文字,其中在多个攻击性文字中的每个相应攻击性文字与识别该文字的攻击性的严重性评分相关联。接收文字串,其中候选文字选自所述文字串;且可计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离。可计算候选文字的多个攻击性评分,每个攻击性评分是基于在候选文字与该攻击性文字之间的距离和攻击性文字的严重性评分。对候选文字是否为攻击文字(offender word)做出判断,其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。
一种系统和方法还利用Levenshtein距离、Hamming距离、Damerau-Levenshtein距离、Dice系数、或Jaro-Winkler距离作为在候选文字与每个攻击性文字之间的距离。攻击性阈值由服务管理员设置;其中文字串从用户输入到服务;以及其中如果在文字串中的候选文字由于具有超过服务管理员所设置的攻击性阈值的攻击性评分而被识别为攻击文字,则拒绝从所述用户到服务的输入。该服务为内容评论入口,其中攻击性阈值基于下列之一来设置:被评论的内容所存在的类型;攻击性阈值相关联的特定内容;或者内容的第三方内容分级。该服务选自下列:留言板、内容评论入口、聊天室、电子布告栏系统、社交网站或者多人游戏。
一种系统和方法可具有由服务的用户设置的攻击性阈值,其中文字串为从服务到用户的有意输出;其中包含因攻击性评分超过用户设置的攻击性阈值而被识别为攻击文字的文字串在显示给用户之前被修改。可通过删除文字串使得该文字串并不显示给用户或者通过删改(censor)文字串使得不显示攻击性文字来修改该文字串。攻击性文字的默认类别和默认攻击性阈值可基于用户当地的文化规范来设置。对用户设置最大攻击性阈值,其中用户不能设置高于最大攻击性阈值的攻击性阈值。
一种系统和方法可根据下式来计算候选文字的攻击性评分:攻击性评分=A*((B-C)/B);其中A为在多个攻击性文字中的攻击性文字的严重性评分;其中B为所述攻击性文字的长度的函数;以及其中C为在候选文字与攻击性文字之间的计算的距离。多个攻击性文字和识别多个攻击性文字中每一个的严重性评分由用户、服务管理员、第三方或其组合来识别。识别多个攻击性文字可包括识别多个可能攻击性文字的子列表(其中每个子列表包括可能攻击性文字的类别),接收攻击性的文字的类别的标识,且识别多个攻击性文字为包含于被认为攻击性的文字类别中的一个或多个中的可能的攻击性文字。识别攻击性文字类别可由服务管理员或由服务的用户来识别。最高攻击性评分为下列之一:比较多个攻击性文字中的每一个与候选文字而计算的最小值攻击性评分;或者比较多个攻击性文字中的每一个与候选文字而计算的最大值攻击性评分。
附图说明
图1描绘了其中用户可与攻击性文字识别器互动的计算机实施的环境。
图2为描绘用于识别文字串中的攻击性文字的攻击性文字识别器的框图。
图3为描绘了攻击性文字列表的示例源或者对于攻击性文字列表上的文字的贡献。
图4A和图4B描绘了示例攻击性文字列表。
图5为描绘了示例攻击性文字识别器的选定细节的框图。
图6为利用Levenshtein距离计算来描绘攻击性文字识别器的框图。
图7为描绘用作输入过滤器的攻击性文字识别器的框图。
图8为描绘用作输出过滤器的攻击性文字识别器的框图。
图9为描绘包括于攻击性文字列表上的文字标识的框图。
图10为示例用户界面,其中,用户可选择用户认为是攻击性的文字类别来生成攻击性文字列表且选择攻击性阈值。
图11为描绘了攻击性文字识别器的框图,攻击性文字识别器利用用户位置阈值最大值来设置用于标志攻击文字的阈值。
图12描绘了示例界面,其中攻击性文字识别器可用作输入过滤器。
图13描绘了示例用户界面,其中攻击性文字识别器可用作输出过滤器。
图14为描绘了识别文字串中的攻击文字的方法的流程图。
具体实施方式
图1描绘了其中用户102可与攻击性文字识别器104互动的计算机实施的环境。攻击性文字识别器104提供用于节制读者或媒体论坛的提供商认为是攻击性的语言的框架。内容管理系统可用于多种情形中。例如,留言板操作者可配置此留言板的攻击性阈值。用户留言板帖子可被解析,帖子的文字被详细检查攻击性阈值,且包含超过攻击异性阈值的一个或多个用语的帖子可被拒绝、修改以节制攻击性(例如,符号的使用可用于删改攻击性用语:####、%^#等)或以其它方式节制。
在另一示例中,诸如留言板的系统的用户可配置表示其对攻击性语言的个人敏感性的攻击性阈值。用户请求查看的留言板张贴中的内容然后可在通过帖子呈现给用户之前被详细检查。包含超过用户攻击性阈值的一个或多个用语的帖子可被隐藏不让用户看到,可给出警告,包括用户查看包括攻击性语言的帖子的链接,或者可修改该帖子以节制攻击性,诸如通过使用符号来删改有异议的用语。在另一示例中,攻击性文字识别器104可用于到系统的输入和自系统的输出中。
例如,在允许张贴内容评论(诸如新发行的电影的评论)的在线服务中,网站所有者可设置将应用的一个或多个攻击性阈值(例如对于内容评论服务的用户帖子)。例如,网站所有者可在包含适合于儿童的主题的电影(例如,G级电影)类别的评论中对于认为攻击性的用语设置很低阈值,而可对于包括更成人主题的电影类别(例如,R级电影)设置更高的攻击性阈值。然后类别攻击性阈值可应用于用户评论,其中包含认为对于该类别而言是攻击性的用语的帖子可被拒绝或以其它方式节制。
在内容评论服务处的输入过滤器可与一个或多个额外个别用户攻击性过滤器协同工作。个别用户可为其查看体验来标识个人化的攻击性阈值。然后将呈现给该用户的内容评论的文本可在向该用户呈现评论之前被仔细审查。包含超越了用户攻击性阈值的一个或多个用语的帖子可隐藏不让看到或以其它方式节制。
攻击性文字识别器也可用于多种其它情形。例如,在社交网站,用户能向其自己的“墙”设置帖子中用语的攻击性阈值,同时也设置应用于自该社交网站呈现给该用户的内容的个人攻击性阈值。在另一示例中,在公共图书馆,一般的公共赞助人攻击性阈值可设置为低阈值,而图书管理员可被允许经由更少限制阈值来设置更松的过滤器。在另一示例中,在大型多人在线角色扮演游戏(MMORPG)中,游戏设计者可设置用户在玩游戏体验中能“用语言表达”的特定容忍度。比默认容忍度更具攻击性的语言将会被输入过滤器拒绝。游戏玩家(或玩家父母)也可设置对于语言的特定容忍度从而可防止在玩家的屏幕上显示使之“进入游戏”的语言。
攻击性文字识别器104也可用于适应地区攻击性标准。例如,对于攻击性语言具有低阈值的某些国家可防止公民访问被爬虫发现有攻击性语言的网站。可对于自那些国家的访问者,包括爬虫,设置较低攻击性阈值以便不引起可能在该国家导致网站禁止的攻击性拒绝理由。然后可允许自该国家的用户设置低于国家最大值而不是高于它的个人阈值。在其它配置中,国家攻击性阈值可为默认用户攻击性阈值,但可允许用户根据其需要而调整他们的个人阈值更高或更低。
攻击性文字识别器104也可用于离线内容。例如,时事通讯用户可具有在印刷时根据其用户攻击性阈值过滤的时事通讯的个人纸质拷贝。同样,数字书可根据用户个人攻击性阈值而递送给用户设备或者在用户设备上显示。攻击性文字识别器104也可用于其它环境中,诸如文本至语音实施方式。例如,经由文本至语音技术而数字发音的书中的语言可被删除或修改以防止超越用户攻击性阈值的文字的数字语音。
攻击性文字识别器104可通过允许所有者和/或用户过滤攻击性语言以维持内容标准且提供满足内容用户的攻击性容忍度的内容而提高了内容门户和媒体的能力和灵活性。内容管理系统104包含用于识别文字串中的攻击文字的操作或例程。用户102可通过多种方式,诸如通过一个或多个网络108与攻击性文字识别器104互动。可通过(网络)网络108访问的一个或多个服务器106能主控攻击性文字识别器104。一个或多个服务器106对于一个或多个数据贮存器110做出响应来向攻击性文字识别器104提供数据。在包含于一个或多个数据贮存器110中的数据中可存在便于识别攻击文字的攻击性文字112和攻击文字(例如,作为文字串的部分)严重性114的集合。
图2为描绘了用于识别文字串中的攻击性文字的攻击性文字识别器202的框图。用于分析的一个或多个文字的串204被提供为攻击性文字识别器202的输入。攻击性文字识别器202也对于攻击性文字列表206做出响应,攻击性文字列表206包含要与一个或多个文字的串204进行比较的文字列表。基于用于分析的文字串204和攻击性文字列表206,攻击性文字识别器202标志认为可能是攻击性的用于分析的一个或多个文字的串204中的任何攻击文字。
例如,使用攻击性文字的集合(例如,亵渎、猥亵、憎恨言论、淫荡、冒渎、渎神、破坏性等)作为具有分配给它们的各种“严重性”评分的攻击性文字列表206,攻击性文字识别器202可确定从候选文字(在一个或多个文字的串204中)的候选文字到攻击性文字列表206上的文字的距离,来识别在一个或多个文字的串204中的文字“与不良文字的差异有多少”。与不良文字的差异可结合“不良”文字的严重性评分用于生成候选文字的攻击性评分。如果比较候选文字与攻击性文字列表206上的多个文字所生成的最高攻击性评分大于攻击性阈值,那么候选文字可认为是攻击文字(例如,可能对于阈值设置者而言具有攻击性)。这样的攻击性文字识别器202可防止通过对攻击性文字进行微小调整(例如,插入微小错拼,利用看起来类似字母的标点,在字母之间插入空格或标点)而避开攻击性文字识别器202的许多尝试。
攻击性文字列表的内容可来自多种来源。图3为描绘了攻击性文字列表302的示例源或者对于攻击性文字列表302上的文字的贡献。例如,可由网站管理员304生成攻击性文字列表302。网站管理员304(或网站管理员304委任这种指责的其它控制人员)可识别认为是攻击性的文字列表(例如,不应允许出现在其网站上),且单独地或结合攻击性文字识别器利用该文字列表作为攻击性文字列表302。攻击性文字列表302也可由向其呈现内容的用户306生成。用户306可标识在查看内容时不想阅读的文字,且那些标识的文字可作为攻击性文字列表302呈递给攻击性文字识别器。攻击性文字列表302也可由第三方(例如,并非网站管理员304或用户306的某人)提供。第三方可标识常常认为是攻击性的文字集合。这样的文字列表可作为攻击性文字列表302提供给攻击性文字识别器。攻击性文字列表302也可由网站管理员304、用户306、第三方提供者和/或其他人生成以用于攻击性文字识别器。例如,网站管理员可向用户呈现可为了其自己的目的而定制的“默认”文字列表。在另一示例中,用户可共用攻击性文字列表。在另一示例中,攻击性文字列表302可基于用户与已经限定的攻击性文字列表的另一组用户的相似性来创建。
图4A和图4B描绘了示例攻击性文字列表。在图4A的示例中,攻击性文字列表402包括被认为是攻击性的文字集合以及与攻击性文字列表402中的文字中的每一个相关联的严重性评分。攻击性文字列表402可例如存储为相关数据库中的表。严重性评分可指示文字的攻击性程度。例如,某些四字母长度文字比有些人认为是攻击性的其它用语更认为有攻击性。严重性评分表示与其它文字相比这些文字的攻击性程度。在与主流美国文化相关的实施方式中,“F文字”在数据库中可具有最高评分,而文字“Tienneman”可不存在于该特定数据库中。在例如可与亚洲文化的某些社区有关的另一示例中,文字“Tienneman”将具有很高等级,而“F文字”将不存在于该特定数据库中。
图4B描绘了并不包括该列表上的文字的严重性评分的攻击性文字列表404。在攻击性文字列表404上的每个文字可认为总体上是攻击性的。在确定图4B的攻击性文字列表404上的文字的攻击性评分时,在该列表上的文字中每一个可认为具有相等的严重性评分,例如1,且施加给被分析的文字的阈值可相应地调整。
此外,任一示例数据库可任选地包含变换函数集,其允许系统匹配文字的变化与其变型。在数据库并不包含这样的变换函数的情况下,变换函数集可任选地动态地确定。变换函数的一个示例为将字符‘’当做字符‘a’的常规表达。
图5为描绘了示例攻击性文字识别器502的选定细节的框图。攻击性文字识别器502接收用于分析的一个或多个文字的串504和攻击性文字列表506。候选文字可以多种方式从用于分析的一个或多个文字的串504来识别。例如,在空格或标点之间的字符的记号可确定为用于由攻击性文字识别器502分析的候选文字或短语。此外,可从用于分析的文字串504移除空格和标点,且可将其余字符的不同长度的组作为候选文字510提供给攻击性文字识别器502,在多个候选文字的长度作为在一个或多个文字的串504中当前位置的候选文字510提供之后,将一个字符在一个或多个文字的串504中右移。变换函数513可应用于候选文字510以识别可能隐藏在一个或多个文字的串504中的备选候选文字。例如,在候选文字中的所有“”符号可基于其相似的外观而变换为“a”。然后在用于分析的文字串504中的候选文字510(或者变换的候选文字)与攻击性文字列表506中的每个文字512之间执行距离计算508。
例如,距离计算可利用Levenshtein距离计算。Levenshtein可由以下代码来实施:
作为示例,假定文字“merde”与10分的严重性评分相关联。仅使用攻击性文字列表,如果文字“m.e.r.d.e”和“m3rcl3”未出现在攻击性文字列表506中,那么该词的那些变型可能会错过。但是为了包括每个可能攻击性文字的所有变型,攻击性文字列表506将需要非常大。在某些实施方式中,如果利用距离计算508,可维持较短的攻击性文字列表506。在这些实施方式中,可在执行距离计算之前从候选文本中移除诸如空格和标点等的填充文本。在其它实施方式中,任选的变换函数可用于标记在该串的开始和结尾处的字母作为可能“攻击性文字”匹配的边界。在这些实施方式中的每一个实施方式中,然后可执行诸如上文所提到的函数的距离计算。向上述函数中输入攻击性文字列表成员“merde”和候选文字“m3rcl3”返回值4,基于将“m3rcl3”变换为“merde”(例如,“3”为“e”,"c"为“d”,“l”被移除且“3”为“e”)所必需的四个变换。
在某些实施方式中,也可实施其它距离计算过程作为距离计算508。例如,距离计算508可为Hamming距离、Damerau-Levenshtein距离、Dice系数、或Jaro-Winkler距离或其它测量。
距离计算508可输出在文字串504中的候选文字510离攻击性文字列表506中的文字512的距离514。离攻击性文字的距离514和该攻击性文字的严重性评分516被输入到攻击性评分计算518内,其基于在攻击性文字列表506中的一个文字来输出用于候选文字的攻击性评分。可重复距离计算508和攻击性评分计算518来确定在攻击性列表506中的每个文字的候选文字510的攻击性评分。在522比较对于该候选文字510所计算的最大攻击性评分520与攻击性阈值。如果最大攻击性评分520确定候选文字510比攻击性阈值更具有攻击性,那么,候选文字510被标志为攻击文字524。虽然攻击文字在本文中常常被称作具有大于攻击性阈值的攻击性评分,应了解某些实施例可在候选文字的攻击性评分小于攻击性阈值的情况下识别该候选文字为攻击文字。
攻击性阈值表示个人对于敏感文字的敏感性,其中如果文字的攻击性评分超过攻击性阈值,那么该文字可能由该攻击性阈值相关联的人认为是攻击性的。备选地,并不超过攻击性阈值的文字可能对于该攻击性阈值相关联的人而言并不是攻击性的。例如,如果用户能忍受“中度咒骂”,这些最具有攻击性的四字母文字之一的直接呈现将由攻击性文字识别器标志。一个示例将为在美国主流文化中使用以字母‘f’开头的特定四字母文字。在此示例中,如果单词“frick”替代地输入到系统内,而该单词隐含的“意义”仍是很严重的词,离试实际四字母单词的字母距离较远,因此,字母“frick”可能未被识别为攻击文字。此外,对于喜欢零咒骂的用户而言,单词“frick”将具有高于用户攻击性文字容忍度的评分且将被标志为攻击者单词。
图6为利用Levenshtein距离计算来描绘攻击性文字识别器602的框图。攻击性文字识别器602接收用于分析的一个或多个文字的串604且也对于攻击性文字列表602做出响应。攻击性文字识别器602使用Levenshtein距离计算612比较在文字串604中的候选文字608与在攻击性文字列表606中的每个文字606。所计算的离当前攻击性文字的距离以及当前攻击性文字的严重性评分616被输入到严重性评分计算618内。例如,攻击性评分可计算为:
评分=A*((B-C)/B),
其中A为在攻击性文字列表606中的当前攻击性文字610的严重性评分,B为攻击性文字610的长度,以及C为在候选文字608与当前攻击性文字610之间的计算的距离614。
例如,在其中单词“merde”具有10分的严重性评分和长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中,可如下来填充上述公式:
评分=10*((5-4)/5)=2。
将经由用候选文字608和在攻击性文字列表606中的文字610中每一个进行比较和计算得到的最大攻击性评分620与阈值在622进行比较以判断候选文字608是否被标志为攻击性文字624。因此,如果“merde”对于该串“m3rcl3”具有最高攻击性评分2,如果所应用的攻击性阈值小于(或者在某些实施例中)等于2,那么攻击性文字识别器602将标志该串,“m3rcl3”为攻击文字。阈值可设置为在攻击性文字列表606中所存在的最低严重性评分到最高严重性评分的范围(例如从0到10)或者设置为在该范围外的其它值。使用从0到10的数值范围,攻击性阈值可由对于攻击性语言具有低容忍度的人来设置为3,而具有更高容忍度的人可使用攻击性阈值8。所利用的阈值变化可根据所用的严重性评分(或者不使用严重性评分)、所用的攻击性评分计算方法以及其它因素而不同。
可由攻击性文字识别器602来利用其它攻击性评分计算。例如,如果使用相似性度量,诸如Jaro-Winkler距离或相似性指数作为在距离计算中距离度量的替代,那么可根据反距离计算来计算攻击性评分计算(使用单词相似性的非零的安全假设):
评分=A*((B-(1/C))/B),
其中A为在多个攻击性文字中的攻击性文字的严重性评分;其中B为攻击性文字的长度的函数(其中该函数可为攻击性文字本身的长度),且其中C为在候选文字与攻击性文字之间的计算的距离。
评分=10*((5-(1/.44))/5)=4.5(四舍五入到一个有效位)
在此示例中,如先前示例,可能的计算值的范围应是无限的,因为文字严重性的值是无限的,但网站管理员能限定满足该网站的特定需要的适当数值范围。必须指出的是尽管此算法需要相似性评分的非零值,此为实际的限制,因为候选文字或短语将有条件地与根攻击性文字具有某些相似性以便首先触发分析。
也可执行攻击性评分计算使得并不利用自攻击性文字列表606的文字长度来规范化评分,如下:
评分=Max(((A-C)/A),0)
例如,在其中单词“merde”具有10分的严重性评分和长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中,可如下来填充上述公式:
评分=Max(((10-4)/10),0)=Max((6/10),0)=.6
在此示例中,基于示例基础算法的特定计算的值总是在[0..1]的范围且因此阈值数值范围应适应此范围。
作为另一示例,在攻击性文字列表606并不包括每个条目的严重性评分的情况下,或者每个条目具有相同的严重性评分,那么可调整攻击性阈值(例如,如果在攻击性文字列表606中的所有文字认为具有严重性1,那么攻击性阈值可设置在0与1之间),使得文字根据下式来标志:
‘攻击性’=(((B-C)/B)>T),
其中T为攻击性阈值。
例如,在其中单词“merde”出现在文字数据库中且具有长度5且在“merde”与“m3rcl3”之间所计算的Levenshtein距离为4的上述示例中,可如下来填充上述公式:
((5-4)/5)=.2
在此示例中,在评分等于或大于0.2的情况下限定文字为攻击性的任何阈值将文字“m3rcl3”标记为攻击性的。同样,基于示例基础算法的特定计算的值总是在[0..1]的范围且因此阈值数值范围应适应此范围。
图7为描绘用作输入过滤器的攻击性文字识别器702的框图。攻击性文字过滤器702接收用户输入串704。例如,用户输入串704可为向留言板提交的帖子。攻击性文字识别器702也对于攻击性文字列表706做出响应。经由距离计算712来比较在用户输入串704中的候选文字708与在攻击性文字列表710中的文字710。离攻击性文字列表706中的文字710的候选文字708的距离在714输出,其与自攻击性文字列表710的当前文字710的严重性评分710一起变成为攻击性评分计算718的输入。在718所计算的最大攻击性评分720是基于候选文字708与在攻击性文字列表706中的每个文字710的比较。在722比较最大攻击性评分720与攻击性阈值。如果在用户输入串704中的文字被识别为攻击文字(例如超过了最大攻击性评分720),可在724处拒绝用户输入704(例如,在用户输入串704中的文字)。
图8为描绘用作输出过滤器的攻击性文字识别器802的框图。攻击性文字过滤器802接收到用户系统的候选输出804。例如,到用户系统的候选输出804可为由用户请求显示的留言板帖子。攻击性文字识别器802也对于攻击性文字列表806做出响应。经由距离计算812比较到用户系统的候选输出804中的候选文字808与在攻击性文字列表806中的攻击性文字列表806。在814输出离攻击性文字列表806中的文字810的距离。此输出然后与自攻击性文字列表806的当前文字的严重性评分816一起输入到攻击性评分计算818。在818所计算的最大攻击性评分820是基于候选文字808与在攻击性文字列表806中的每个文字810的比较。在822比较最大攻击性评分820与攻击性阈值。如果在到用户系统的候选输出804中的文字被识别为攻击文字(例如,超过了攻击阈值822),到用户系统的候选输出804可在824被修改(例如,经由使用符号来删改攻击者文字)
图9为描绘标识包括于攻击性文字列表902上的文字的框图。如上文所指出的那样,不同的人对于攻击性语言具有不同的容忍度且不同类型的攻击性文字对人的影响可不同。例如,虽然俚语可能会对某些人具有攻击性,那些俚语可能会被另一些人很好地接受。为了适应这些差别,可生成定制攻击性文字列表902。例如可将攻击性文字分为在子列表904、906、908上的一个或多个类别。例如,子列表1904可包含被认为种族攻击性的文字,子列表2906可包含被认为性攻击性的文字,且子列表3903可包含被认为是攻击性的俚语。攻击性文字列表发生器910可接收人认为是攻击性的文字912的标识。人确定为攻击性的那些类别912可包括于攻击性文字列表902上,而包含未标识的类别的那些子列表可能不包括于攻击性文字列表902上。
图10为其中用户能选择用户认为是攻击性的文字类别的示例用户界面1000。那些选定的攻击性文字可用于生成攻击性文字列表且选择攻击性阈值。示例用户界面1000包括账户偏好部分1001。在1003处的第一控件允许选择描述用户对于“强烈语言”容忍度的选项的选择。这个选择可用于设置该用户的攻击性阈值。例如,在使用0-10的攻击性阈值的系统中,选择“Do not allow strong language(不允许强烈语言)”可导致对于该用户设置攻击性阈值1,选择“I tolerate moderate language(我容忍中度语言)”可导致对于该用户设置攻击性阈值4,且选择“I am receptive to stronglanguage(我接受强烈语言)”导致对于该用户设置攻击性阈值8。账户偏好1001还包括用于选择在1004应过滤哪类强烈语言的控件。例如,控件1004可列出以下类别、咒骂(Swearing)、俚语(Slang)、种族歧视(RacialSlur)、青少年导向、酒精相关、药物相关、宗教相关。这些类别中的每一个可对应于如关于图9所描述的子列表。该系统也可包括“用户限定的”子选择和填充,由此,用户能输入他个人发现是攻击性的文字,其可合并到攻击性文字列表内。当用户保存他的设置时,可构建个人化的攻击性文字列表,其包括自包含在控件1004中所选的文字类别的子列表中每一个的文字。
图11为描绘了攻击性文字识别器1102的框图,攻击性文字识别器1102利用用户位置阈值最大值1104来设置用于标志攻击文字的阈值。攻击性文字过滤器1102接收用于分析的一个或多个文字的串1106。攻击性文字识别器1102也对于攻击性文字列表1108做出响应。经由距离计算1114来比较用于分析的一个或多个文字的串1106中的候选文字1110与攻击性文字列表1108中的文字1112。在1116输出候选文字1110离攻击性文字列表1108中的文字1112的距离。此输出与来自攻击性文字列表1108的当前文字1112的严重性评分1118一起变成到攻击性评分计算1120的输入。在1120所计算的最大攻击性评分1122是基于候选文字1110与在攻击性文字列表1108中的每个文字1112的比较。在1124比较最大攻击性评分1122与攻击性阈值。可基于用户位置阈值最大值1104来设置攻击性阈值。
例如,在某些国家,用户位置阈值最大值1104可根据本地道德标准来设置使得人不能设置大于用户位置阈值最大值1104的用户攻击性容忍度。在某些实施方式中,可允许用户经由用户容忍度指示1126来设置比用户位置阈值最大值1104更严格的阈值。在另一实施方式中,用户位置阈值可设置为在该位置的用户的默认阈值。该用户然后经由用户容忍度指示1126自由设置更高或更低的个人攻击性阈值(例如,基于该用户的个人攻击性容忍度)。如果候选文字1110具有大于设置阈值(例如,在用户位置)的最大攻击性评分1122,那么候选文字1110可在1128被标志为攻击文字。
攻击性文字识别器1102也可允许基于用户的位置来定制攻击性阈值和攻击性文字列表1108。例如,如果地理区域具有与该区域相关联的第一攻击性文字列表且用户具有与他相关联的个人攻击性文字列表,那么攻击性文字识别器1102可利用地区攻击性文字列表与用户攻击性文字列表的并集或交集作为分析一个或多个文字的串的攻击性文字列表1108。此外,可基于用户位置来利用不同的攻击性阈值。例如,较低的攻击性阈值可用于公共家庭区,诸如起居室中的电视机机顶盒中,而更高的攻击性阈值可用于父母卧室中的机顶盒中。
图12描绘了示例用户界面1200,其中攻击性文字识别器可用作输入过滤器。用户界面1200包括用于内容评论入口的媒体门户,其包括用于观看视频媒体1201的界面,以及到用于输入可在媒体播放器界面1201中查看的内容的用户评论的表单1205的链接1203。在经由评论表单1205起草且提交了用户评论之后,攻击性文字识别器可审查所提交的评论文本。如果在所提交的评论文本中的任何文字被攻击性文字识别器标志(例如,文字的计算的攻击性评分具有大于网站所有者所确定的网站或类别攻击性阈值),那么所提交的评论文本可被拒绝或修改以节制攻击性。此外,提交的用户可被通知他的帖子被拒绝或修改。
图13描绘了示例用户界面1300,其中攻击性文字识别器可用作输出过滤器。用户界面1300包括媒体门户,其包括用于观看视频媒体的界面1301,以及到用于阅读可在媒体播放器界面1301中查看的内容的用户评论的界面1305的链接1303。在选择了访问评论的链接1303时,攻击性文字识别器可在1305审查要呈现给用户的评论内容。如果在待呈现的评论中的任何文字由攻击性文字识别器标志(例如,文字具有计算的攻击性评分,其标识文字为比用户标识的攻击性阈值更具有攻击性),那么那些评论可不呈现给用户。此外,可删改所标志的攻击性文字,或者可采取其它节制措施来最小化用户的攻击。
图14为描绘了识别文字串中的攻击性文字的方法1400的流程图。在1402,使用一个或多个处理器接收多个攻击性文字,其中在多个攻击性字中的每个相应攻击性文字与标识该文字的攻击性的严重性评分相关联。在1404,接收文字串,其中候选文字选自文字串;和在1406,计算在候选文字与多个攻击性文字中的每个攻击性文字之间的距离。在1408,对于多个攻击性文字中的每个攻击性文字和候选文字基于所计算的距离和严重性评分来计算攻击性评分,从而计算多个攻击性评分。在1412,关于候选文字是否为攻击文字做出判断,其中在多个攻击性评分中的最高攻击性评分超过攻击性阈值时认为候选文字为攻击性文字。
在此说明中所描述的主题的实施例和功能操作可实施于数字电子电路或计算机软件、固件或硬件中,包括在本说明书中公开的结构和其结构等效物或它们中一个或多个的组合。在本说明书中所描述的主题的实施例可实施为一个或多个计算机程序产品,即,在计算机可读介质上编码以由数据处理设备执行或控制数据处理设备操作的计算机程序指令的一个或多个模块。
计算机可读介质可为机器可读存储设备,机器可读存储基板、存储设备、影响到机器可读传播信号的物质组合物或者它们中一个或多个的组合。用语“数据处理设备”涵盖用于处理数据的所有装置、设备和机器,包括(例如)可编程的处理器、计算机或多个处理器或计算机。该设备可包括,除了硬件之外,创建相所讨论的计算机程序的执行环境的代码,例如,构成处理器固件的代码,协议栈、数据库管理系统,操作系统,或它们中一个或多个的组合。所传播的信号为人为生成的信号,例如,机器生成的电、光和电磁信号,其被生成以对用于传输到合适接收器设备的信息进行编码。
计算机程序(也被称作程序、软件、软件应用程序、脚本或代码),可以任何形式的编程语言写成,包括编译或翻译语言,且其能以任何形式部署,包括作为独立程序或模块、构件、子例程或适用于计算环境中的其它单元。计算机程序未必对应于在文件系统中的文件。程序可存储于保持其它程序或数据的文件的一部分中(例如,存储于标记语言文档中的一个或多个脚本),专用于所讨论的程序的单个文件中,或者多个协作的文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可被部署为在一个或多个计算机上执行,多个计算机位于一个位点或在多个位点分布且由通信网络互连。
在本说明书中所描述的过程和逻辑流程可由一个或多个可编程的处理器来执行,可编程的处理器执行一个或多个计算机程序以通过操作输入数据且生成输出而执行功能。过程和逻辑流程也可由专用逻辑电路来执行且设备也可实施为专用逻辑电路,例如FPGA(场可编程的门阵列)或ASIC(专用集成电路)。适合于执行计算机程序的处理器包括(例如)通用和专用微处理器;和任何类型的数字计算机的任何一个或多个处理器。通常,处理器将接收从只读存储器或随机存取存储器或二者的指令和数据。计算机的基本元件为用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。
一般而言,计算机还可包括用于存储数据的一个或多个大容量存储设备或在操作上联接成从一个或多个大容量存储设备接收数据或向其转移数据或既接收也转移数据,大容量存储器为例如磁盘、磁光盘或光盘。但是,计算机并非必需具有这样的设备。此外,计算机可嵌入于另一设备中,例如,移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器,仅给出几个例子。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备,包括(例如)半导体存储设备,例如,EPROM、EEPROM和闪速存储设备;磁盘,例如内置硬盘或可移除的盘;磁光盘;和CD ROM和DVD ROM盘。处理器和存储器可由专用逻辑电路来实施或者合并于专用逻辑电路中。
为了提供与用户的互动,在本说明书中所描述的主题的实施例能实施于计算机上,计算机具有:显示设备,例如CRT(阴极射线管)至LCD(液晶显示器)监视器,用于向用户显示信息;键盘;以及点击设备,例如鼠标或跟踪球,用户能用它来向计算机提供输入。其它类型的设备也可用于提供与用户互动;例如,提供给用户的反馈可呈感觉反馈的任何形式,例如,视觉反馈,听觉反馈或触觉反馈;且自用户的输入能以任何形式接收,包括声、语音或触觉输入。
在本说明书中所描述的主题的实施例能实施于计算系统中,计算系统包括后端构件,例如,作为数据服务器;或者其包括中间件构件,例如应用程序服务器;或者其包括前端构件,例如具有图形用户界面或网页浏览器的客户端计算机,用户能用它来与本说明书中所描述的主题的实施方式互动,或者一个或多个这样的后端、中间件或前端构件的任何组合。该系统的构件可由任何形式或介质的数字数据通信(例如,通信网络)而互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”),例如因特网。
计算系统可包括客户端和服务器。客户端和服务器通常彼此离得较远且通常通过通信网络互动。客户端与服务器的关系利用计算机程序来产生,计算机程序运行于相应计算机上且彼此具有客户端服务器关系。
在某些实施方式中,内部人士可为对于下列中的一个或多个表现出兴趣的第三方:处理,营销,促销,管理,包装,推销,履行,交货,分销,发许可证或实行内容和/或内容相关的数据。在某些实施方式中,内部人士可认为是内容提供商。内容提供商可为对于内容和/或内容相关数据进行分销、发许可证和/或次级发许可证表现出兴趣的任何人。内容提供商可包括(但不限于)内容和/或内容相关数据的分销商、子分销商和许可证持有者。在某些实施方式中,内容提供商能执行与本文所提供的系统和方法相关联的任何和所有功能。应了解由内容创建者执行的任何和所有功能也可由内容提供商来执行。
虽然本说明书包含许多具体细节,这些具体细节不应理解为限制所要求保护的本发明的范围,而是作为本发明的特定实施例的具体特点的描述。在说明书中在上下文或单独实施例中描述的某些特点也可与单个实施例组合地实施。相反,在单个实施例的情形中描述的各种特点也可单独地或以任何合适子组合实施于多个实施例中。此外,尽管特点可在上文中描述以特定组合起作用且甚至最初要求保护这样,自所要求保护的组合的一个或多个特点能在某些情况下从该组合去除,且所要求保护的组合可针对于子组合或子组合的变型。
同样,虽然操作在附图中以特定次序描述,这不应认为要求这样的操作以图示的特定次序或循序的顺序来执行,或者执行所有图示操作来实现所需结果。在某些情形中,多任务和并行处理可为有利的。此外,在上文所述的实施例中的各种系统构件的分开不应理解为要求在所有实施例中这样分开,且应了解所描述的程序构件和系统可通常在单个软件产品中集成在一起或者包装到多个软件产品中。
因此,描述了本发明的特定实施例,其它实施例在下文的权利要求的范围内。例如,在说明书中陈述的动作能以不同的次序来执行且仍实现所需结果。
Claims (38)
1.一种方法,其包括:
使用一个或多个处理器来接收多个攻击性文字,其中在所述多个攻击性文字中的每个相应攻击性文字与标识该相应文字的攻击性的严重性评分相关联;
接收文字串,其中候选文字选自所述文字串;
对于在所述多个攻击性文字中的每个相应攻击性文字,计算候选文字与所述相应攻击性文字之间的距离;
计算所述候选文字的多个攻击性评分,所述多个攻击性评分中的每个攻击性评分基于(i)在所述候选文字与所述多个攻击性文字中的攻击性文字之间的所计算的距离和(ii)所述攻击性文字的严重性评分;以及
基于所述候选文字的多个攻击性评分中的最高评分是否超过了攻击性阈值来判断所述候选文字是否为攻击文字。
2.根据权利要求1所述的方法,其特征在于,所述多个攻击性文字中的每个文字和所述文字串中的每个文字包括简写、单个文字、短语或句子。
4.根据权利要求1所述的方法,其特征在于,所述攻击性阈值由服务管理员设置;
其中所述文字串从用户输入到服务;以及
其中如果在所述文字串中的候选文字由于具有超过所述服务管理员所设置的攻击性阈值的攻击性评分而被识别为攻击文字,则拒绝自所述用户到所述服务的输入。
5.根据权利要求4所述的方法,其特征在于,所述服务为内容评论入口,且其中所述攻击性阈值基于下列之一来设置:其中存在被评论的内容的内容分组;所述攻击性阈值相关联的特定内容;以及内容的第三方内容分级。
6.根据权利要求5所述的方法,其特征在于,所述内容分组包括主题的特定分类、类型、地理原产地,其中所述地理包括国家、州、城市、公国或者它们的区域或子区域的集合,专业或政府认证或分级的组、或行业节日或事件精选。
7.根据权利要求4所述的方法,其特征在于,所述服务选自下列的组:
留言板、内容评论入口、聊天室、电子布告栏系统、社交网站和多人游戏。
8.根据权利要求1所述的方法,其特征在于:
所述攻击性阈值由服务用户来设置;
所述文字串为从所述服务到所述用户的有意输出;以及
包含因攻击性评分超过所述用户设置的所述攻击性阈值而被识别为攻击文字的文字串在显示给所述用户之前被修改。
9.根据权利要求8所述的方法,其特征在于,根据下列之一来修改所述文字串:
删除所述文字串使得所述文字串并不显示给所述用户;
从所述文字串删除所述攻击性文字使得所述攻击性文字不显示给所述用户;
删改所述文字串使得所述文字串并不显示给所述用户;或者,
从所述文字串删改所述攻击性文字使得所述攻击性文字不显示给所述用户。
10.根据权利要求8所述的方法,其特征在于,所述多个攻击性文字和攻击性阈值是基于对所述用户所确定的文化规范来设置。
11.根据权利要求8所述的方法,其特征在于,所述多个攻击性文字和攻击性阈值基于政府机构限定的定义来设置,所述政府机构对于用户或者与所述用户相关联的非政府机构具有管辖权。
12.根据权利要求8所述的方法,其特征在于,对于用户设置最大攻击性阈值,且其中所述用户不能设置高于所述最大攻击性阈值的攻击性阈值。
13.根据权利要求1所述的方法,其特征在于,包含因攻击性评分超过所述设置的攻击性阈值而被识别为攻击文字的文字串被拒绝输入到所述系统内。
14.根据权利要求1所述的方法,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=A*((B-C)/B);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
15.根据权利要求1所述的方法,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=A*((B-(1/C)/B);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
16.根据权利要求1所述的方法,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=Max(((A-C)/A),0);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
17.根据权利要求1所述的方法,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=(((B-C)/B)>T);
其中,
攻击性文字的严重性评分具有为1的隐含值;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
18.根据权利要求1所述的方法,其特征在于,所述多个攻击性文字和标识所述多个攻击性文字中每一个的严重性评分由用户、服务管理员、第三方或其任何组合来标识。
19.根据权利要求1所述的方法,其特征在于,所述最高攻击性评分为下列之一:
比较所述多个攻击性文字中的每一个与所述候选文字而计算的最小值攻击性评分;或者
比较所述多个攻击性文字中的每一个与所述候选文字而计算的最大值攻击性评分。
20.一种计算机实施的系统,包括:
数据处理器;
计算机可读存储器,其利用指令编码以命令所述数据处理器来执行包括下列的步骤:
使用一个或多个处理器来接收多个攻击性文字,其中在所述多个攻击性文字中的每个相应攻击性文字与标识该相应文字的攻击性的严重性评分相关联;
接收文字串,其中候选文字选自所述文字串;
对于在所述多个攻击性文字中的每个相应攻击性文字,计算候选文字与所述相应攻击性文字之间的距离;
计算所述候选文字的多个攻击性评分,所述多个攻击性评分中的每个攻击性评分基于(i)所述候选文字与所述多个攻击性文字中的攻击性文字之间的所计算的距离,和(ii)所述攻击性文字的严重性评分;以及
基于所述候选文字的多个攻击性评分中的最高评分是否超过了攻击性阈值来判断所述候选文字是否为攻击文字。
21.根据权利要求20所述的系统,其特征在于,在所述多个攻击性文字中的每个文字和所述文字串中的每个文字包括简写、单个文字、短语或句子。
22.根据权利要求20所述的系统,其特征在于,所述距离被计算为:Levenshtein距离、Hamming距离、Damerau-Levenshtein距离、Dice系数、相似性指数、或Jaro-Winkler距离。
23.根据权利要求20所述的系统,其特征在于,所述攻击性阈值由服务管理员设置;
其中所述文字串从用户输入到服务;以及
其中如果在所述文字串中的候选文字由于具有超过所述服务管理员所设置的攻击性阈值的攻击性评分而被识别为攻击者字,则拒绝从所述用户向所述服务的输入。
24.根据权利要求23所述的系统,其特征在于,所述服务为内容评论入口,且其中所述攻击性阈值基于下列之一来设置:其中存在所述被评论的内容的所述内容的分组;所述攻击性阈值相关联的特定内容;以及内容的第三方内容分级。
25.根据权利要求24所述的系统,其特征在于,所述内容分组包括主题的特定分类、类型、地理原产地,其中所述地理包括国家、州、城市、公国或者它们的区域或子区域的集合,专业或政府认证或分级的组、或行业节日或事件精选。
26.根据权利要求23所述的系统,其特征在于,所述服务选自下列的组:
留言板、内容评论入口、聊天室、电子布告栏系统、社交网站和多人游戏。
27.根据权利要求20所述的系统,其特征在于,:
所述攻击性阈值由服务用户来设置;
所述文字串为从所述服务到所述用户的有意输出;以及
包含因攻击性评分超过所述用户设置的所述攻击性阈值而被识别为攻击文字的文字串在显示给所述用户之前被修改。
28.根据权利要求27所述的系统,其特征在于,根据下列之一来修改所述文字串:
删除所述文字串使得所述文字串并不显示给所述用户;
从所述文字串删除所述攻击性文字使得所述攻击性文字不显示给所述用户;
删改所述文字串使得所述文字串并不显示给所述用户;或者,
从所述文字串删改所述攻击性文字使得所述攻击性文字不显示给所述用户。
29.根据权利要求27所述的系统,其特征在于,所述多个攻击性文字和攻击性阈值是基于对于所述用户所确立的文化规范来设置。
30.根据权利要求27所述的系统,其特征在于,所述多个攻击性文字和攻击性阈值基于政府机构限定的定义来设置,所述政府机构对于用户或者与所述用户相关联的非政府机构具有管辖权。
31.根据权利要求27所述的系统,其特征在于,对于用户设置最大攻击性阈值,且其中所述用户不能设置高于所述最大攻击性阈值的攻击性阈值。
32.根据权利要求20所述的系统,其特征在于,包含因攻击性评分超过所述设置的攻击性阈值而被识别为攻击文字的文字串被拒绝输入到所述系统内。
33.根据权利要求20所述的系统,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=A*((B-C)/B);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
34.根据权利要求20所述的系统,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=A*((B-(1/C)/B);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
35.根据权利要求20所述的系统,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=Max(((A-C)/A),0);
其中,
A为在所述多个攻击性文字中的攻击性文字的严重性评分;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
36.根据权利要求20所述的系统,其特征在于,候选文字的攻击性评分根据下式来计算:
攻击性评分=(((B-C)/B)>T);
其中,
攻击性文字的严重性评分具有为1的隐含值;
B为所述攻击性文字的长度的函数;以及
C为在所述候选文字与所述攻击性文字之间的计算的距离。
37.根据权利要求20所述的系统,其特征在于,所述多个攻击性文字和标识所述多个攻击性文字中每一个的严重性评分由用户、服务管理员、第三方或其任何组合来确定。
38.根据权利要求20所述的系统,其特征在于,所述最高攻击性评分为下列之一:
比较所述多个攻击性文字中的每一个与所述候选文字而计算的最小值攻击性评分;或者
比较所述多个攻击性文字中的每一个与所述候选文字而计算的最大值攻击性评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710208077.1A CN107402948B (zh) | 2010-01-29 | 2011-01-28 | 进行文字攻击性检测和处理的系统和方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/696,991 US8296130B2 (en) | 2010-01-29 | 2010-01-29 | Systems and methods for word offensiveness detection and processing using weighted dictionaries and normalization |
US12/696,991 | 2010-01-29 | ||
PCT/US2011/022889 WO2011094516A1 (en) | 2010-01-29 | 2011-01-28 | Systems and methods for word offensiveness detection and processing using weighted dictionaries and normalization |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710208077.1A Division CN107402948B (zh) | 2010-01-29 | 2011-01-28 | 进行文字攻击性检测和处理的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103098050A true CN103098050A (zh) | 2013-05-08 |
CN103098050B CN103098050B (zh) | 2017-05-24 |
Family
ID=43736137
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180017473.7A Expired - Fee Related CN103098050B (zh) | 2010-01-29 | 2011-01-28 | 使用加权字典和正规化来进行文字攻击性检测和处理的系统和方法 |
CN201710208077.1A Active CN107402948B (zh) | 2010-01-29 | 2011-01-28 | 进行文字攻击性检测和处理的系统和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710208077.1A Active CN107402948B (zh) | 2010-01-29 | 2011-01-28 | 进行文字攻击性检测和处理的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (4) | US8296130B2 (zh) |
EP (1) | EP2529322A1 (zh) |
CN (2) | CN103098050B (zh) |
WO (1) | WO2011094516A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106033548A (zh) * | 2015-03-13 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN106911717A (zh) * | 2017-04-13 | 2017-06-30 | 成都亚信网络安全产业技术研究院有限公司 | 一种域名检测方法及装置 |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9262394B2 (en) * | 2010-03-26 | 2016-02-16 | Nec Corporation | Document content analysis and abridging apparatus |
US8738377B2 (en) | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
US9253304B2 (en) * | 2010-12-07 | 2016-02-02 | International Business Machines Corporation | Voice communication management |
WO2012116208A2 (en) * | 2011-02-23 | 2012-08-30 | New York University | Apparatus, method, and computer-accessible medium for explaining classifications of documents |
US9706247B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Synchronized digital content samples |
US9703781B2 (en) | 2011-03-23 | 2017-07-11 | Audible, Inc. | Managing related digital content |
US8948892B2 (en) | 2011-03-23 | 2015-02-03 | Audible, Inc. | Managing playback of synchronized content |
US8855797B2 (en) | 2011-03-23 | 2014-10-07 | Audible, Inc. | Managing playback of synchronized content |
US9734153B2 (en) | 2011-03-23 | 2017-08-15 | Audible, Inc. | Managing related digital content |
US8965752B2 (en) | 2011-10-06 | 2015-02-24 | International Business Machines Corporation | Filtering prohibited language formed inadvertently via a user-interface |
US9075760B2 (en) | 2012-05-07 | 2015-07-07 | Audible, Inc. | Narration settings distribution for content customization |
US20130304727A1 (en) * | 2012-05-11 | 2013-11-14 | Joseph Shu Yan Poon | Method and system for managing social network data |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9317500B2 (en) | 2012-05-30 | 2016-04-19 | Audible, Inc. | Synchronizing translated digital content |
US9141257B1 (en) | 2012-06-18 | 2015-09-22 | Audible, Inc. | Selecting and conveying supplemental content |
US8972265B1 (en) | 2012-06-18 | 2015-03-03 | Audible, Inc. | Multiple voices in audio content |
US9536439B1 (en) | 2012-06-27 | 2017-01-03 | Audible, Inc. | Conveying questions with content |
US9679608B2 (en) | 2012-06-28 | 2017-06-13 | Audible, Inc. | Pacing content |
US9189965B2 (en) | 2012-06-29 | 2015-11-17 | International Business Machines Corporation | Enhancing posted content in discussion forums |
US10109278B2 (en) | 2012-08-02 | 2018-10-23 | Audible, Inc. | Aligning body matter across content formats |
US9367196B1 (en) | 2012-09-26 | 2016-06-14 | Audible, Inc. | Conveying branched content |
US9632647B1 (en) | 2012-10-09 | 2017-04-25 | Audible, Inc. | Selecting presentation positions in dynamic content |
US9223830B1 (en) | 2012-10-26 | 2015-12-29 | Audible, Inc. | Content presentation analysis |
CN103914491B (zh) * | 2013-01-09 | 2017-11-17 | 腾讯科技(北京)有限公司 | 对优质用户生成内容的数据挖掘方法和系统 |
US9280906B2 (en) | 2013-02-04 | 2016-03-08 | Audible. Inc. | Prompting a user for input during a synchronous presentation of audio content and textual content |
US9472113B1 (en) | 2013-02-05 | 2016-10-18 | Audible, Inc. | Synchronizing playback of digital content with physical content |
US10303762B2 (en) * | 2013-03-15 | 2019-05-28 | Disney Enterprises, Inc. | Comprehensive safety schema for ensuring appropriateness of language in online chat |
US9317486B1 (en) | 2013-06-07 | 2016-04-19 | Audible, Inc. | Synchronizing playback of digital content with captured physical content |
US10853572B2 (en) * | 2013-07-30 | 2020-12-01 | Oracle International Corporation | System and method for detecting the occureances of irrelevant and/or low-score strings in community based or user generated content |
US9489360B2 (en) | 2013-09-05 | 2016-11-08 | Audible, Inc. | Identifying extra material in companion content |
JP5930217B2 (ja) * | 2013-10-03 | 2016-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 特定のテーマに依存して危険表現となりうる表現を検出する方法、並びに、当該表現を検出するための電子装置及びその電子装置用プログラム |
US20150309987A1 (en) * | 2014-04-29 | 2015-10-29 | Google Inc. | Classification of Offensive Words |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US10250538B2 (en) * | 2014-06-14 | 2019-04-02 | Trisha N. Prabhu | Detecting messages with offensive content |
US11095585B2 (en) * | 2014-06-14 | 2021-08-17 | Trisha N. Prabhu | Detecting messages with offensive content |
US10445770B2 (en) * | 2014-08-01 | 2019-10-15 | Facebook, Inc. | Identifying malicious text in advertisement content |
US10592841B2 (en) * | 2014-10-10 | 2020-03-17 | Salesforce.Com, Inc. | Automatic clustering by topic and prioritizing online feed items |
US9984166B2 (en) | 2014-10-10 | 2018-05-29 | Salesforce.Com, Inc. | Systems and methods of de-duplicating similar news feed items |
US20160162576A1 (en) * | 2014-12-05 | 2016-06-09 | Lightning Source Inc. | Automated content classification/filtering |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
RU2626663C2 (ru) * | 2015-06-30 | 2017-07-31 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и сервер для создания предложений по завершению поисковых запросов |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11727198B2 (en) | 2016-02-01 | 2023-08-15 | Microsoft Technology Licensing, Llc | Enterprise writing assistance |
US9875230B2 (en) | 2016-04-08 | 2018-01-23 | International Business Machines Corporation | Text analysis on unstructured text to identify a high level of intensity of negative thoughts or beliefs |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10402491B2 (en) * | 2016-12-21 | 2019-09-03 | Wipro Limited | System and method for creating and building a domain dictionary |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US10839153B2 (en) * | 2017-05-24 | 2020-11-17 | Microsoft Technology Licensing, Llc | Unconscious bias detection |
US10803247B2 (en) * | 2017-12-12 | 2020-10-13 | Hartford Fire Insurance Company | Intelligent content detection |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11423920B2 (en) * | 2018-09-28 | 2022-08-23 | Rovi Guides, Inc. | Methods and systems for suppressing vocal tracks |
US10943143B2 (en) * | 2018-12-28 | 2021-03-09 | Paypal, Inc. | Algorithm for scoring partial matches between words |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11295088B2 (en) * | 2019-11-20 | 2022-04-05 | Apple Inc. | Sanitizing word predictions |
US11670286B2 (en) * | 2019-12-31 | 2023-06-06 | Beijing Didi Infinity Technology And Development Co., Ltd. | Training mechanism of verbal harassment detection systems |
US11664043B2 (en) | 2019-12-31 | 2023-05-30 | Beijing Didi Infinity Technology And Development Co., Ltd. | Real-time verbal harassment detection system |
CN116670754A (zh) * | 2020-10-08 | 2023-08-29 | 调节公司 | 用于内容审核的多阶段自适应系统 |
US12026465B2 (en) | 2020-12-22 | 2024-07-02 | Direct Cursus Technology L.L.C | Method and system for classifying word as obscene word |
US11789989B1 (en) | 2021-06-30 | 2023-10-17 | Amazon Technologies, Inc. | Automatically detecting unacceptable content pairs |
US20230129314A1 (en) * | 2021-10-26 | 2023-04-27 | Microsoft Technology Licensing, Llc | Multilingual Content Recommendation Pipeline |
US11875130B1 (en) * | 2023-07-25 | 2024-01-16 | Intuit Inc. | Confidence generation for managing a generative artificial intelligence model |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6782510B1 (en) * | 1998-01-27 | 2004-08-24 | John N. Gross | Word checking tool for controlling the language content in documents using dictionaries with modifyable status fields |
CN1801140A (zh) * | 2004-12-30 | 2006-07-12 | 中国科学院自动化研究所 | 一种机器翻译模板自动获取方法及装置 |
CN1834965A (zh) * | 2005-03-17 | 2006-09-20 | 国际商业机器公司 | 用于评估搜索引擎的质量的方法和系统 |
CN101359329A (zh) * | 2008-04-01 | 2009-02-04 | 北京恒金恒泰信息技术有限公司 | 基于浏览器的过滤色情软件插件 |
CN101388019A (zh) * | 2007-09-13 | 2009-03-18 | 英赛特半导体有限公司 | 文献字段标准化的方法 |
Family Cites Families (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6154579A (en) * | 1997-08-11 | 2000-11-28 | At&T Corp. | Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique |
US6972802B2 (en) * | 1997-10-21 | 2005-12-06 | Bray J Richard | Language filter for home TV |
US6075550A (en) * | 1997-12-23 | 2000-06-13 | Lapierre; Diane | Censoring assembly adapted for use with closed caption television |
US20020013692A1 (en) * | 2000-07-17 | 2002-01-31 | Ravinder Chandhok | Method of and system for screening electronic mail items |
US20020116629A1 (en) * | 2001-02-16 | 2002-08-22 | International Business Machines Corporation | Apparatus and methods for active avoidance of objectionable content |
US20020174132A1 (en) * | 2001-05-04 | 2002-11-21 | Allresearch, Inc. | Method and system for detecting unauthorized trademark use on the internet |
AU2002314309A1 (en) * | 2001-06-11 | 2002-12-23 | C-Burn Systems Ltd | Selecting tracks from a jukebox via a wireless communications device |
US7003725B2 (en) * | 2001-07-13 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Method and system for normalizing dirty text in a document |
US7433923B2 (en) * | 2001-10-03 | 2008-10-07 | Reginald Adkins | Authorized email control system |
US8135711B2 (en) * | 2002-02-04 | 2012-03-13 | Cataphora, Inc. | Method and apparatus for sociological data analysis |
US8170904B1 (en) * | 2002-08-02 | 2012-05-01 | Andre De Moraes | Apparatus, method and system for comparative collaborative creative works evaluation |
US20060168006A1 (en) * | 2003-03-24 | 2006-07-27 | Mr. Marvin Shannon | System and method for the classification of electronic communication |
US8082563B2 (en) * | 2003-07-25 | 2011-12-20 | Home Box Office, Inc. | System and method for content access control through default profiles and metadata pointers |
US7653621B2 (en) * | 2003-07-30 | 2010-01-26 | Oracle International Corporation | Method of determining the similarity of two strings |
US20050060140A1 (en) * | 2003-09-15 | 2005-03-17 | Maddox Paul Christopher | Using semantic feature structures for document comparisons |
US8655837B2 (en) * | 2003-09-30 | 2014-02-18 | Aspect Software, Inc. | Data session notification means and method |
US7644127B2 (en) * | 2004-03-09 | 2010-01-05 | Gozoom.Com, Inc. | Email analysis using fuzzy matching of text |
US20050204005A1 (en) * | 2004-03-12 | 2005-09-15 | Purcell Sean E. | Selective treatment of messages based on junk rating |
US7594277B2 (en) * | 2004-06-30 | 2009-09-22 | Microsoft Corporation | Method and system for detecting when an outgoing communication contains certain content |
US7437290B2 (en) * | 2004-10-28 | 2008-10-14 | Microsoft Corporation | Automatic censorship of audio data for broadcast |
US8291065B2 (en) * | 2004-12-02 | 2012-10-16 | Microsoft Corporation | Phishing detection, prevention, and notification |
US20060155728A1 (en) * | 2004-12-29 | 2006-07-13 | Jason Bosarge | Browser application and search engine integration |
US20090055189A1 (en) * | 2005-04-14 | 2009-02-26 | Anthony Edward Stuart | Automatic Replacement of Objectionable Audio Content From Audio Signals |
US20070162318A1 (en) * | 2005-11-08 | 2007-07-12 | Kaulkin Information Systems, Llc | System And Method For Managing Business Processes |
US20070118372A1 (en) * | 2005-11-23 | 2007-05-24 | General Electric Company | System and method for generating closed captions |
US20070118364A1 (en) * | 2005-11-23 | 2007-05-24 | Wise Gerald B | System for generating closed captions |
US20070168853A1 (en) * | 2006-01-05 | 2007-07-19 | Jarman Matthew T | Apparatus, system and method for creation, delivery and utilization of recommended multimedia filter settings |
WO2007084167A1 (en) * | 2006-01-17 | 2007-07-26 | Truespan, Inc. | Error resilience methods for multi-protocol encapsulation forward error correction implementations |
US7664343B2 (en) * | 2006-01-23 | 2010-02-16 | Lockheed Martin Corporation | Modified Levenshtein distance algorithm for coding |
US8135694B2 (en) * | 2006-03-13 | 2012-03-13 | Adobe Systems Incorporated | Augmenting the contents of an electronic document with data retrieved from a search |
US20070245417A1 (en) * | 2006-04-17 | 2007-10-18 | Hojae Lee | Malicious Attack Detection System and An Associated Method of Use |
US20080010271A1 (en) * | 2006-04-25 | 2008-01-10 | Davis Hugh C | Methods for characterizing the content of a web page using textual analysis |
US7739289B2 (en) * | 2006-05-15 | 2010-06-15 | Microsoft Corporation | Reviewing user-created content before website presentation |
WO2008025008A2 (en) * | 2006-08-24 | 2008-02-28 | Neustar, Inc. | System and method for filtering offensive information content in communication systems |
US10204316B2 (en) * | 2006-09-28 | 2019-02-12 | Leaf Group Ltd. | User generated content publishing system |
EP2080127A2 (en) * | 2006-11-01 | 2009-07-22 | Bloxx Limited | Methods and systems for web site categorisation training, categorisation and access control |
US8045808B2 (en) * | 2006-12-04 | 2011-10-25 | Trend Micro Incorporated | Pure adversarial approach for identifying text content in images |
US8204182B2 (en) * | 2006-12-19 | 2012-06-19 | Nuance Communications, Inc. | Dialect translator for a speech application environment extended for interactive text exchanges |
US7937097B2 (en) * | 2007-02-27 | 2011-05-03 | Jerry Keller Kelley | Method, system, and computer program product for anonymously/privately exchanging text messages |
US8176055B1 (en) * | 2007-03-27 | 2012-05-08 | Google Inc. | Content entity management |
US8146136B1 (en) * | 2007-06-15 | 2012-03-27 | Amazon Technologies, Inc. | Automated acceptance or rejection of consumer correction submissions |
US20090089417A1 (en) * | 2007-09-28 | 2009-04-02 | David Lee Giffin | Dialogue analyzer configured to identify predatory behavior |
US8965888B2 (en) * | 2007-10-08 | 2015-02-24 | Sony Computer Entertainment America Llc | Evaluating appropriateness of content |
US8725490B2 (en) * | 2007-10-18 | 2014-05-13 | Yahoo! Inc. | Virtual universal translator for a mobile device with a camera |
US8468440B2 (en) * | 2007-12-21 | 2013-06-18 | The Invention Science Fund I, Llc | Look ahead of links/alter links |
US8140528B2 (en) * | 2008-02-06 | 2012-03-20 | Disney Enterprises, Inc. | Method and system for managing discourse in a virtual community |
US10867123B2 (en) * | 2009-11-09 | 2020-12-15 | Microsoft Technology Licensing, Llc | Social browsing |
US20090271490A1 (en) * | 2008-04-25 | 2009-10-29 | Rudi Seitz | Communication Protocols Based on Mutuality |
US20090292775A1 (en) * | 2008-05-20 | 2009-11-26 | Scott Wayne Flenniken | Method and process for the Forensic Inspection of real time streams FIRST Engine |
US8180630B2 (en) * | 2008-06-06 | 2012-05-15 | Zi Corporation Of Canada, Inc. | Systems and methods for an automated personalized dictionary generator for portable devices |
US8301454B2 (en) * | 2008-08-22 | 2012-10-30 | Canyon Ip Holdings Llc | Methods, apparatuses, and systems for providing timely user cues pertaining to speech recognition |
WO2010053981A2 (en) * | 2008-11-05 | 2010-05-14 | Eric Bosco | Systems and methods for adverrtising on content-screened web pages |
CN101452469B (zh) * | 2008-12-24 | 2011-03-23 | 天津大学 | 基于攻击模式的软件安全缺陷库系统及其管理方法 |
US8904547B2 (en) * | 2009-01-05 | 2014-12-02 | International Business Machines Corporation | Notification upon exposure to offensive behavioral patterns in collaboration |
US20100280828A1 (en) * | 2009-04-30 | 2010-11-04 | Gene Fein | Communication Device Language Filter |
US8694357B2 (en) * | 2009-06-08 | 2014-04-08 | E-Rewards, Inc. | Online marketing research utilizing sentiment analysis and tunable demographics analysis |
US8549627B2 (en) * | 2009-06-13 | 2013-10-01 | Microsoft Corporation | Detection of objectionable videos |
US9092069B2 (en) * | 2009-06-16 | 2015-07-28 | Intel Corporation | Customizable and predictive dictionary |
US8380649B2 (en) * | 2009-07-10 | 2013-02-19 | International Business Machines Corporation | Application of normative rules in a virtual universe |
US9973821B2 (en) * | 2009-09-03 | 2018-05-15 | Fox Broadcasting Company | Method and apparatus for concurrent broadcast of media program and social networking derived information exchange |
US8473281B2 (en) * | 2009-10-09 | 2013-06-25 | Crisp Thinking Group Ltd. | Net moderator |
WO2011072125A2 (en) * | 2009-12-09 | 2011-06-16 | Zemoga, Inc. | Method and apparatus for real time semantic filtering of posts to an internet social network |
US8301653B2 (en) * | 2010-01-25 | 2012-10-30 | Glenn Adamousky | System and method for capturing and reporting online sessions |
US8688727B1 (en) * | 2010-04-26 | 2014-04-01 | Google Inc. | Generating query refinements |
-
2010
- 2010-01-29 US US12/696,991 patent/US8296130B2/en active Active
-
2011
- 2011-01-28 EP EP11704881A patent/EP2529322A1/en not_active Withdrawn
- 2011-01-28 WO PCT/US2011/022889 patent/WO2011094516A1/en active Application Filing
- 2011-01-28 CN CN201180017473.7A patent/CN103098050B/zh not_active Expired - Fee Related
- 2011-01-28 CN CN201710208077.1A patent/CN107402948B/zh active Active
-
2012
- 2012-10-18 US US13/654,722 patent/US9703872B2/en active Active
-
2017
- 2017-07-10 US US15/645,063 patent/US10534827B2/en active Active
-
2019
- 2019-05-31 US US16/427,883 patent/US20190286677A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6782510B1 (en) * | 1998-01-27 | 2004-08-24 | John N. Gross | Word checking tool for controlling the language content in documents using dictionaries with modifyable status fields |
CN1801140A (zh) * | 2004-12-30 | 2006-07-12 | 中国科学院自动化研究所 | 一种机器翻译模板自动获取方法及装置 |
CN1834965A (zh) * | 2005-03-17 | 2006-09-20 | 国际商业机器公司 | 用于评估搜索引擎的质量的方法和系统 |
CN101388019A (zh) * | 2007-09-13 | 2009-03-18 | 英赛特半导体有限公司 | 文献字段标准化的方法 |
CN101359329A (zh) * | 2008-04-01 | 2009-02-04 | 北京恒金恒泰信息技术有限公司 | 基于浏览器的过滤色情软件插件 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106033548A (zh) * | 2015-03-13 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN106033548B (zh) * | 2015-03-13 | 2021-04-20 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN106911717A (zh) * | 2017-04-13 | 2017-06-30 | 成都亚信网络安全产业技术研究院有限公司 | 一种域名检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2529322A1 (en) | 2012-12-05 |
US9703872B2 (en) | 2017-07-11 |
US20110191105A1 (en) | 2011-08-04 |
CN107402948B (zh) | 2021-06-08 |
US20170308615A1 (en) | 2017-10-26 |
WO2011094516A1 (en) | 2011-08-04 |
CN107402948A (zh) | 2017-11-28 |
CN103098050B (zh) | 2017-05-24 |
US20190286677A1 (en) | 2019-09-19 |
US8296130B2 (en) | 2012-10-23 |
US20130041655A1 (en) | 2013-02-14 |
US10534827B2 (en) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103098050B (zh) | 使用加权字典和正规化来进行文字攻击性检测和处理的系统和方法 | |
US8868408B2 (en) | Systems and methods for word offensiveness processing using aggregated offensive word filters | |
US9201880B2 (en) | Processing a content item with regard to an event and a location | |
Spradling et al. | Protection from ‘fake news’: The need for descriptive factual labeling for online content | |
JP5884740B2 (ja) | 時系列文書要約装置、時系列文書要約方法および時系列文書要約プログラム | |
Aghajari et al. | Reviewing interventions to address misinformation: the need to expand our vision beyond an individualistic focus | |
Heins et al. | Internet filters: A public policy report | |
Macedo | Lost in the marketplace of ideas: Towards a new constitution for free speech after Trump and Twitter? | |
Wu et al. | Statistical analysis of dispelling rumors on Sina Weibo | |
Juozapavičius et al. | Age and gender impact on password hygiene | |
Balkin et al. | Filtering the internet: A best practices model | |
Cheong et al. | Safeguarding human values: rethinking US law for generative AI’s societal impacts | |
Wang et al. | The paradox of information Control under authoritarianism: explaining trust in competing messages in China | |
Hamby et al. | Sensational stories: The role of narrative characteristics in distinguishing real and fake news and predicting their spread | |
CN108038101B (zh) | 一种篡改文本的识别方法及装置 | |
Choi et al. | Profile update: the effects of identity disclosure on network connections and language | |
Chen | Protect children online safety on social media and mobile platforms | |
Birrer et al. | What we know and don’t know about deepfakes: An investigation into the state of the research and regulatory landscape | |
Wan et al. | Data mining technology application in false text information recognition | |
Chan et al. | Getting lost in cities: spatial patterns of phonetically confusing street names | |
Peters | How Libel Law Applies to Automated Journalism | |
Stravato Emes | Is it about “them”? leveraging big data research to understand anti-immigrant discourse | |
Wang et al. | Source Matters? Exploring the Effects of Source Congeniality on Corrections of False Information on Twitter | |
Balkin et al. | Filtering the Internet: A Best Practices Model by members of the Information Society Project at Yale Law School | |
Bandlow et al. | Human-Constrained Indicators of Gatekeeping Behavior as a Role in Information Suppression: Finding Invisible Information and the Significant Unsaid |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170524 |