CN105378707A - 情感反馈 - Google Patents

Abstract

在各种实现中描述了与情感反馈相关联的技术。在一个示例性实现中，一种方法可以包括生成与文档相关联的所提议的情感结果，所提议的情感结果基于被应用于文档的规则集而生成。所述方法还可以包括接收关于所提议的情感结果的反馈，所述反馈包括与文档相关联的实际情感和指示实际情感的文档的特征。所述方法还可以包括基于反馈而标识对规则集的所提议的修改。

Description

情感反馈

背景技术

情感分析一般是指分析诸如文档之类的内容源以确定由内容源所传达的特定反应或态度。例如，诸如网站上的电影评论或社交媒体站点上的评注之类的文档一般可以被认为具有正面、负面或中性的口吻或内涵。除了这些基本反应类型以外，一些情感分析系统还可以能够标识更复杂的情绪反应，诸如生气、高兴或悲伤。

情感分析可以充当用于希望理解个体或群体如何看待组织本身或者组织的供给物的组织的有用工具。例如，组织可以使用情感分析来主动管理和保护其相应声誉，诸如通过跨任何数目的散布渠道而监视关于它们正在写或说了什么，所述渠道包括例如在新闻出路（outlet）中发表的文章、广播视频片段、发表在因特网上的用户生成的内容和/或经由其它通信渠道。作为另一示例，组织可以将情感分析用于市场营销目的，例如以分析和理解特定细分市场关于特定产品或与组织和/或其产品相关联的广告想到了什么。情感分析还可以使用在多个其它有用的上下文中。

附图说明

图1是依照本文所描述的实现的示例性情感分析环境的概念图。

图2是依照本文所描述的实现的用于基于情感反馈而修改情感分析规则集的示例性过程的流程图。

图3是依照本文所描述的实现的用于处理情感反馈的示例性计算系统的框图。

图4是依照本文所描述的实现的示例性系统的框图。

具体实施方式

许多情感分析系统利用某种形式的基于规则的模型来分析和确定与给定文档相关联的情感。在给定情感分析系统中限定和应用的规则集可以是任意复杂的，范围从相对简单化到极其详细和复杂。例如，在仅具有三个规则的非常基本和简单化的系统中，如果文档包括词语“良好”而没有词语“糟糕”，则其被认为具有正面口吻，如果文档包括词语“糟糕”而没有词语“良好”，则其被认为具有负面口吻，并且否则，文档被认为具有中性口吻。

更复杂的情感分析系统可以利用显著更高数目的规则、显著更复杂的规则和/或可以使用来自机器学习的原理以创建意图覆盖宽得多的范围的场景的相对精密的规则集。可以应用在情感分析上下文中的机器学习方法的示例可以包括潜在语义分析、支持向量机、“词袋”和其它适当的技术。

不管多么基本或多么复杂的任何基于规则的情感分析系统的共同特性都在于其仅可以如其规则集所允许的那样准确。因而，到目前为止已经使用的情感分析方法中没有一个能够实现完美的准确性，所述完美的准确性可以被定义为总是与大多数人类观察者将会选择为“正确”或“实际”的情感的内容相匹配。考虑到可以由情感分析系统所分析的源的类型的多样性（例如网页、在线新闻源、因特网讨论组、在线评论、博客、社交媒体等），情况可能通常是特定的情感分析系统在分析特定类型的源时可以展现出高水平的准确性，但是在分析不同类型的源时可能不太准确。换言之，情感分析系统通常有意或无意地被调谐成在给定上下文中工作得最好。

本文所描述的是用于通过提供关于由相应系统生成的情感结果的更加有用和详细的反馈来改善基于规则的情感分析系统的准确性的技术。所述系统虑及对文档的“正确”情感以及指示实际情感的文档的一个特征（或多个特征）进行指示的反馈，而不是仅仅在给定情形中提供“正确”的情感结果。基于更加详细的反馈，情感分析系统的规则集可以以更加有针对性的方式被更新。本文所描述的技术可以结合具有相对简单化或相对复杂的规则集的情感分析系统一起使用以改善那些系统的准确性。这些和其它可能的益处和优点将从附图和从随后的描述中显而易见。

图1是依照本文所描述的实现的示例性情感分析环境100的概念图。如所示，环境100包括被配置成执行情感分析引擎112的计算系统110。环境100的示例性拓扑可以代表各种情感分析环境。然而，应当理解到的是，环境100的示例性拓扑仅出于说明性的目的而被示出，并且可以对配置做出各种修改。例如，环境100可以包括不同或附加的组件，或者组件可以以与所示出的不同的方式被实现。而且，虽然计算系统110一般被图示为独立的服务器，但是应当理解到的是，计算系统110在实践中可以是任何适当类型的计算设备，诸如服务器、刀片式服务器、大型机、膝上型计算机、台式计算机、工作站或其它设备。计算系统110还可以表示计算设备的群组，诸如服务器农场、服务器集群或者单独或一起操作以执行本文所描述的功能性的计算设备的其它群组。

在运行时期间，情感分析引擎112可以用于分析任何适当类型的文档，并且生成对文档或文档的特定部分的情感或口吻进行指示的情感结果。取决于情感分析引擎112的配置，引擎可以能够在例如基于文本的文档114a、音频、视频或多媒体文档114b和/或文档集114c上执行情感分析。在音频、视频或多媒体文档114b的情况中，情感分析引擎112可以被配置成原生地分析文档，或者可以包括将文档的音频、视频或多媒体部分转换成文本以供基于文本的情感分析的“到文本”转换器（例如语音到文本转录模块或图像到文本模块）。情感分析引擎112还可以被配置成在具有或没有“到本文”转换的情况下、在其它适当类型的文档上执行情感分析。

由情感分析引擎112生成的情感结果可以一般地包括与文档或与文档的特定部分相关联的情感（例如正面、负面、中性等）。情感结果还可以包括其它信息。例如，情感结果可以包括在生成与文档相关联的情感中所牵涉的一个或多个特定规则。还可以称为经触发的规则的这样的所牵涉的规则可以帮助解释为何针对特定文档标识了特定情感。作为另一示例，情感结果可以包括情感所应用于的文档的特定部分。作为另一示例，情感结果可以包括与文档的不同部分相关联的多个情感，并且还可以包括相应情感中的每一个所应用于的文档的相应部分。

情感结果可以以不同的方式被使用，这取决于实现。例如，在一些情况中，情感结果可以用于在已经分析了文档之后标记文档（例如通过使用元数据标记模块），使得文档自身的元数据包含与文档相关联的一个或多个情感。在其它情况中，情感结果或其部分可以简单地返回给用户。例如，用户可以向情感分析引擎112提供文档并且情感结果可以返回给用户，例如经由诸如显示器之类的用户接口。还可以实现针对情感结果的其它适当运行时使用。

以上描述的运行时场景一般通过情感分析引擎112向输入文档应用预先存在的规则集以生成情感结果而不考虑情感结果是否准确来进行操作。本描述的其余部分一般涉及使用本文所描述的情感反馈技术以改善情感分析系统的准确性的情感分析训练场景。然而，在一些情况中，所有或部分的情感分析训练场景还可以在运行时期间实现以连续地精细调谐系统的规则集。例如，情感分析系统的终端用户可以提供与在训练系统（如以下描述的）中所显式涉及的用户的相类似的信息，并且这样的终端用户提供的信息可以用于以与基于训练者反馈的这样的改善类似的方式而改善情感分析的准确性。在各种实现中，终端用户反馈可以显式地（例如以类似于训练者反馈的方式）、隐式地（例如通过分析与情感结果相关联的终端用户行为，诸如点通或其它间接行为）或某种组合地被提供。

在显式系统训练场景期间，情感分析引擎112可以与以上描述的运行时场景类似地操作。例如，情感分析引擎112可以分析输入文档，并且可以生成对文档或文档的特定部分的情感或口吻进行指示的情感结果。然而，训练场景中的情感结果可以被认为是所提议的情感结果，而不是作为代表系统对特定文档的见解的绝对情感。与训练者对情感的确定相匹配的所提议的情感结果可以用于增强如可适用于不同使用情况的某些规则，而不与训练者对情感的确定相匹配的所提议的情感结果可以指示规则集不完整，或者可能不正确地限定了某些规则（例如，如包含过度、包含不足或二者）。

所提议的情感结果可以一般地包括与文档或与文档的特定部分相关联的情感（例如正面、负面或中性）。所提议的情感结果还可以包括其它信息。例如，所提议的情感结果可以包括在生成与文档相关联的情感中所牵涉的一个或多个特定规则（例如经触发的规则）。作为另一示例，所提议的情感结果可以包括情感所应用于的文档的特定部分。作为另一示例，所提议的情感结果可以包括与文档的不同部分相关联的多个所提议的情感，以及那些所提议的情感应用于的文档的相应部分。作为另一示例，所提议的情感结果可以包括在确定情感时所标识的特定字典词语。作为另一示例，所提议的情感结果可以包括被标识为带有特定情感而讨论的特定话题。应当理解的是，情感结果可以包括这些或其它类型的信息的任何适当的组合。

所提议的情感结果可以被提供（例如，如通过箭头116所示）给训练者，诸如系统管理员或其他适当的用户。例如，情感结果可以显示在计算设备118的用户接口上。训练者然后可以将关于所提议的情感结果的反馈提供回给情感分析引擎112（例如，如通过箭头120所示）。反馈可以例如经由计算设备118的用户接口来提供。

关于所提议的情感结果的反馈可以包括与文档相关联的实际情感以及指示实际情感的文档的一个特征（或多个特征）。例如，训练者可以标识文档的正确情感和最指示正确情感的特定特征，并且可以向情感分析引擎112提供这样的反馈。基于包括“什么”和“为何”与实际情感相关联的更加详细的反馈（而不是仅标识实际情感是什么），情感分析引擎112可以以更加有针对性的方式更新其规则集。

例如，在描述对于实验的积极成果的十五页期刊文章的情况中，文章的摘要可以包括诸如“良好”或“经改善”或“积极”之类的多个一般正面的术语，但是文章的主体可能包括术语“不正确”或“糟糕”或“失败”的若干更多出现以例如标识之前的方法和为何那些之前的方法不成功。假定基本情感分析规则集，其将特定词语标识为正面或负面，并且还包括简单地对正面与负面术语的出现进行计数并且基于更高的无论哪一个计数而指派情感的规则，以上所描述的文章可能被系统认为在口吻上是负面的，即使阅读文章的训练者将会认为口吻是正面的。在该情况中，实际情感（由训练者确定为是正面的）将不同于所提议的情感（被系统确定为是负面的）。

在这样的情况中，简单地反馈系统弄错了，例如实际情感应当是正面的而不是负面的，这可以经证明对系统是稍微有用的（所述系统然后可以更新其针对该特定文档的情感结果），但是可能在对将更加准确地预测其它类似文档的情感的经更新的一个规则（或多个规则）进行标识方面对系统而言并不那么有用。因而，依照在此描述的技术，训练者还可以标识指示实际正面情感的文档的特征（例如摘要的文本，其如与整个文章的文本相对），并且情感分析规则集可以以更加有针对性的方式被更新，例如通过如与文章的其它部分中的术语相对地给予摘要中的术语更大的权重，或者通过以其它方式调整规则集使得实现准确的结果。在一些情况中，对规则集的不同修改可以被提议和/或测试以确定对系统的最全面或最佳适合的调整。

对情感分析规则集的其它更新可以类似地基于特定术语或短语位于特定文档内的哪里（例如位于标题、摘要、概述、结论或其它适当章节中的术语可以被认为更重要或者至少对情感进行更多指示，并且因此被给予更大的权重）。类似地，可以基于关于文档自身的内容（例如文本）的反馈来更新其它规则。例如，训练者可以标识被规则集中的规则误处置的特定短语或其它文本使用，并且可以指向如指示文档的实际情感的文档中的该文本。继续该示例，文档可以包括短语“并不良好”，朴素（）的系统可能将其视为正面的，因为其包括术语“良好”，并且训练者可以指示“并不良好”的经修改的使用是与正面情感进行相反指示的（contraindicative）。

以上所描述的基于文本的示例相对简单化并且用于说明情感反馈系统的基本操作，但是应当理解到的是，反馈机制还可以使用在更加复杂的场景中。例如，反馈机制可以允许训练者标识更加复杂的语言模式或上下文，诸如通过标识各种语言学方面，包括前缀、后缀、关键词、短语使用、讽刺、反语和/或嘲仿。通过标识这样的语言模式和/或上下文的具体实例，情感分析系统可以被训练成标识类似的模式和/或上下文，并且相应地分析它们，例如通过实现规则集中的附加或经修改的规则。

除了存在于文档内容中的基于文本的特征之外，训练者还可以提供将与文档相关联的分类标识为指示实际情感的另一特征的反馈。与文档相关联的分类可以包括任何适当的分类器，诸如文档的概念话题、所检验的内容的类型和/或文档上下文，以及可以与文档相关联的其它分类器，诸如作者、语言、发表日期、来源等等。这些分类器可以指示文档的实际情感，例如通过提供其中要应用与文本和/或文档的其它内容相关联的语言学规则的上下文。

在一些情况中，取决于术语或短语使用在其中的上下文，特定术语或短语可以具有多个含义（有时甚至是相反的含义）。例如，以德语所写的关于良好执行的浴室翻修的文档可能包括词语“bad（沐浴）”的多个实例，其在英语中被翻译成“bath（沐浴）”。如果文档的上下文（即源语言）未被理解成德语，则系统将很可能基于词语“bad”的多个实例而将负面口吻赋于文档，即使文档实际上包括了对浴室翻修的热烈赞扬。因而，系统可以通过实现以下规则而得以改进：如果该词语使用在德语语言的文档中，则所述规则不将负面内涵赋予“bad”。

作为另一示例，取决于上下文，词语“hysterical（异常兴奋/歇斯底里）”可以被认为非常正面（例如在情景喜剧或喜剧演员的评论中）或者可以被认为非常负面（例如在描述人的行为中）。因而，系统可以通过实现以下规则而得以改进：所述规则一般基于文档的概念话题而评估词语“hysterical”的正面或负面内涵。

在一些实现中，训练者可以提供包括文档的所选部分以及与文档相关联的分类二者的反馈，这二者或其组合指示文档的实际情感。基于这样的反馈，情感分析系统可以被更新以标识特定上下文中的类似短语使用，并且相应地确定正确的情感，例如通过实现规则集中的附加或经修改的规则。

图2是依照本文所描述的实现的用于基于情感反馈而修改情感分析规则集的示例性过程200的流程图。过程200可以例如由诸如图1中图示的情感分析引擎112之类的情感分析引擎来执行。为了呈现的清楚，随后的描述使用图1中图示的情感分析引擎112作为用于描述过程的示例的基础。然而，应当理解的是，另一系统或系统的组合可以用于执行过程或过程的各种部分。

过程200开始于块210，其中基于被应用于文档的规则集而生成与文档相关联的所提议的情感结果。例如，情感分析引擎112可以基于由引擎实现的规则集来生成针对特定文档的所提议的情感。

在一些情况中，情感分析引擎112还可以从规则集中标识影响所提议的情感结果的一个或多个经触发的规则，并且可以使经触发的规则被显示给用户。继续以上描述的期刊文章示例，经触发的规则可以包括将术语“良好”、“经改善”和“积极”限定为指示正面情感的规则、将术语“不正确”、“糟糕”和“失败”限定为指示负面情感的规则以及基于正面相关或负面相关术语的较大计数而确定情感的一般规则。这些规则中的每一个将会在生成总体所提议的情感结果中被触发，因此每一个规则可以被显示给用户。这样的信息可以帮助用户理解为何生成特定情感结果。在一些情况中，经触发的规则的数目可以相当众多，并且因此情感分析引擎112可以替代地仅显示在生成所提议的情感结果中触发的较高阶规则。例如，在以上示例中，系统可以仅向用户显示“较大计数”规则。在一些实现中，在必要时，还可以允许用户下钻（drilldown）到较高阶规则中以查看同样影响所提议的情感结果的附加较低阶规则。

在块220处，接收关于所提议的情感结果的反馈。反馈可以包括与文档相关联的实际情感和指示实际情感的文档的特征。例如，情感分析引擎112可以（例如从训练者或从另一适当用户）接收对文档的实际情感以及最指示实际情感的文档的特征进行标识的反馈。在一些实现中，指示实际情感的文档的特征可以包括来自文档的内容的部分（例如，最指示实际情感的自文档的选择）。在一些实现中，指示实际情感的文档的特征可以包括与文档相关联的分类（例如与文档相关联的概念话题或语言）。在一些实现中，反馈可以包括文档的所选部分以及与文档相关联的分类二者，这二者或其组合指示文档的实际情感。

在块230处，基于所接收的反馈而标识对规则集的所提议的修改。例如，情感分析引擎112可以基于对最指示文档的实际情感的文档的特征进行标识的反馈而标识新规则或对规则集中现有规则的改变。

在对现有规则的改变的情况中，情感分析引擎112可以基于反馈而确定如果所提议的情感结果不匹配实际情感的话则在所提议的情感结果的生成期间触发的一个或多个现有规则被不正确地限定（例如包含不足、包含过度或二者）。在这样的情况中，情感分析引擎112可以基于在反馈中所标识的特征而生成对一个或多个所触发的规则的所提议的修改。在一些情况中，经触发的规则和对经触发的规则的所提议的改变可以被显示给用户。

作为简单的示例，如果规则集的现有规则陈述了包括词语“很糟（terrible）”的所有文档要被认为具有负面情感，则当训练者确定了对儿童在“可怕（terrible）的两岁”期间的不可思议的成长进行描述的文档实际上在口吻上是正面的时，规则可以被标识为包含过度。响应于倾向于反驳更一般规则的该使用情况，情感分析引擎112可以标识对“terrible（很糟）”规则的一个或多个所提议的修改，诸如通过当使用在特定上下文中时反对负面内涵、通过标识对一般规则的特定例外、或者通过其它可能的修改。

在新规则的情况中，情感分析引擎112可以基于反馈而确定被标识为指示实际情感的文档的特征在生成所提议的情感结果时未被使用，这可以指示规则集不包括适当的规则以捕获存在于被分析文档中的特定场景。在这样的情况中，情感分析引擎112可以基于在反馈中所标识的特征而生成将添加到规则集的新的所提议的规则。

在一些情况中，情感分析引擎112还可以使对规则集的所提议的修改（新的规则或对现有规则的改变）被显示给用户，并且可以要求来自用户的确认：即对规则集的这样的所提议的修改是可接受的。例如，情感分析引擎112可以使所提议的修改被显示给提供反馈的训练者，并且可以仅响应于接收到用户对所提议的改变的确认而应用对规则集的所提议的改变。

在一些实现中，情感分析引擎112还可以基于对规则集的所提议的修改而标识将会被类似或不同地分析的其它已知文档（例如，自之前分析的文档的语料库）。在这样的实现中，可以向用户显示通知，其指示将会类似或不同地被分析的文档，例如使得用户可以理解应用这样的修改的潜在后果。通过标识可能受对规则集的所提议的修改所影响的文档，系统可以帮助防止其中当修复其它问题时产生新的情感分析问题的情形。

在一些情况中，可以提议和/或测试对规则集的不同修改以确定对系统的最全面或最佳适合的调整。例如，情感分析引擎112可以标识对规则集的多个可能修改，其中的每一个将达成“正确”的情感结果并且其还将满足反馈的约束。在这样的情况中，情感分析引擎112可以丢弃作为可能修改的、将不利地影响之前分析的文档的“正确”情感的任何修改。

图3是依照本文所描述的实现的用于处理情感反馈的示例性计算系统300的框图。在一些实现中，计算系统300可以用于执行以上关于图1的计算系统110所描述的功能性的某些部分或全部和/或执行图2中图示的过程200的某些部分或全部。

计算系统300可以包括处理器310、存储器320、接口330、情感分析器340、规则更新器350以及分析规则和数据储存库360。应当理解的是，在此示出的组件仅仅用于说明性目的，并且在一些情况中，关于特定组件所描述的功能性可以由一个或多个不同或附加的组件来执行。类似地，应当理解的是，功能性的部分或全部可以组合到比所示出的更少的组件中。

处理器310可以被配置成处理用于由计算系统300执行的指令。指令可以存储在非暂时性、有形的计算机可读存储介质上，诸如在存储器320中或在分离的存储设备（未示出）上，或者在存储指令以使可编程处理器执行本文所描述的技术的任何其它类型的易失性或非易失性存储器上。可替换地或附加地，计算系统300可以包括专用硬件，诸如一个或多个集成电路、专用集成电路（ASIC）、专用特殊处理器（ASSP）、现场可编程门阵列（FPGA）或专用硬件的前述示例的任何组合，以用于执行本文所描述的技术。在一些实现中，可以使用多个处理器，在适当时，连同多个存储器和/或多个类型的存储器。

接口330可以实现在硬件和/或软件中，并且可以被配置成例如提供情感结果并且接收和响应于由一个或多个用户提供的反馈。例如，接口330可以被配置成接收或定位要分析的文档或文档集，向训练者提供所提议的情感结果（或情感结果集），并且接收和响应于训练者所提供的反馈。接口330还可以包括一个或多个用户接口，所述用户接口允许用户（例如训练者或系统管理员）直接与计算系统300交互，例如以手动地限定或修改规则集中的规则，所述规则集可以存储在分析规则和数据储存库360中。示例性用户接口可以包括触摸屏设备、定点设备、键盘、语音输入接口、可视输入接口等。

情感分析器340可以在一个或多个处理器（例如处理器310）上执行，并且可以使用被存储在分析规则和数据储存库360中的规则集而分析文档以确定与文档相关联的所提议的情感结果。例如，情感分析器340可以解析文档以确定被包括在文档中的术语和短语、文档的结构以及与文档相关联的其它相关信息。情感分析器340然后可以将来自情感分析规则集的任何可适用的规则应用于经解析的文档以确定所提议的情感结果。在通过使用情感分析器340确定了所提议的情感结果之后，可以向用户提供所提议的情感以供回顾和反馈，例如经由接口330。

规则更新器350可以在一个或多个处理器（例如处理器310）上执行，并且可以接收关于所提议的情感结果的反馈。反馈可以包括与文档相关联的实际情感，例如，如用户所确定的。反馈还可以包括指示（例如最指示）实际情感的文档的特征。例如，用户可以标识特定特征（例如，特定的短语或其它语言学使用、文档的特别相关的章节或者文档的特定分类），或者特征的某种组合，其支持用户对实际情感的评估。

响应于接收到反馈，规则更新器350可以基于反馈而生成对规则集的所提议的修改，如以上所描述的那样。例如，规则更新器350可以建议添加一个或多个新的规则以覆盖之前在规则集中并未限定的使用情况，或者可以建议修改规则集中的一个或多个现有规则以在现有规则上进行修正或改进。

分析规则和数据储存库360可以被配置成存储由情感分析器340使用的情感分析规则集。除了规则集之外，储存库360还可以存储其它数据，诸如关于之前分析的文档及其对应的“正确”情感的信息。通过存储关于之前分析的文档的这样的信息，计算系统300可以确保对规则集的所提议的修改不影响之前分析的文档。例如，规则更新器350可以生成可以修复不正确的情感结果的、对规则集的多个所提议的修改，其中的一些与其它相比将实现对规则集的更宽的改变。如果规则更新器350确定了所提议的修改中之一将不利地影响之前分析的文档的“正确”情感，则更新器350可以丢弃作为可能性的那个所提议的修改，并且可以替代地仅提议在范围上更窄并且将不会不利地影响之前分析的文档的所提议的情感的修改。

图4示出依照本文所描述的实现的示例性系统400的框图。系统400包括情感反馈机器可读指令402，其可以包括图1和3中描绘的计算设备的各种模块中的某些。情感反馈机器可读指令402可以被加载以用于在一个或多个处理器404上执行。如本文所使用的，处理器可以包括微处理器、微控制器、处理器模块或子系统、可编程集成电路、可编程门阵列或另一控制或计算设备。（多个）处理器404可以耦合到网络接口406（以允许系统400通过数据网络而执行通信）和/或耦合到一个存储介质（或多个存储介质）408。

存储介质408可以实现为一个或多个计算机可读或机器可读存储介质。存储介质可以包括不同形式的存储器，包括：半导体存储器设备，诸如动态或静态随机存取存储器（DRAM或SRAM）、可擦除和可编程只读存储器（EPROM）、电可擦除和可编程只读存储器（EEPROM）和闪速存储器；磁盘，诸如固定盘、软盘和可移除盘；其它磁性介质，包括磁带；光学介质，诸如光盘（CD）或数字视频盘（DVD）；或者其它适当类型的存储设备。

注意到，以上所讨论的指令可以被提供在一个计算机可读或机器可读的存储介质上，或者可替换地，可以被提供在分布于具有复数节点的系统中的多个计算机可读或机器可读的存储介质上。这样的一个或多个计算机可读或机器可读存储介质被视为物品（或制品）的部分。物品或制品可以是指任何适当制造的组件或多个组件。一个或多个存储介质可以位于运行机器可读指令的机器中，或者位于远程站点处，例如可以通过网络从所述远程站点下载机器可读指令以供执行。

尽管以上已经详细描述了几个实现，但是其它修改是可能的。例如，在图中描绘的逻辑流可以不要求所示的特定次序或者顺序次序以实现合期望的结果。此外，可以提供其它步骤，或者步骤可以从所描述的流中除去。类似地，其它组件可以添加到所描述的系统或者从所描述的系统移除。因此，其它实现在以下权利要求的范围内。

Claims (15)

1.一种处理情感反馈的计算机实现的方法，所述方法包括：

利用计算系统生成与文档相关联的所提议的情感结果，所提议的情感结果基于被应用于文档的规则集而生成；

利用计算系统接收关于所提议的情感结果的反馈，所述反馈包括与文档相关联的实际情感和指示实际情感的文档的特征；以及

利用计算设备、基于反馈而标识对规则集的所提议的修改。

2.权利要求1的计算机实现的方法，还包括使对规则集的所提议的修改被显示给用户，并且响应于接收到用户的确认而应用对规则集的所提议的修改。

3.权利要求1的计算机实现的方法，其中指示实际情感的文档的特征包括来自文档的内容的部分。

4.权利要求1的计算机实现的方法，其中指示实际情感的文档的特征包括与文档相关联的分类。

5.权利要求1的计算机实现的方法，其中标识对规则集的所提议的修改包括从规则集中标识影响所提议的情感结果的经触发的规则，并且当所提议的情感结果不匹配实际情感时生成对经触发的规则的所提议的改变，对经触发的规则的所提议的改变基于指示实际情感的文档的特征而生成。

6.权利要求5的计算机实现的方法，还包括使经触发的规则和对经触发的规则的所提议的改变被显示给用户。

7.权利要求1的计算机实现的方法，其中标识对规则集的所提议的修改包括生成将添加到规则集的新的所提议的规则，所述新的所提议的规则基于指示实际情感的文档的特征。

8.权利要求1的计算机实现的方法，还包括从规则集中标识影响所提议的情感结果的经触发的规则，以及使经触发的规则被显示给用户。

9.权利要求1的计算机实现的方法，还包括自之前分析的文档的语料库标识将受对规则集的所提议的修改所影响的其它文档，以及使通知被显示给用户，所述通知指示所述其它文档。

10.一种情感分析反馈系统，包括：

一个或多个处理器；

在所述一个或多个处理器中的至少一个上执行的情感分析器，其使用规则集而分析文档以确定与文档相关联的所提议的情感结果；以及

在所述一个或多个处理器中的至少一个上执行的规则更新器，其接收关于所提议的情感结果的反馈，所述反馈包括与文档相关联的实际情感和指示实际情感的文档的特征，并且基于反馈而生成对规则集的所提议的修改。

11.权利要求10的情感分析反馈系统，其中所述规则更新器使对规则集的所提议的修改被显示给用户，并且响应于接收到用户的确认而利用所提议的修改来更新规则集。

12.权利要求10的情感分析反馈系统，其中所述规则更新器通过从规则集中标识影响所提议的情感结果的经触发的规则并且当所提议的情感结果不匹配实际情感时生成对经触发的规则的所提议的更新来生成对规则集的所提议的修改，对经触发的规则的所提议的更新基于指示实际情感的文档的特征而生成。

13.权利要求12的情感分析反馈系统，其中所述规则更新器使经触发的规则和对经触发的规则的所提议的更新被显示给用户。

14.权利要求10的情感分析反馈系统，其中所述规则更新器通过生成将添加到规则集的新的所提议的规则来生成对规则集的所提议的修改，所述新的所提议的规则基于指示实际情感的文档的特征。

15.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

生成与文档相关联的所提议的情感结果，所提议的情感结果基于被应用于文档的规则集而生成；

接收关于所提议的情感结果的反馈，所述反馈包括与文档相关联的实际情感以及与文档相关联的分类；以及

基于反馈而标识对规则集的所提议的修改。