CN116982048A - 情绪认知的自动分类 - Google Patents

Abstract

一种用于利用基于规则的引擎检测自然语言内容中的心理情感的系统和方法，包括接收作为文本输入的自然语言内容；搜索给定情绪认知的语言规则与所述自然语言内容的组成部分之间的匹配，其中所述语言规则的实例具有人类维度；激活匹配的语言规则，并评估所匹配的规则的人类维度；对每个人类维度进行评分，以获得给定情绪认知的维度分数的简档；聚合所获得的维度分数的简档中的维度，以获得给定情绪认知的强度指示；以及以使匹配的语言规则与给定情绪认知和给定情绪认知的相应强度指示相关联的方式显示自然语言内容。

Description

情绪认知的自动分类

相关申请的交叉引用

本申请要求2022年1月31日提交的非临时申请No.17/589,512的优先权，要求2021年3月19日提交的临时申请No.63/163,618的优先权，要求2021年3月19日提交的临时申请No.63/163,621的优先权，要求2021年3月18日提交的临时申请No.63/162,987的优先权，并要求2021年1月29日提交的临时申请No.63/143,730的优先权，这些申请的全部内容通过引用并入本文中。

技术领域

本公开一般涉及监测情感，特别是对自然语言内容中的情绪认知的强度进行分类和跟踪。

背景技术

情感计算(affective computing)是对能够识别、解释、处理和模拟人类情感的系统和设备的研究和开发。情感计算是一个集语言学、统计学、人因学和计算机科学于一体的多学科领域。情感计算的一个方面是使机器人和其他计算机应用能够智能地响应人类的自然情绪反馈。在文本的情况下，情感计算包括从文本中检测情绪。更常见的是，一种被称为情感分析(sentiment analysis)的情绪检测形式被用于将文本分为积极、消极或中性。几乎所有开发计算机软件和硬件的大公司，以及大学研究和几家初创公司都有包括某种形式的情感分析用工具的开发项目。情感分析的流行源于需要更好地理解对新闻媒体的反应以及社交媒体上广泛存在的各种客户评论、客户产品评论和与聊天机器人的交互中的情感。

在实践中，情感分析是利用自然语言处理、文本分析、计算语言学和生物识别技术来系统地识别、提取、量化和研究情感情绪认知状态和主观信息。部分归因于从诸如各种社交媒体平台、录音的对话和其他文本表达渠道之类的来源获得的人类对话的大量数据集的可用性，情感分析已经得到加速。然而，情感分析必须应对自然语言不断变化的性质。例如，情感分析必须应对单词之间，甚至整个短语之间含义的细微差别或变化。一些短语可能看似表示相同的想法，但可能表示情感上的差异。情绪分析必须应对根据上下文可能具有不同含义的单词或短语。

尽管用于自然语言处理的技术最近取得了重大进展，但是情感分析仍然受制于训练集，训练集通常是手动分类的，从而是主观的。特别地，文本的大型训练数据集的注释是手动进行的。源于手动分类方法的训练集往往速度慢、性能差且昂贵。另外，在财务上具有竞争力的获得评级者(rater)的方法，主要是Mechanical Turk，会受到以物质激励从而急于完成分类任务的非母语人士的影响，结果产生低质量、相互冲突的结果，而防止这些影响的尝试仅限于繁琐的ID扫描和不可靠的IP地址过滤。微妙的情绪检测很困难并且容易出错。

此外，用于机器学习的训练集无法提供语言方面的创造力。人类具有通过言语和书写产生以前从未写过或说过的新颖句子的明显无限的能力。事实上，语言的一个必要属性正是对这种创造力的允许，而当前的现有系统无法有效地适应这种创造力。

用于自然语言处理的现有技术机器学习模型(BERT(来自变换器的双向编码器表示)、GPT2(生成式预训练变换器2)、GPT3)，这些看似可以在存储器中保存大量内容并有效地进行双向查看的鲁棒工具无法与不断变化的自然语言相媲美。统计模型依赖于强大的统计成分，通常是概率成分。有监督的机器学习模型预测他们以前见过的事情或他们见到的关系再次出现。未来有无数的短语和句子无法用以前的句子来概括，包括混合词、俚语、行话、隐喻或新创单词等元素。

另外，情感分析还存在语义缺陷；这部分归因于缺乏测量情绪的强度的有效方法，以及使用挑选的和不具代表性的数据集进行训练。另外，过度依赖以词汇为中心或基于词元的解决方案阻碍了此类解决方案最终获得持久力，因为语言学家和工程师要应对语言的动态性质，包括语义转变、过时和随时间推移的各种其他语言变化。

因此，情感分析存在几个主要问题；即，缺乏具有用于训练的客观评级或标记数据的黄金标准数据集，基于n元语法(n-gram)的解决方案的局限性，缺乏确定真实强度的能力，难以解析话题标签，以及缺乏对结果的严格验证。另外，虽然主观上应用了类似量表的情感评级，但在行业或学术界并不存在验证分类结果的可靠手段。

虽然社会语言学文献中偶尔会出现量化语用因素的尝试(主要经由头脑风暴式枚举，偶尔使用具有高词元:类型比率的n元语法选择)，但是社会语言学的研究主要集中在fMRI研究、社会或现实世界的实验、直观分析以及对直观、务实例子的仔细检查和比较。具体但有限的句法驱动理论存在于该领域中，主要存在于个别构式中，比如Andrews构式(带有构式“X knows”的形容词和状语短语，比如“God[only]knows”、“Who knows”)，或者更全面地，侧重于宾语关系的特定语法构式(称为论元结构)，本质上处理动词的论元(宾语)的语义丰富、复杂但以动词为中心的构式语法的开创性分析。

可取地，要成为一种构式，一段语言必须是可置换的和模块化的。从本质上讲，这不仅关注语法规则，而且关注常见用法。社会语言学关注于语用学，即现实世界中用法的科学，以放大的视角分析特定单词用法。然而，构式的分析一直集中在论元结构，以及以动词为中心的形义配对的分析。需要更有效、更稳健和更准确地检测认知、情绪和情绪认知，这结合了认知科学、社会语言学和语义学。

上述“背景技术”描述是为了概括介绍本公开的上下文。发明人的工作，就在本背景技术部分中所描述的而言，以及描述中的在提交时可能不属于现有技术的各个方面，既不明确也不隐含地被承认为本发明的现有技术。

发明内容

按照本公开的实施例，一个方面是一种用于通过处理电路利用情绪认知自动增强自然语言内容的方法，所述方法可以包括经由输入设备接收作为文本输入的自然语言内容；通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；通过所述处理电路激活匹配的语言规则，并评估所激活的匹配的语言规则的至少一个人类维度；通过所述处理电路对每个人类维度进行评分，以获得给定情绪认知的维度分数的原型简档；通过所述处理电路聚合所获得的维度分数的简档中的维度，以获得给定情绪认知的强度指示；以及通过显示器以使匹配的语言规则与给定情绪认知相关联并用信号通知给定情绪认知的相应强度指示的方式显示增强的自然语言内容。

此外，按照本公开的实施例，另一方面是一种电子阅读器，所述电子阅读器可以包括触摸屏显示器；处理电路；和存储器，其中所述触摸屏显示器被配置为显示电子书的文本；所述处理电路被配置为扫描文本并使用规则标注所述文本，所述规则在被触发时检测情绪认知状态，并确定情绪认知状态发生的强度；所述处理电路被配置为生成并显示一个或多个侧边栏，用于基于检测到的所显示文本的组成部分列出动力学和情绪认知强度信息；当在显示器中的某个位置被触摸时，所述触摸屏被配置为选择动力学或者情绪认知强度；并且所述处理电路还被配置为生成并显示颜色编码的高亮显示，所述颜色编码的高亮显示指定所选动力学或者情绪认知强度的出现。

此外，按照本公开的实施例，另一方面是一种用于减轻心理障碍的系统，所述系统可以包括具有处理电路和存储器的移动设备；以及具有通信设备和一个或多个致动器的外围设备，其中所述移动设备的所述存储器存储程序指令，所述程序指令当由所述移动设备的所述处理电路执行时，使所述移动设备进行方法，所述方法包括：经由输入设备接收作为文本输入的自然语言内容；通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；通过所述处理电路检测匹配的语言规则，以获得给定情绪认知的强度指示；以及当给定情绪认知的强度指示达到超过第一阈值的消极情绪认知强度时，发送识别情绪认知强度的第一激活信号；并且所述外围设备被配置为经由所述通信设备接收所发送的第一激活信号；以及激活所述一个或多个致动器以产生感官分心从而减轻心理障碍。

例证性实现的以上一般描述及其以下详细描述仅仅是本公开的教导的示例性方面，而不是限制性的。

附图说明

并入说明书中并构成说明书的一部分的附图图解说明一个或多个实施例，并与说明书一起解释这些实施例。附图不一定是按比例绘制的。附图中图解所示的任何值或尺寸仅用于举例说明的目的，可能代表也可能不代表实际或优选的值或尺寸。在适用的情况下，可能不会图解说明一些或所有特征，以帮助描述基础特征。

在参考附图进行的以下描述中更详细地阐述了示例性实施例的特征和优点。附图中：

图1是按照本公开的示例性方面的用于信仰、观点、情感和情绪的自动分类的系统的框图；

图2是按照本公开的示例性方面的计算机系统的框图；

图3是按照本公开的示例性方面的用于情绪的自动分类的系统框图；

图4是按照本公开的示例性方面的训练架构的示图；

图5是按照本公开的示例性方面的情绪分类系统的自适应操作的示图；

图6是示出按照本公开的示例性方面的语言规则的类型的示图；

图7是按照本公开的示例性方面的用于规则引擎的各层的自下而上的堆栈；

图8是按照本公开的示例性方面的计算机系统的操作方法的流程图；

图9是按照本公开的示例性方面的用于使用语言规则进行评估的步骤的流程图；

图10是按照本公开的示例性方面的用于检测规则的流程图；

图11是按照本公开的示例性方面的用于评分的流程图；

图12是按照本公开的示例性方面的用于检测规则的流程图；

图13是按照本公开的示例性方面的用于确定词元(token)邻近规则的数值的流程图；

图14是按照本公开的示例性方面的用于分类的流程图；

图15是按照本公开的示例性方面的混合多模态学习的流程图；

图16图解说明按照本公开的示例性方面的电子阅读器；

图17是按照本公开的示例性方面的电子阅读器的操作的流程图。

图18是按照本公开的示例性方面的用于多媒体有声读物或视觉空间数据情感分类器的系统的流程图。

图19是按照本公开的示例性方面的多媒体规则引擎的框图；

图20是按照本公开的示例性方面的基于HUNCH的规则发现引擎的流程图；

图21A、21B是按照本公开的示例性方面的用于音频媒体中的规则发现的流程图；

图22是语音信号模式的图；

图23是按照本公开的示例性方面的视频/音频流中的实时情绪分类的方法的流程图；

图24图解说明按照本公开的示例性方面的显示设备；

图25是按照本公开的示例性方面的情绪分类系统的自适应操作的系统图；

图26A、26B、26C是按照本公开的示例性方面的电子手环的示意图；

图27是按照本公开的示例性方面的电子手环的电路图；

图28是按照本公开的示例性方面的用于社会语言学数据的用户界面特征的系统图；和

图29是按照本公开的示例性方面的社会语言学引擎流水线的流程图。

具体实施方式

以下结合附图阐述的描述旨在作为所公开主题的各种实施例的描述，而不一定旨在表示唯一的实施例。在某些情况下，说明书包括具体细节，以提供对所公开的实施例的理解。然而，对于本领域的技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践所公开的实施例。在一些情况下，公知的结构和组件可以以框图的形式示出，以避免模糊所公开主题的概念。

如本文所使用的，对“一个实施例”或“一些实施例”或“实施例”的任何引用意味着结合实施例描述的特定元件、特征、结构或者特性包括在至少一个实施例中。短语“在一个实施例中”在说明书中的各个地方的出现不一定都指的是同一个实施例。除非另有特别说明，或在所使用的上下文中以其他方式理解，否则本文中使用的条件语言，比如“能”、“可以”、“或许”、“可能”、“例如”等通常旨在传达某些实施例包括而其他实施例不包括某些特征、元件和/或步骤。另外，除非另有说明，否则本申请和所附权利要求书中使用的“一”和“一个”应解释为意味“一个或多个”或“至少一个”。

现在参见附图，其中在多个视图中相同的附图标记表示相同或对应的部分，以下描述涉及用于信仰、观点、情感和情绪的自动分类的系统和方法。所述方法最佳地包括作为概率层的输入层的语言规则引擎，以及用于确定强度的层。

如上所述，语言永远是新颖的，即使是能够在存储器中保存如此多的内容并有效地进行双向查看的强大工具(即，BERT)也无法与不断发展的自然语言相媲美。未来有无数的句子无法用以前的句子来概括，包括混合词、俚语、行话、隐喻或新创单词等元素。关注可置换构式并针对可提取的信仰、观点、情感和情绪维度挖掘它们可以实现更高效、鲁棒和准确的检测。

另外，在自然语言处理中，概率是语言强度的一个糟糕指标，因为频率不一定等于强度。因此，在所公开的实施例中，概率被用作情绪存在于自然语言输入的指定部分中的指示。情绪的强度是单独确定的。

可以使用各种技术来分析文本，以努力理解文本可能表达或暗示的情感、情绪、观点或信仰。情感可以被定义为一种由感觉引发的态度、想法或判断。情感的近亲是情绪，它可以被定义为强烈的感觉，比如爱、愤怒、喜悦、仇恨或恐惧。情绪可能包括主观上体验为强烈的感觉，并伴随着身体的生理和行为变化的有意识的心理反应。观点可以被定义为对某事的信仰、判断或思考方式。信仰可能是一种被接受、被认为是真实的或者被视为观点的东西。对本公开来说，术语“情绪认知”将被用作按照其通常的含义、判断以及感觉(情感/欲望、情绪或性联系)、人际/社会力量(亲和力、社区、联系、影响)、认知元素(思想、观点、信仰、立场)和其间的情感空间(愿望、价值观、动机、遗憾)来描绘情感、观点和信仰、情绪中的每一个的术语。

所公开的实施例利用具有语义句法构式、在多个维度上预先评分并且包含用于语义情感逻辑操作的构建块的词汇规则。规则搜索措施使标注更容易、更快、更实证，从而减少了对GPU微调(即，微调预先训练的变换器，比如BERT、GPT2、GPT3)、一致性计算或高RAM操作的需求。经由维度模式识别、情感发生跟踪和序列识别的规则建议还可以节省大量的资源标注、重新训练或使用资源添加回合(epoch)以提高准确性，或使用多个模型来解决歧义问题。经由维度的聚合/处理对其他情感现象进行逻辑推导，允许逐行进行简单的搜索和计数处理，而不是进行繁重的计算，从而为新颖的计算(心理健康症状的检测)让路，而不需要新的或专门的训练集、新任务或增加的层。

图1是按照本公开的示例性方面的用于情绪认知的自动分类的系统的框图。系统100包括文本输入102，文本输入102接收来自各种来源，包括连续数据流、社交媒体对话、文档和整本书的文本。从文本输入102接收的文本经历数据清理和数据规范化过程104。各种工具可用于清理和文本规范化，通常涉及剥离不需要的字符的文本数据和使单词标准化。不需要的字符的选择取决于用户。例如，在一些情况下，标点符号可能是不需要的。在一些实施例中，特定的标点符号不被去除，而是可以在以后的处理中使用。特定的标点符号可能包括逗号、引号和感叹号。可以删除的标点符号可能包括at(@)符号、话题标签(#)、美元($)、百分比(％)、脱字号(^)、和号(&)和星号(*)。在一些实施例中，可以移除诸如HTML标签之类的标记。在一些实施例中，表情符号可以保持原样。另外，文本可以转换为小写。经过清理和规范化的数据然后被预处理106，包括词语切分、词性标注、词干提取和词形还原。词语切分将文本拆分为单独的元素(例如，在其空白处拆分已清理的文本)。词性标注将标签附加到单词词元上，以识别其词性。词干提取是将单词变换为其词根形式的过程。词形还原是获得单个单词的规范形式的过程。另一个任务可能是删除停用词。预处理后的数据可以被格式化，用于无监督学习过程108、基于规则的系统110和有监督学习过程112。用于格式化预处理单词的典型方法是使用谷歌的word2vec算法。

无监督学习过程108可以对数据进行分类，包括情绪认知的分类。无监督学习过程108不需要标记的数据，而是可以将预处理的数据聚类成类。预处理的数据输入和得到的分类可以用于特征/规则建议114。可以进行建议的规则和特征选择120以生成未来的语言规则。

基于规则的系统110包括预定的语言规则。预定的语言规则可以按情绪认知的类别来组织。

有监督学习过程112需要标记的数据。情绪认知的标记可以手动进行。有监督学习过程112可以用于情绪认知的机器分类118。分类中的错误可以被调整/校正122，以便改进以后的分类。有监督学习过程112生成神经模型来执行它们自己的分类，这分配了概率。神经模型也基于规则本身进行训练。它们定位相似的同现向量、相似的POS模式和相似的n元语法，并建议这些作为潜在的规则/建议特征。

制表和评分116可以应用于无监督学习过程108和有监督学习过程112的结果。无监督学习过程108和有监督学习过程112都可以输出每个类的概率(例如，使用softmax函数)。

在一个实现中，系统100的功能和过程可以由计算机226实现。接下来，参考图2描述根据示例性实施例的计算机226的硬件描述。在图2中，计算机226包括执行本文中描述的过程的CPU 200。过程数据和指令可以存储在存储器202中。这些过程和指令也可以存储在诸如硬盘驱动器(HDD)或便携式存储介质之类的存储介质盘204上，或者可以远程存储。此外，所要求保护的进步不受其上存储本发明过程的指令的计算机可读介质的形式的限制。例如，指令可以存储在CD、DVD、闪存、RAM、ROM、PROM、EPROM、EEPROM、硬盘或计算机226与之通信的任何其他信息处理设备(比如服务器或计算机)中。

此外，所要求保护的进步可以作为与CPU 200和诸如 Solaris、/>Apple/>和本领域技术人员已知的其他系统之类的操作系统一起执行的实用应用程序、后台守护程序或操作系统的组件，或者它们的组合来提供。

为了实现计算机226，硬件元件可以通过本领域技术人员已知的各种电路元件来实现。例如，CPU 200可以是来自美国英特尔公司的或/>处理器或来自美国AMD的/>处理器，或者可以是本领域普通技术人员将认识到的其他处理器类型。或者，如本领域普通技术人员将认识到的，CPU 200可以在FPGA、ASIC、PLD上实现或者使用离散逻辑电路来实现。此外，CPU 200可以被实现为并行协同工作，以进行上面说明的发明过程的指令的多个处理器。

图2中的计算机226还包括网络控制器206，比如来自美国英特尔公司的英特尔以太网PRO网络接口卡，用于与网络224接口连接。可以意识到的是，网络224可以是诸如因特网之类的公共网络或诸如LAN或WAN网络之类的专用网络，或者它们的任意组合，并且还可以包括PSTN或ISDN子网络。网络224也可以是有线的，比如以太网，或者可以是无线的，比如包括EDGE、3G和4G无线蜂窝系统的蜂窝网络。无线网络也可以是或任何其他已知的无线通信形式。

计算机226还包括显示控制器208，比如来自美国英伟达公司的GTX或/>图形适配器，用于与诸如HewlettHPL2445w LCD监视器之类的显示器210接口连接。通用I/O接口212与键盘和/或鼠标214以及可选的触摸屏面板216或者在显示器210上或与显示器210分离的触觉设备接口连接。通用I/O接口还连接到各种外围设备218，包括打印机和扫描仪，比如来自Hewlett/>的/>或/>I/O接口212还可以连接到用于话音输入的麦克风以及用于声音输出的扬声器和/或耳机。麦克风和/或耳机可以通过输入端口(包括USB、HDMI或其他外围输入连接)连接到I/O接口212。

通用存储控制器220将存储介质盘204与通信总线222连接，通信总线222可以是ISA、EISA、VESA、PCI或类似总线，用于互连计算机226的所有组件。为了简洁起见，这里省略了显示器210、键盘和/或鼠标214以及显示控制器208、存储控制器220、网络控制器206和通用I/O接口212的一般特征和功能的描述，因为这些特征是已知的。

图3是按照本公开的示例性方面的用于情绪的自动分类的系统框图。系统300包括多媒体分类引擎312。多媒体可以包括视频、音频和文本。多媒体可以包括有脚本或有字幕的多媒体，比如有声读物、像电影、电视节目、增强现实或虚拟现实这样的视觉空间多媒体，它们被转录并扫描到系统300中。文本和转录媒体作为输入文本302被接收。输入文本302在预处理引擎304中被处理，以便将文本数据变换成与规则306、308、310匹配或输入到机器学习模型320所需的形式。在一些实施例中，使预处理的文本数据运行通过自然语言规则(306)。当规则与文本或转录的媒体匹配时，认为该规则被触发。视觉空间规则310可以包括用于视觉提示的规则。音频语音规则308可以包括用于语音信号的规则。

情绪认知传感器(314)处理句子、自然段(paragraph)、段落(passage)、场景或章节级别的输入，并利用给定的情绪、认知、情感、基于状态或动力学或特质的标签对每个输入进行分类。当规则被触发时，就会检测到情绪。此外，语言规则有基于维度的评级。在一些实施例中，规则的维度值被存储为向量。情绪可以从维度的“形状”推断出来。情绪的特征包括维度的向量的形状、维度的值以及与从与规则关联的其他向量导出的计算的差异或相似性。自然语言规则306的输出被馈送到情绪认知传感器314和强度评级传感器316，从而允许将另外的定性数据变换为用于人口分析的定量数据，如在科学研究或政治民意调查中。

强度评级传感器(316)基于维度来确定每个检测到的情绪的强度评级。在一些实施例中，强度评级传感器(316)基于每个认知、情绪、社会、人际或基于状态的元素的子成分来分配客观强度评级作为维度。

情绪认知标注引擎(318)用所分配的情绪类来标注文本数据。情绪认知的情绪和强度可以与诸如人口统计信息、在线简档特征、时间戳、来源、地理位置之类的元数据关联。在情绪认知标注引擎318中返回群体的样本的聚合情绪认知状态的结果和情绪认知状态的标记。

规则发现引擎326可以生成新规则，也称为规则建议。机器学习模型320可以基于规则本身进行训练。经过训练的机器学习模型320可以定位相似的同现向量、相似的POS模式和相似的n元语法，并建议这些作为潜在的新规则。另外，在情绪认知传感器(314)中检测到的情绪模式以及维度模式可以用于生成新规则。

机器学习模型引擎320可以包括诸如BERT、RoBERTa、支持向量机、word2vec、KNN模型、长短期记忆模型、卷积神经网络模型之类的变换器模型当中的任何一个或多个机器学习模型。

统计模型引擎322可以包括一个或多个统计模型。统计模型可以包括k均值模型、贝叶斯模型、文档搜索模型、逻辑回归模型、线性回归模型、多项式回归模型、推荐矩阵、随机森林模型和n元语法语言模型当中的任何一个或多个统计模型。每个统计模型被用作分类器。

词汇引擎324提供可以在系统300中使用的词汇。词汇的来源包括NRCLex、HarvardInquirer、MPQA、sentwordnet、textblob、VADER和其他未具体列出的词汇。

在一些实施例中，聚合情绪认知集合分类器328可以输出最终答案，比如情绪。随机森林可以用作集合分类器，使用独热编码(one-hot coding)。在另一个实施例中，逻辑回归可以用于集合(ensembling)。在另一个实施例中，神经层可以用作集合的输出。输出可以包括情绪认知情感的情感和强度与诸如人口统计信息、在线简档特征、时间戳、来源、地理位置之类的元数据的关联。使用基于颜色的几何表示，输出可以是用户、品牌、企业、名人、组织、主题、单词或短语在一段时间或某个时间点的情绪认知总结的图片或图形表示。可选地，输出可以包括在任何给定时间或随时间的推移，人口统计地或以其他方式划分或聚合的样本的维度、情绪、动力学或社会潮流的报告。可选地，输出可以包括随着时间的推移或在某个时间点，针对单个或聚合用户的情绪认知状态，生成和显示给定时间段内情绪认知状况的分布。

图4是按照本公开的示例性方面的训练架构的示图。为了适应不断发展的自然语言，训练架构400使用机器学习模型引擎320来训练机器学习模型以生成规则。机器学习模型也基于规则本身进行训练。他们定位相似的同现向量、相似的POS模式和相似的n元语法，并建议这些作为潜在的新规则。

语言规则模型310以一组可应用于自然语言短语和句子的预编程语言规则开始。检测可以涉及这些规则的潜在比较、相似性的识别以及使用规则潜在元素(规则类型)的级联的规则的创建。通过经由阈值识别具有足够相似性的字符串，然后创建包含单词、词性、依存关系、词干和词根(lemma)的每个单词的元组，并基于索引位置在相似项之间进行匹配以找到每个元组的协调部分，可以创建规则。然后，可以根据需要利用可选部分、通配符或接近度计算将结果级联成级联的公式化规则。

训练架构400包括文本输入302，用于经由处理电路和存储器访问多个自然语言数据项。多个自然语言数据项可以从数据储存库中读取，或者可以作为文本流直接输入。文本可以包括源自人类语音输入、文本数据库、文档或其他文本数据源的捕获的、转录的或翻译的文本。

训练架构400包括预处理器304，用于进行针对自然语言处理而通常对文本进行的各种初步处理。预处理器304可以利用任何已知的用于数据规范化、词语切分、词性标注、依存关系、词干提取和词形还原的软件库来生成多个预处理的自然语言数据项。软件库的一个例子是自然语言工具包(NLTK)。NLTK包括用于分类、词语切分、词干提取、标注和解析的文本处理库。NLTK包括具有词形还原函数的WordNet词形还原器，以及各种其他词形还原器。规范化可以作为标准规范化来进行。

在一些实施例中，训练架构300可以涉及将多个预处理的自然语言数据项标记为情绪和所表达的情绪的强度。标签和关联的自然语言数据项可以用于训练有监督学习模型。

训练架构400将多个预处理的自然语言数据项并行地提供给机器学习模型引擎320和语言规则模型306。训练架构400在多个训练回合中并行地进行机器学习模型引擎320和语言规则模型306的训练，以在自然语言数据中识别情绪并确定情绪的强度。基于决策412，机器学习模型引擎320的每个训练回合可以生成用于语言规则引擎306的后续训练回合的特征或规则建议326。在语言规则引擎306的每个训练回合之后，机器学习模型引擎320的后续回合被制成表格并进行评分(作为每个类的概率来提供)。在414，表示经过训练的机器学习模型引擎320和经过训练的语言规则306的输出被存储在非易失性存储器中。

图5是情绪分类系统的自适应操作的系统图。规则发现引擎326可以生成新规则，同时作为输出呈现情绪和强度信息。

为了辅助操作，下面通过例子来描述情绪分类系统的操作。为了便于理解，简化了该例子。本公开决不限于该例子。在这个例子中，通过从文件中读取文本或作为输入到计算机系统中的连续流，输入302带有话题标签的“Why am I the one who‘needs’to take outthe trash？#NOTANEED”。文本输入由预处理引擎304处理，预处理引擎304进行包括用索引位置标注输入文本、对输入文本进行词语切分以及分离出输入话题标签的功能。在一些实施例中，话题标签是具有关联的情感的组成部分。索引位置可以是指示相对于整个文本的位置的整数，例如由计数器生成的或者在词语切分后的输入的数组内生成的序列号。或者，索引位置可以是诸如向量位置、行号或识别当前文本输入出现在带话题标签的文本序列中的位置的某个输入号之类的索引。词语切分功能可以有选择地将诸如“？”之类的标点符号作为词元分离出来，并且可以删除其他标点符号。在本例中，可以保留“needs”周围的引号，以便表示强调。话题标签可以从其他文本分离出来，使得它可以被视为标识符，而不是情绪表达。在一些实施例中，话题标签可以用作情绪的辅助指示。在这个例子中，话题标签可以指示输入文本是讽刺。话题标签还可以用于指示强调、评论/旁白、不点名推文、组织、持续表达、幽默、上下文、情绪、营销、抗议。

自然语言引擎具有在自然语言规则306中搜索与输入文本匹配的一个或多个规则的功能。规则可以指示文本模式，其中包含一些必需的单词或短语，并与语法混合。在本例中，诸如“[why]”[…]+being verb+“the one who”+verb之类的规则被模式匹配和触发。

规则按情绪和认知术语和情绪-认知混合术语进行分组。情绪认知传感器314具有基于触发的规则应用情绪认知标签(愤怒(ANGER))的功能。

强度评级传感器316具有激活所触发的规则的维度的功能，维度可以包括具有分数-积极、消极、中性或零的3个维度，这些维度例如是尊重、自我、责备。维度分数的值不限于此，并且可以包括在预定范围内的数值。强度评级传感器316具有聚合维度分数以获得强度分数的功能。强度评级传感器316将强度分数分配给情绪认知标签，并将强度分数与预定阈值进行比较。预定阈值可以是分数值(比如0.6)，一定范围中的整数(比如0到10范围中的6)，百分比(比如60％)，所述预定阈值在所有情绪中是共同的，或者可以针对每个情绪认知标签设定。在本例中，按照阈值，情绪强度级别被标记为(愤怒-中等)。在一些实施例中，如果说话者的基线是已知的，则强度分数也可以是相对于说话者的。

元情绪认知聚合器328具有评估情绪认知标签并将该标签与周围的其他标签组合以形成情绪认知标签，比如愤怒___平和(ANGER__PEACE)的模式的功能。

在下一个级别中，动力学(Dynamics)610具有将情绪认知标签的模式与动力学模式进行模式匹配的功能。动力学610基于匹配的动力学模式来分配标签，例如，宽恕(FORGIVENESS)。

图6是示出按照本公开的示例性方面的语言规则的类型的示图。应用于自然语言输入的指定部分的情感、情绪、观点和信仰的语言规则的类型可以包括

使用词性标注、语法或依存关系解析的规则(502)，包括：例如，情态动词和祈愿动词、时态符号、变格、变位、重音以及直接宾语和专有名词。

使用字符串匹配的规则，包括精确的、不精确的、带掩码的或带通配符的(504)，

使用词元之间的距离的规则(506)，

使用标点符号的规则(508)，

使用词形还原的规则(510)，

使用词干提取的规则(512)，

使用词汇的规则(514)，以及

使用单词查找或字典的规则(516)。

在一些实施例中，规则组成部分可以包括图形内容，包括表情符号、字形、情绪图标、字符、脚本和任何其他字素。将语言规则应用于自然语言输入的指定部分导致获得一个或多个语言规则中的每一个的数值或布尔值。

在一些实施例中，附加的语言规则类型适应其他世界语言，包括日语、韩语、汉语、越南语和其他亚洲语言。附加的语言规则类型可包括

标注依存关系的规则，

检测粒子(particle)的一个或多个规则，

检测标记的一个或多个规则，

检测结构叙事力，包括主题、主语和谓语的一个或多个规则，

表示按共性分组的名词的类的一个或多个规则，

检测格，包括主格、离格和其他的一个或多个规则，

检测动词的动词类别的一个或多个规则，

检测点击转录，用于从鼠标、触摸板、触摸屏上的点击中捕获语义信息的规则，

在一些实施例中，语言规则可以并入用于可选条件的OR运算符和用于组合条件的级联运算符。在一些实施例中，语言规则可以包括指代规则的其他部分的规则内指称。规则内指称可能包括加倍或复制：形容词+名词+名词(ADJ+NOUN+NOUN)，条件是名词是紧接在前的名词。规则内指称可以包括规则中的位置的索引：规则中的占位符或位置元素[0]。

在一些实施例中，语言规则的规则内指称可以采用模式的形式。模式可以包括：名词->名词，表示重复，名词！+名词，表示不重复。

语言规则按情绪或认知的类型进行分组。在一些实施例中，规则可以具有重要性的顺序，并且该顺序可以被改变，以指示高于在它下面的规则和低于在它上面的规则的优先级。每个语言规则有一个或多个维度以及每个维度的值。在一个实施例中，维度可以包括情感、情绪、情绪认知态度、价值观、社会习俗、心态、看法、方面、响应、特质、信仰、观点、视角、动机、偏见、状态、方式、方法、动力学、人格特质、情绪方法、情绪选择、反应、倾向、临时状态、状态变化、认知方面、行为方面、内部条件、外部条件、感觉、情绪、命题、态度、命题态度、定向态度、非定向态度、自我定向态度、有意识情绪认知、无意识情绪认知。在一个实施例中，维度可以包括以下情绪情感：愤怒、预期、厌恶、恐惧、喜悦、悲伤、惊讶和信任(来自NRCLex)。在另一个实施例中，维度可以包括但不限于情绪认知的层面、组成部分和方面，比如：自我、责备、顺从、神圣、善良、尊敬、时间(未来)、(自我)青睐、认可、真诚、脆弱、判断、分离、目的、形式、最小化、特异性、力量、行动(主动性)、代理、好奇心、清晰度、意图、强调，能量、确定性、兴趣、参与、震惊/惊讶、紧张、速度、细微差别、逻辑、偏执、信任、距离、认同w/、尊重(自我)、尊重(他人)、物化、依恋、同理心和耐心。

在一些实施例中，维度可以被分组为类别，比如人格特质、信仰、观点、视角、方面、动机、偏见、状态、情绪方法/选择、方式、反应、人际动力学。

发明人发现，即使完全准确的分类仍然只能产生非常有限的语义信息。例如，当涉及到情感检测时，“准确率”并不总是反映有用的语义信息。情感的标签可能过于模糊(试图将超过25种情绪强行归入6个标签)。分类可能仍然缺乏有用的潜台词信息，并且可能缺乏对说话者的认知状态的定向。分类并不提供为什么存在某种感觉的提示。由于人类情感的复杂性和深度，句子、短语或构式在具体情感和深层语义价值上的分类仍然很差，在句子层面进行解析，往往被迫归入其中应该应用多个标签的单个类中，或者无法被机器算法准确理解。另外，虽然可以挖掘对话以获得更多信息，但话语文本价值仅限于语境线索法，比如命名实体识别和说话者特有信息，几乎不产生关于情感状态的信息。

尽管存在诸如变换器(transformer)之类的最先进技术，但是这些技术在历史上只擅长预测和翻译任务，而不是语义解释(部分原因是语义任务的总体性能较差)。由于人类和机器解释能力之间的差距，变换器的语义能力最终受到限制。在语义限制中，特别是在解释即兴演讲和文本时，包括识别混合情绪、复杂情绪、比喻表达和不真诚的情绪表达(比如讽刺、反讽、礼貌和被动攻击)的能力。公开的实施例是一种处理人类情绪和认知的范围和深度的方法。

图7是用于规则引擎的各层的自下而上的堆栈。“维度”(702)是情绪认知表达及其背后的感觉和想法的元素。在一些实施例中，该系统使用面向对象的编程来实现，并且情绪是一类，其将一组维度作为类的属性。强度是情绪类的一种方法，用于基于维度的存在来确定强度值。强度值可以存储在结构化或非结构化数据库中。情绪类具有每个属性/维度的原型值。维度的值是具有三元值(+1积极力量、-1消极力量、0中性力量和不存在/不适用；后2个不等同)的微小效价(valence)。在一些实施例中，维度的值包括多层布尔值，比如(1)真-假(中性对否)，(2)真-假(真对假)，(3)可能类似于空值。这些值可以是浮点数或整数的形式。

对于每个数据行，每次触发规则时，这些维度都会得到评级。例如

(“[why/how come]+BEING-V+PRON+[TIME-HYPERBOLE]+”the one/s who“+VERB”)，表示具有以下的构式：

可选的单词列表项(共2项：“why”或“how come”)+

being动词加上代词(“are you”/“am I”/“are they”/“are we”/“is he”/“isshe”等)+

用于时间夸张的可选单词列表项(“always”、“never”、“constantly”等)+

模糊(不精确的字符串)(“the ones who”、“the one who”)+

几乎任何动词(“sits up front”、“pays for everything”、“brings upproblems”、“gets the easy job”等)。规则使用模块化的这些部分，并涵盖一定程度的置换。

该系统检测给定情绪的核心维度简档。不同的规则发现不同的、部分但强烈匹配的配置，这些配置代表了情绪状态的各种表达。换句话说，情绪是精神状态。原始的情绪是纯粹且非理性的(例如，恐惧、愤怒、快乐、悲伤)。复杂的情绪更具社会性和认知性(例如，悲伤、抑郁、羞耻、不安全感、钦佩)。当认知状态和情绪状态同时出现，或者当多种情绪同时出现时，就会出现复杂的情绪。当规则被激活时，它们提供此类情绪状态何时发生的指示。

匹配特定情绪的维度越多，该情绪的强度就越高。随后，强度的度量是一种客观度量，表示强度的程度。在一些实施例中，如果相同的构式在输入文本中出现两次，则匹配的构式被计数两次。在测量强度时，维度分数根据单词数量进行规范化。因此，强度值是基于密度的。

在一个示例实施例中，存在50个维度。在一些实施例中，存在更多数量的维度。每个规则在整个一组维度上都有评级。

每个规则704包括一个或多个维度。对于上述规则，一个示例维度是自我。自我可以不存在于给定构式中(与之无关--空值)，可以是中性的(有自我成分，但是它非常公平和公正)，可以是积极的(自负的、居高临下的)，也可以是消极的(钦佩的、恳求的、自我厌恶的，等等)。自我是针对该规则评级的维度。另一个维度是好奇心。通过该规则检测到的构式是主动好奇的，所以它得到+1评级。

规则704一旦被激活，就指示检测到的情绪。一旦检测到情绪(在句子的它们所存在的部分中；经由索引位置而不是简单的句子或段落层面进行标注，这可以实现更大的区分和清晰度)，就可以识别复杂情绪706，并且这些复杂情绪通常由同时出现的情绪组成。例如，蔑视是骄傲/居高临下和愤怒的结合。另外，情绪认知状态可以重叠。

一旦复杂和原始的情绪已被就地激活，就可以评估情绪的模式708，因为在特定情况下，情绪自然地转变为其他情绪。另外，情绪可以发展、升级或消退。情绪的模式708是通过将情绪级联成情绪的有序阵列或字符串(例如，希望+期望+惊喜+悲伤)而形成的。这些模式可以有点像具有有限可能性的跳字(skip-gram)模型一样来评估。转变情绪、发展情绪、升级情绪和消退情绪的模式被存储为可识别的情绪模式。

情绪的模式可以用来预测情绪的流动：兴奋转向接受再转向平静；随着理解的产生和移情或宽恕的发展，愤怒转变为困惑、认识、再转变为爱，等等。

情绪模式构建到动力学710。动力学710是用于概括情绪的模式的主要情绪事件的描述性标签。例如，“失望”的动力学是希望+期望+惊喜+悲伤的情绪模式的标签。动力学可以发生在自我内部-这通常是复杂的情绪。接下来，动力学可以发生在他人身上/人际之间-这可能是类似于宽恕的现象。在这种情况下，宽恕是愤怒+认识+爱的情绪模式的标签。

动力学710之上的一层可以包括社会潮流712，社会潮流是强烈的集体情绪动力学的元结果，通常由于诸如动乱或革新之类的重大事件或群众运动的压力而达到高潮。重大事件可以包括即将发生的现实世界事件(愤怒爆发、政变、起义、流行文化或社会趋势、诸如GameStop股票收购之类的股市事件、公众人物的“抵制”、暴力爆发点等)。这些社会潮流也可能存在于较小的社会群体中，比如家庭暴力爆发点、坠入爱河、愤怒爆发等。社会潮流的检测使反应/预防或资本化，或者至少被动地监测/识别成为可能。此类事件可以与这些社会潮流的特定的、先前的此类现实世界事件关联，如果未来能够快速检测或预测类似事件，则能够快速做出反应、预防或资本化。经由自然语言规则306，从来自一个或多个用户的自然语言计算情绪认知状态、维度、动力学和社会潮流。

在一些实施例中，可以基于在使用分类系统时存储的历史数据，针对这些层预测情绪/认知流的每个层级。

图8是按照本公开的示例性方面的计算机系统的操作方法的流程图。一个实施例涉及跟踪自然语言内容中的细微心理情感的过程。该方法首先将情绪的语言规则应用于自然语言构式、短语或句子，每个规则有一个或多个维度。应用语言规则的结果用于检测情绪并确定情绪的强度。机器学习模型用于建议新的语言规则，从而用于增强语言规则的应用。该过程可以在具有文本和/或话音输入以及文本、语音和/或图形输出的设备中进行。计算机程序包括存储在计算机可读存储介质上的指令，所述指令当由如图2中的计算机系统执行时，进行如流程图中所示的步骤。

在S802，计算机226被配置为接收作为文本的自然语言内容，该自然语言内容可以从文本和/或话音输入导出。自然语言内容可以从存储在盘存储器204中的文件读取，或者可以从在网络控制器206接收的数据流、或从在键盘214输入的文本，或从来自经由麦克风输入的话音的文本读取。另外，输入可以包括来自在线或离线数据库、查询、从历史档案或语料库获取的、或者从诸如社交媒体或用户评论网站之类的网站抓取的数据的聚合。输入可以是无提示的或有提示的，可以涉及主题、人物、品牌、组织、概念、单词或一组单词。输入可以包括从调查、市场研究或学术研究的参与者那里转录或以其他方式获得的访谈数据。在一些实施例中，输入可以包括可结合自然语言内容来读取的时间戳。

对于可能超过由自然语言规则引擎306或机器学习模型引擎320处理的输入文本的大小的大段文本，一种方法是使用固定大小的滑动窗口来读取输入。在可选步骤S804，计算机226被配置为将固定长度的扫描窗口应用于自然语言内容。长度可以是字符的数量。在扫描窗口的连续移动之间，扫描窗口可以重叠一定数量的字符。在步骤S806，计算机226被配置为使用每个情绪的语言规则来评估自然语言内容，以便获得情绪的人类维度的语言特征。如上所述，语言规则与自然语言内容模式匹配。

在S808，计算机226被配置为针对存在、中性、水平或不存在对每个人类维度进行评分，作为每个匹配的规则的维度分数。

在S810，计算机226被配置为聚合每个情绪的维度分数，以获得相应情绪的强度分数。聚合的分数代表情绪的强度。在一些实施例中，针对每个特定维度确定情绪在自然语言内容中的开始索引和结束索引。在一些实施例中，被索引的自然语言内容和对应的维度可以被转发到机器学习模型引擎320。在一些实施例中，情绪的顶部维度可以与相应的数字(维度分数)或映射描述符一起被转发到机器学习模型引擎320。可以针对具有几个构式、短语和句子的整个段落存储包括开始索引和结束索引的情绪模式。

在S812，计算机226被配置为基于维度分数将自然语言内容分类为情绪类。在一些实施例中，分类可以为每个情绪类生成概率。

在S814，计算机226被配置为将聚合值标记为情绪，并针对自然语言内容确定标签的上下文，比如情绪标签的模式。

在S816，计算机226被配置为作为文本、语音和/或图形输出，输出情绪标签的分类和模式。

在S818，计算机226被配置为在自然语言内容上按时间序列跟踪情绪标签的模式和关联组成部分，以便随着时间的推移跟踪情绪标签。每个情绪标签可以被分配有序的索引号，以按顺序识别它们的顺序。在包括时间戳的自然语言内容的情况下，每个情绪标签可以被分配关联组成部分的时间戳。

图9是按照本公开的示例性方面的用于使用语言规则进行评估的步骤的流程图。S806的使用多个语言规则进行评估包括以下步骤。

在S902，计算机226被配置为使用规则模式匹配来检测规则；和

在S904中，计算机226被配置为评估每个检测到的规则的人类维度。

图10是按照本公开的示例性方面的用于检测规则的流程图。S902的规则的检测包括

S1002，检测自然语言内容中是否存在具有与情绪相关的组成部分的构式。

图11是按照本公开的示例性方面的用于评分的流程图。S808的评分包括

S1102，评估每个维度以确定维度分数。

图12是按照本公开的示例性方面的用于检测规则的流程图。S702的在多个语言规则当中检测规则包括

S1202，确定以下的数值

词性标注或句法规则，

精确的、不精确的、带掩码的或带通配符的字符串匹配规则，

词元邻近规则，

标点符号规则，

词形还原规则，

词干提取规则，

词汇规则，以及

基于单词查找或字典的规则。

图13是按照本公开的示例性方面的用于确定词元邻近规则的数值的流程图。确定词元邻近规则的数值包括访问与自然语言内容中的指定点的距离小于n个词元的所有词元，其中n是整数。

图14是按照本公开的示例性方面的用于分类的流程图。计算机225被配置为使用机器学习方法进行S812的分类，机器学习方法包括有监督学习、无监督学习和基于规则的系统中的任何一种。

图15是按照本公开的示例性方面的用于机器学习的流程图。

S1402的机器学习包括

S1502，从数据储存库接收多个自然语言数据项；

S1504，使用预处理引擎对多个自然语言数据项进行规范化和词语切分，以生成多个预处理后的自然语言数据项，其中可以包括将数据行预分选为积极的、消极的和中性的，以便节省分类时的计算能力和时间；

S1506，用所表达的情感、情绪、观点或信仰以及所表达的情感、情绪、观点或信仰的强度来标记多个预处理后的自然语言数据项；

S1508，将多个预处理后的自然语言数据项并行提供给无监督学习引擎、基于规则的引擎和有监督学习引擎；

S1510，在多个训练回合中并行地训练无监督学习引擎、基于规则的引擎和有监督学习引擎，以在自然语言数据中识别所表达的情绪，并确定标量度量作为情绪的强度。

无监督学习引擎的每个训练回合向基于规则的引擎的后续训练回合提供特征或规则建议，并且基于规则的引擎的每个训练回合向无监督学习引擎和有监督学习引擎的后续回合提供制表和评分数据。

在S1512，生成表示经过训练的无监督学习引擎、经过训练的基于规则的引擎和经过训练的有监督学习引擎的输出。

在S1514，通过将人类维度与现有维度数组相匹配(有或没有通配符或模式跳过)，匹配存在于自然语言数据内的人类维度，以便为基于规则的引擎建议新规则。

该系统允许推断或识别感觉转化为行动的点和水平(强度)(如在文本内所述和通过文本检测到的)。该系统允许识别自我内部、两人(一对一)、人际/多个人或家庭或社会(社区、国家、地区或世界)的动力学。该系统允许在情绪在句子、项/自然段和段落内波动时跟踪情绪的强度。该系统允许识别感知方面的重大转变，例如总体自我形象的急剧转变(经由自我维度)，这可能表明出现了问题或重大变化。该系统可以通过相关性揭示重要因素之间的关系，比如自尊/自我形象和普遍乐观之间的关系。

鉴于上述教导，众多的修改和变化都是可能的。于是，应当理解的是，在所附权利要求书的范围内，可以以不同于本文中具体描述的方式来实践本发明。

因此，上述讨论仅仅公开并描述了本发明的示例性实施例。本领域技术人员会理解的是，在不脱离本发明的精神或基本特征的情况下，可以以其他具体形式来体现本发明。因而，本发明的公开旨在是说明性的，而不限制本发明以及其他权利要求的范围。

示例实现

电子阅读设备

本发明的实施例包括一种电子阅读器。电子阅读器可以是包含专用固件和被配置为以高清晰度最佳地显示文本的显示器的专用设备(通常称为电子书阅读器)，或者可以是配置有用于文本读取的软件(通常为移动应用(App)的形式)的通用计算设备，比如平板计算机或智能电话机。电子阅读器具有对角线通常为10英寸或更小的显示屏，并且具有有限的计算机处理能力和存储器。在大多数情况下，电子阅读器可以经由因特网连接，通常通过WiFi连接，与web服务进行通信。一些电子阅读器包括用于通过蜂窝发送进行通信的通信模块。

具有多媒体分类引擎312的系统300可以在具有有限处理能力和存储器的设备中执行，因为大多数处理基于自然语言规则引擎306的执行。机器学习模型引擎320可以在单独的计算机中或在云服务中离线进行。

图16图解说明按照本公开的示例性方面的电子阅读器。电子阅读器1600包括显示屏或触摸屏显示器1602。当显示器1602正在显示书籍1604的文本时，显示器可以包括显示为滚动条(未示出)的滚动功能和显示为按钮1606的翻页功能。

图17是按照本公开的示例性方面的电子阅读器的操作的流程图。在S1702，系统300可以通过多媒体分类引擎312，针对情绪、认知、人际或社会动力学、动机、信仰、观点或心理因素评估书面的小说或非小说作品。在S1704，扫描电子书中的文本，并用触发的规则、所识别的情绪、认知或其他状态以及这些状态发生的强度来标注文本。

在实施例中，在S1706，系统300可以生成并显示颜色编码的高亮显示，该高亮显示指定某些情绪或认知或社会学或人际动力学和/或状态的出现。在实施例中，在S1708，系统300可以生成并显示用于动力学1610和情绪强度1620的一个或多个侧边栏。侧边栏可以总结在文本1604内出现的情绪、心理、认知、社会学或人际动力学或状态，并在可用的情况下添加上下文。在S1710，可以通过选择1630(经由触摸、鼠标、键盘等)与每个动力学1612或状态1622交互，从而允许向电子阅读器1600呈现该给定动力学或状态在文本内的例子1632。

多媒体有声读物或视觉空间数据情感分类器

具有多媒体分类引擎312的系统300可以在具有有限处理能力和存储器的设备中进行，因为大多数处理基于自然语言规则引擎306的执行。系统300针对句子、短语和构式进行情绪分类，并且可以在接收文本时实时进行情绪分类。机器学习模型引擎320可以在单独的计算机中或在云服务中离线进行。

图18是按照本公开的示例性方面的用于多媒体有声读物或视觉空间数据情感分类器的流程图。

有脚本或有字幕的多媒体，比如有声读物，或视觉空间多媒体，比如电影或电视节目，可以被扫描到系统中并转录成文本。

在1802，使文本和转录媒体运行通过自然语言规则引擎(306)，从而与规则匹配。

情绪认知传感器(314)处理句子、自然段、段落、场景或章节级别的输入，并利用给定的情绪、认知、情感、基于状态或动力学或社会的标签对每个输入进行分类。在文本内检测并匹配杂散的短字符串或部分字符串，以及挑选的单个单词，称为具有部分维度的高使用率非构式钩子(High Use Non-Construction Hook(HUNCH))。

强度评级传感器(316)分析文本，并基于每个认知、情绪、社会、人际或基于状态的元素的子组成部分(称为维度)分配客观强度评级。

情绪认知标注引擎(318)用分配的类标注文本数据。

时间位置协调(1804)在文本信息的标注类与听觉或视觉空间数据和信号的协调部分之间进行基于定时的关联，然后对这些数据和信号进行分类并发送到情绪认知标注引擎(318)以进行标注。

系统300扫描匹配音频或视觉模式的其他实例，无论是绝对的还是相对于说话者的音频或视觉基线的，并针对性别、年龄、阶级、种族、口音、地点和其他人口统计信息以及情境信息进行调整，自动用与所讨论的模式关联的情绪认知类来标注它们。

在前一步中自动标注的情绪类协调的文本在文本中被自动标注为与现在由音频或视觉数据承载的情绪认知类的匹配物，或者对于现在由音频或视觉数据承载的情绪认知类被自动标注为高可能性。

图19是多媒体规则引擎的框图。文本数据、视觉空间数据和音频数据被比较并重新处理为多媒体规则建议，并被回送到自然语言规则引擎(310)、视觉空间规则模块(306)和音频语音规则模块(308)。

在音频或视觉信号和模式中表现出相似、相反、部分匹配或表现出以其他方式在数学上显著的比率或关系的后续音频或视觉输入将接收指示情绪认知类的可能性的标签。

比较每个多媒体规则引擎的312规则和建议规则的相似性、差异性、对立性和其他度量将提高规则建议能力，并突出每个规则的模块化组成部分。

在一个实施例中，HUNCH被用作钩子，允许系统分析周围的文本，再向多媒体规则引擎建议潜在的新规则(312)。维度模式必须与积极维度和消极维度匹配，或者与规则模式不矛盾。

特别地，HUNCH是基于非构式的部分片段(比如1-2个单词或部分短语)，它们具有自己的维度。将这些馈入系统300使神经模型320可以“匹配”这些局部维度模式，并将它们用作寻找情绪的指示符的钩子。在例子中，愤怒(ANGER)规则未被发现，但具有自我+1、急躁+1、暴力+1等。钩子(比如“I won't”)可能只具有自我+1和暴力+1，但如果它看起来足够适合愤怒，则会检查周围的文本。为此，它必须具有0个矛盾维度，并且它必须使其现有维度匹配。这允许置换要检测的规则(其中两者都为真)，或者可能置换新规则(其中不矛盾，但维度简档看起来足够像愤怒)。通过该技术，发现新的ANGER构式，比如“I[won't/am notgoing to/am not gonna]take it[“one more time”,“again”,“anymore”,“at all”]”等，这也许可以归结为规则，像“[1P代词]+([助动词]+[否定]+((“going”)+[不定式动词]或[将来式动词])+((D-宾语-代词))*+[单词列表:时间短语]+“！””，星号部分可选，例如产生：

I'm not going to take it anymore！

I'm not going to serve you again！

We will not bow anymore！

对于某些情绪和关于给定情绪的某些维度，两个或更多个值可能是可接受的。例如，愤怒可以是直率的，也可以是微妙的，所以可以得到任何一个分数。

在一些实施例中，取决于情绪和维度，多于一个的值是可以接受的。例如，愤怒可以(并且必须是)自我中立或自我积极的。在其他情况下，它必须是维度的一个效价。例如，愤怒必须是强有力的；愤怒必须是具体的。连续的HUNCH一起可能会匹配情绪维度数组。如果情绪转变，则他们也可能不会匹配情绪维度数组。

图20是按照本公开的示例性方面的基于HUNCH的规则发现引擎的流程图。该过程在规则发现引擎326中进行。

在S2002，可以对与HUNCH关联的维度进行评分。

在S2004中，将HUNCH与情绪认知状态的简档进行匹配。为了与可能的情绪认知状态相匹配，它们不能具有与该状态相矛盾的元素或维度。可能会匹配不矛盾的空维度。

在S2006，除非另有标注，否则消极或积极维度必然可能匹配。

在S2008，建议情绪认知状态。

在S2010，向自然语言规则模块306建议新的字符串匹配和周围文本。

在S2012，将与新的字符串对应的音频或视觉空间数据馈送到对应的多媒体规则引擎312。

图21A、21B是按照本公开的示例性方面的用于音频媒体中的规则发现的流程图。

在S2102，音频媒体(或来自视觉媒体的声音)被转录成文本并被输入。可选地，隐藏字幕转录物或脚本可以成为输入。在一些实施例中，喘息、噪声、手势和其他非文本音频可以被转录为注释，以便捕捉音频媒体的更多特征。

在S2104，将规则应用于传入文本以检测情绪(以及认知和其他元素)。

在S2106，记录输入中已经成功应用规则的索引位置。

在S2108，计算规则维度以便确定短语、句子、段落和章节层面的强度。

在S2110，用对应的情绪(和/或其他元素)以及相应的强度和属性来注释段落。

在S2112，对应的声波或视觉空间数据按时间协调到段落中单词的索引位置。

在S2114，计算并存储实际音频特性以及说话者的基线音频或视觉空间简档与他们的给定的特定情绪认知简档之间的相对关系。

在S2116，当出现类似的、派生的、相反的或以其他方式相关的音频片段时，将它们与所讨论的情绪认知标签相匹配。针对不同情绪触发相同规则的子段落或字符串被馈送到学习算法中。在数据中检测到的类似声音或视觉空间片段基于类似音频或视觉空间数据的现有标签，使用建议的情绪认知状态进行预标注。在音频或视觉空间数据中检测到的类似片段被反馈到自然语言规则模块306中。

图22是语音信号模式的图。在一个实施例中，文本输入2202的语音信号模式2210与文本输入2202一起被索引2204，并且用于标记情绪2206的开始时间和结束时间(2208)。

情绪认知动力学显示

从历史上看，人群的某些子集在理解口头或书面文本中的情绪、认知、社会、基于信仰、人际或元认知、元情绪或决策线索或动力学方面遇到了各种障碍。特别地，患有诸如自闭症之类疾病的非神经典型的人(例如，神经多样性者)会遇到高到成问题的误解或错过语言中存在的社交线索、情绪和其他动力学元素的比率。给定语言的非母语人士也可能遇到这些困难。当社会规范不被理解和/或被违反时，这些人群所消费的媒体可能会令人困惑、费解、误导，有时会导致脱节、人际冲突或疏远、回避和孤立。由于社交联系的原因，对媒体的享受也可能减少，或者不太可能被谈论。娱乐公司也可能失去收视率或经历收视率下降，因为观众不明了手头的情绪、人际关系、基于信仰的或认知动力学。

经过分析和注释的字幕可以馈送到机器学习算法中，以便随着新情况、动力学、情绪、认知状态和社会方面、潮流和动力学的发展或者被引入获得更大的功效。心理理论模块可以通过额外的迭代进行更新，以适应给定的社会、性别、宗教、信仰、年龄、主题、文化或亚文化，以确保准确性。

归因于检索到并与传入媒体匹配的鲁棒信息，训练数据可以部分自动化。

可以使用训练数据创建媒体，并使用先前数据上的注释来编写、收集、拼接、折衷或模仿媒体。

训练数据可以是听觉的、视觉的、文本的、多感官的或所有类型的组合。

一种类型的训练数据包括GoEmotions数据集，并进行了以下修改：消除欲望(Desire)类；消除中性标签，改为使用中性标签来推导保证分数：1-中性概率分数＝保证分数。

训练数据来源于情感(比如但不限于情绪、认知和其他维度)必然或者以超过阈值的必要性逻辑上要求如此，和/或作者自我表明他们自己的情绪的位置，从而有效地提供标签，并允许经验标签。

用于情绪的自动分类的系统300的实施例是情绪认知动态显示。动态显示可以实时插入情绪的潜台词数据，这使神经多样性者可以随用随时学习和完善他们的社交、情绪、人际关系和心理理论技能。

自然语言规则引擎306配置有由基于构式的、高使用率的和/或可置换短语组成的规则，允许快速确定由字幕提供的文本信息中的语言模式。话题标签按上下文、语料库、一元语法和从输入中派生的其他现有n元语法进行分解，而不仅仅是通过词汇提供，从而提供更准确、更相关的自然语言处理和情感分析。类似的、部分的或相反的维度模式用于情绪的检测。创建规则以对维度进行编码，这些维度可以用于检测每个规则触发构式中的心理健康症状。

情绪认知引擎314被配置为对每个规则的子组成部分(“维度”)进行评分，从而允许快速且越来越准确地识别动机、影响、情绪和认知以及以不同模式和组合聚合的类似子组成部分，从而识别短暂和持久的情绪状态、认知状态、基于信仰的状态、以意见为中心的状态、社会状态和人格状态。情绪是从维度的“形状”推导出来的。情绪的特征可以包括维度的向量、维度的值以及与从这些部分导出的计算的差异或相似性。

情绪认知标注引擎318被配置用于使用情绪、认知、信仰、动机和观点状态子组成部分标注和跟踪在字幕和语音过程中潜台词信息的发展。一旦情绪被标注，聚合情绪认知集合分类器328就基于情绪模式标注元情绪状态、转变和组合。

规则发现引擎326被配置为识别、利用、推导和推断有间隙的情绪状态、趋势、维度转换以及其他情绪状态和转变，以建议潜在的新规则，所述新规则然后被反馈到系统300中。情绪模式和元情绪转变、状态和组合是从情绪、认知或其他情感成分的模式内的间隙推断出来的。规则发现引擎326配置有情感逻辑，该情感逻辑用于推断数据中缺失的情感状态和转变，或者用于解决语义、认知、情绪认知或其他情感模糊。规则发现引擎326被配置为控制机器学习模型引擎320在类的“边缘”上的训练，比如在接近情绪状态之间，如伤心和悲痛，或伤心和愤怒，以进行更熟练、更精细和更快的区分。

显示器210被配置为针对视觉和听觉(听觉音调和语音)数据显示并置的潜台词提示，以实现更丰富的信息和情境感知。显示潜台词数据以通知用户和观众，并增强和/或澄清在媒体中描绘或描述的社会情境以及复杂的情绪和认知状态。

规则发现引擎326被配置为与机器学习模型引擎320一起工作。随着新情况、动力学、情绪、认知状态和社会方面、潮流和动力学的发展或引入，经过分析和注释的字幕可以被馈送到机器学习模型引擎320中。训练数据可以从检索到的信息中获得，并与传入的媒体相匹配。训练数据可以是听觉的、视觉的、文本的、多感官的或者所有模式的组合。

在一个实施例中，训练数据包括GoEmotions数据集。在该实施例中，通过删除欲望(Desire)类来修改GoEmotions数据集。中性标签被替换为从中性标签推导的保证分数，如：1-中性概率分数＝保证分数。

在一些实施例中，训练数据是从情感(比如但不限于情绪、认知和其他维度)必然或者以超过阈值的必要性逻辑上要求如此，和/或作者自我表明他们自己的情绪的来源获得的，从而有效地提供标签，并允许经验标签。

图23是按照本公开的示例性方面的视频/音频流中的实时情绪分类的方法的流程图。该方法使用显示设备进行，包括平板计算机、智能电话机、智能电视机，该显示设备接收流式音频和/或视频，并且包括它自己的带存储器的内置计算机。

在S2302，来自电影或电视节目或流媒体节目或捕获的戏剧或动画视频源的场景与协调的文本转录一起被接收。

在S2304，基于规则的引擎306、情绪认知引擎314、强度评级传感器316和情绪认知标注引擎318进行文本数据的规则匹配，情绪认知标注引擎318在文本转录中用强度评级来标注情绪状态、认知状态和其他这样的状态。

在S2306，聚合情绪认知集合分类器328基于单词同现、话语元素和主题元素来确定上下文线索。

在S2308，情绪认知传感器316可选地用三元维度分数来标记单个字符串或n元语法。

在S2310，视觉空间规则引擎310和音频语音规则引擎308检测视觉数据中明显的增强信息(AugI)和情境元素(SE)或听觉数据中明显的音调元素，并将其输入到媒体的单独的但时间协调的源中。

在S2312，情绪认知传感器314根据面向上下文的语义信息(语境线索)以及AugI和SE数据进行并置(协调和发散，以及各自的程度)，从而创建每个场景的上下文分数。

在S2314，括号内的情绪数据被内联地返回，并插入到文本转录物中以在显示设备210中显示，使得观看者可以更容易地正确识别媒体的情绪、认知或社交元素。

图24图解说明按照本公开的示例性方面的显示设备。示例显示设备2400包括显示屏2402，显示屏2402用于显示来自电影或电视节目或流媒体节目或捕获的戏剧或动画视频源的场景以及协调的文本转录2412。在该示例屏幕中，括号内的情绪数据2414(例如，情绪强度对，“愤怒-中等”)被内联地返回并插入到文本转录物2410中，并且被显示在显示设备2400中。要注意的是，尽管情绪强度对被示为一对术语，但是情绪强度对2414可以以其他格式显示，包括作为数值的强度，或者描绘相对量(低、中、高)的图形符号，比如某种相对大小和/或颜色的条，或者长度变化的一组彩色点。此外，情绪强度对2414可以显示在图形容器中，比如在圆形或矩形形状内部，或者显示在评论气球状形状中。此外，尽管示出了单个情绪强度对2414，但情绪强度对的数量和/或顺序取决于文本转录2412的内容。例如，情绪强度对2414可以被显示为图案。

边缘型人格障碍舒缓设备

图25是按照本公开的示例性方面的具有感官分心的情绪分类系统的示图。

边缘型人格障碍(BPD)是一种心理健康障碍，会影响一个人对自己和他人的思考和感受，导致日常生活中出现问题。它包括自我形象问题、管理情绪和行为的困难、以及不稳定的关系模式。BPD的治疗包括学习管理那些强烈地感到难以承受并可能导致自我伤害的情绪。所公开的实施例包括用于基于某些情绪和情绪模式、尤其是情绪的强度来给出反馈的外围设备。

可以为诊断患有边缘型人格障碍(BPD)的患者提供有配备麦克风的设备或可以接受来自键盘的输入的输入设备、其他文本输入设备(比如具有转录功能的话音记录器)或具有文本输入功能的设备(比如具有文本输入屏幕的配备有触摸屏的设备)。语音信号可以被转换/转录成文本。文本可以被直接输入(302)到设备。该设备优选是患者可以携带的便携式/移动计算设备。在一些实施例中，便携式/移动计算设备可以是便利与云服务进行数字通信的设备。

文本输入由自然语言规则模块(306)处理，然后该模块提供情绪标签，并将输入传递给情绪认知传感器(314)。

强度评级传感器(316)计算每个输入的维度并分配客观强度评级。

在聚合强度模块(2504)中计算移动平均值和聚合分数。

在瞬时强度模块(2502)中计算瞬时强度分数。

当聚合强度模块(2504)中持久的消极情绪强度达到足够高的阈值时，该系统可以可选地经由配置用于辩证行为治疗(DBT)的外围设备主动分配感官舒缓辅助(2506)，以便为患者创建感官舒缓分心，包括但不限于：辛辣糖果的分发，蓝牙手环的振动，蓝牙手环的加热。

当瞬时强度模块(2502)中的任何给定数据点达到超过危险阈值的消极情绪强度时，系统主动激活外围设备2506以产生感官分心。

经由强度评级传感器(316)和情绪认知传感器314恢复对语言或语音的强度监测。当聚合或数据点强度达到第一阈值时，激活不同的随机感官舒缓分心。

一旦聚合强度模块(510)的移动平均值和瞬时强度模块(2504)的评级在30分钟或更长时间内没有上升到阈值以上，则由中央单元分发(2508)日记卡，供患者填写和记录体验，用于个人或治疗用途。

在其他实施例中，具有感官分心的情绪分类系统具有BPD之外的应用。可选地，针对复发之前或复发之后的情绪认知迹象，在善后康复计划或清醒生活之家中监测克服其对酒精、药物或强迫行为的成瘾的用户，并向设备提供文本或转录输入(302)。可选地，针对诸如压力或焦虑之类的特定情绪认知状态的迹象，监测工人或经理的职业沟通，并将其输入(302)到设备。可选地，当聚合强度模块(2504)中持久的消极情绪强度达到足够高的阈值时，系统提醒设施、康复计划、清醒生活之家或雇主，用户有复发或极度压力或焦虑的风险。

图26A、26B、26C是按照本公开的示例性方面的电子手环的示意图。电子手环2600可以是具有嵌入式电子组件的环2612的形式。

导线：

导线2610是一束多个绝缘导线。单个导线要么为正极“+”要么为负极“-”。导线2610优选为镍铬合金(镍铬)，但是也可以由其他导线材料制成。

手环2612可以包括配置用于无线通信的嵌入式通信芯片(连接到微处理器芯片2620)。无线通信优选地是用于发送和从便携式/移动设备接收信号的短程通信。在一个实施例中，通信芯片使用蓝牙或低功耗蓝牙(BLE)来进行无线通信。

滑动窗口部件2614是玻璃或塑料的。滑动窗口2614暴露出分配器2616，分配器2616是单个孔。滑动窗口2614由微型螺线管步进电动机2602驱动。(<5mm)。

设备2600由嵌入式微处理器2620供电。微处理器包括使用组装板类型技术的导线和组件的底座。

微型电磁偏心电动机2622是通过不平衡负载产生振动的致动器。

位于硅树脂中的铜板2608提供热量。

该设备由锂离子可再充电电池2604供电。可再充电电池2604具有关联的再充电接口2606。

带子2612上的指示灯2630用于与便携式/移动设备配对。

带子2612是半透明的，并且可以根据检测到的情绪经由LED灯改变颜色。这可能有助于经历厌恶性紧张、处于高度活跃状态的BPD患者与护理者或亲人交流他们的情绪。

设备2600的适配也可能有助于使PTSD患者在恐慌发作时接地(grounding)，并在被触发时将情绪信息传递给亲人和护理者。

在以上描述中，流程图中的任何过程、描述或块应被理解为表示代码的模块、段或部分，所述代码包括用于实现过程中的特定逻辑功能或步骤的一个或多个可执行指令，并且本领域技术人员会理解，在本发明的示例性实施例的范围内包括备选实现，其中根据所涉及的功能，可以与所示或所讨论的顺序不同地执行各个功能，包括基本上同时地或按相反的顺序执行各个功能。

情绪认知剖析器

在示例实施例中，情绪认知分类可以被实现为剖析器。

文本输入被口头输入或以其他方式输入到自然语言规则306中以供分析。输入可以是关于用户、另一个人或某个主题的。可选地，用户可以捕获自己回答随机作业提示的视频。可选地，OCR或音频转录将书面和视频或音频(分别)封装的文本信息转录为纯文本。

情绪认知传感器314针对情感内容分析文本。

情绪认知情感在分类后由情绪认知标注引擎318标记。

在强度评级传感器316内经由维度计算情感的强度。

在情绪认知剖析器内，利用人格特质、表达特质、认知特质和情绪特质以及价值观和偏见生成简档。

在情绪认知剖析器中，使人口统计信息与简档信息关联。

聚合情绪认知集合分类器328预测将非常适合约会、工作或陪审团的候选人的类型。可选地，用户输入(比如通过调查或问卷)关于他们的理想候选人将表现出的人格特质、价值观、认知特质、情绪特质、价值观和决策点的类型的信息。

向约会网站用户、陪审团顾问或招聘经理进行推荐，以推荐给定的人作为匹配对象，并对可取性和适合性进行评级。

保留并存储由情绪认知剖析器编译的简档，以供机器学习模型引擎320将来使用。

情绪认知通知文本发送(texting)/交流

在示例实施例中，情绪认知分类可以被实现为前文本(pre-text)应用，包括电话银行或文本银行等。

用户将文本或转录的输入提交到系统中用于情绪认知指导，以向用户通知健康的、移情的、积极的以及社交方面和/(亚)文化方面一致的沟通技巧和心理。

可选地，所讨论的关系可以是：销售关系；客户服务关系；工作场所关系；学术关系；咨询/辅导关系；浪漫关系；友谊；家庭关系；以前的或提议的关系；疏远的关系；危机中的关系；熟人关系；或其他人际关系。

当在用户或用户的文本中检测到不健康、不恰当、麻木不仁、令人困惑或视角受限的反应时，提示用户通过游戏、模块、教程或其他教学设备发展他们的沟通技能，以学习更强的沟通方法。无论用户是否选择学习游戏或模块，都会询问用户是否愿意输入更多有关该情境的上下文。

询问用户是否愿意再次尝试交流。

如果用户选择添加上下文，他们可以回答一系列有助于评估情绪认知状态以及情绪或社交状况的问题。如果用户拒绝提供额外的上下文，用户可以选择被询问更多的问题来评估他或她自己的情绪认知状态。

可选地，用户可以从对于沟通或关系的担忧、问题、难题和希望的列表中进行选择。

用户有机会改变他们的沟通技巧并输入新的交流，该交流包含用户的新知识和感知，或者反映他们改变的情绪认知状态。

提示用户重新开始。

动态/自适应实施例

自发的用户文本或转录输入被输入到计算设备、应用、游戏机、电话机或平板电脑中。

文本进入预处理引擎304并由自然语言规则306分析，然后由多媒体分类引擎312分析。

在情绪认知传感器314中评估公开陈述的(显式的)和潜台词检测到的(隐式的)情绪认知状态，并且在强度评级传感器316中对精神状态的程度进行评分。

用户输入在情绪认知标注引擎318中接收标签。

该系统提供精心制作、选择、生成、编辑或以其他方式转换的响应和/或适应用户的情绪认知状态，为用户提供定制的、交互式的、话语式的体验。可选地，话语可以涉及不止一个计算机生成和/或引导的机器人或角色。可选地，话语可以在传统、虚拟现实或增强现实视频游戏的过程中发生。可选地，话语可以涉及一个或多个附加的人工代理。可选地，话语可能涉及为用户或群体提供心理治疗、咨询、危机或清醒帮助的治疗机器人。可选地，话语可以涉及向用户提供陪伴或帮助的虚拟朋友或助手。可选地，话语可能涉及一个或多个自动销售或客户支持机器人。

可选地，环境控制，比如复杂性、难度、音量、速度、配色方案、干预、情节、迷你游戏和/或支线任务、选项、问题、角色、警报、评论、对话、能力或提供的选择，以及其他此类定制和自定义活动适应用户对最新和聚合的机器人驱动的语言回复的响应。

用户过去的响应存储在数据库中，并与相应的迭代提示配对，以供将来在当前和将来的用户会话期间参考。

社会语言学

问题：

从历史上看，社会语言学通过观察和/或分析个人、个人阶层、人群、种族、性别、社会经济群体和其他人群的口头、书面或手势词语来研究他们的近距离态度、信仰、观点和情感。

社会语言学是语义学的一个分支学科，它评估文本与社会因素的关系，包括亚文化、种族差异、性别、两性、人的亚类、地区等。社会语言学长期以来一直在研究语言的语境，包括文化规范、合作、期望、身份问题、人际互动和社会语境。

人文和社会科学的研究人员，以及计算机科学领域的自然语言处理(NLP)工程师对自发和精心制作的文本和语音进行分析。从历史上看，这些研究人员和专业人员不得不部署计算机代码来解析、清理、标注、注释和分析单词，以获得见解。

这些缺点使研究人员与人文和社会科学(比如心理学、社会学、应用行为科学、人类学、传播学、修辞学、妇女研究、民族研究和政治学)疏远，剥夺了社会对日常语言使用及其意义的丰富评论。此外，在文本和语音交流日益快速、重要并以社会进步、公平和理解为中心的时代，社会语言学和认知语言评估普遍缺乏综合计算解决方案，这阻碍了社会进步的加速。

此外，自然语言、认知和社会语言学流水线本身通常需要困难的安装、对预制的数据流及其约束的依赖，或者造成协调困难和延迟的不兼容解决方案。

以前的方法：

以前使数字、扫描、转录或翻译文本的社会语言学研究和分析自动化的尝试需要一系列的多种工具，每种工具都需要技术知识来进行分类和整合。可用的语料库往往受到范围、可访问性和规模的限制，而管理额外的语料库既困难又昂贵。很少存在用户友好的抓取引擎，只提供基本的解析，比如并且不与细粒度的语言和自然语言工具集成，允许在原生环境中观察或标注见解，人类情感、信仰、观点或情绪的分类集中在有监督学习(通常采用贝叶斯概率)，无监督学习(比如神经网络)。

现有解决方案都没有集成涵盖包括顶层研究设计；调查跳跃模式设计；志愿者招募；同意书整合；投票、调查、访谈或数据贡献；数据获取和接收、研究监督和查询创建的整个研究流水线的最先进社会研究工具。类似地，现有解决方案都没有提供一套涵盖语言、计算、聚合、云集成以及机器学习训练、测试和使用的现代、自定义的统计分析工具。

现有解决方案也没有提供一种无缝的方式来下载、传播、收集、评论研究和学术数据集、统计集、相关代码和结果论文。最后，现有解决方案不允许用户将数据集贡献给公众或学术同行用于进一步的研究。

方法

随着技术的进步，不断扩展社会语言学研究的范围，以及扩大语言学领域之外的人文和科学研究，以便为了研究以及社会的进步，将文本、听觉和视觉历史、亚文化、人口、地理和元数据纳入其中，这种社会语言学流水线既是必要的也是欠缺的。

目前，社会语言学是在精选的、范围较窄的数据集上进行的。欠缺用于专业或学术社会语言学家的专业工具的计算工具，现有的解决方案过于基础，粒度不够细，并且进入技术门槛较高。对于社会语言学家来说，极少数用户友好的解决方案往往是不完整的流水线，只允许基本的管理、简单的搜索和高频短语计算、导出等。

本流水线对于针对一系列主题的连续、广泛的计算语言分析，对于声誉管理、广告和营销评估、病毒式主题跟踪以及宣传和“假新闻”检测和相关评级的商业用途来说是新颖且有价值的。

通常，数据集的性能常常因类型和任务而异。现有的解决方案显示POS标注、n元语法、搭配、频率和相对频率，并允许抓取和基本语言、术语或语言学分析。然而，现有的解决方案并没有提供强大且专用的、学科驱动的社会语言学工具，用于人文和科学领域的社会语言学研究的集中的学术、研究和非营利驱动的工具，以及贯穿研究生命周期的研究设计和部署工具。

这种方法还包括可选的地理定位工具、单词和术语比较工具、话语分析和社交互动工具，以及社会语言学情感分析。随着时间的推移，指示人口价值检测和态度变化的语言转变也是新颖的，可以用于社会问题和社会价值跟踪。

倡导团体、非营利组织和学术研究人员目前没有全面的社会语言学流水线来充分处理这些需求，也没有数字手段来端到端设计和创建强有力的社会语言学、短期、近期和纵向研究。随着时间的推移，公共政策可以受益于社会语言学流水线在其他学科的数字应用，商业品牌也可以受益于消息接发跟踪和分析、市场研究、产品开发、焦点小组测试以及社会语言学的自动情感分析。

评估用途也可应用于该流水线，包括国家安全分析、执法或警察暴行监测、心理和社会行为研究、社会项目评估、法律分析、公平有效的招聘实践以及风险管理。

最后，心理健康和身体健康护理以及疫苗、药物、治疗师和医生护理非常需要一个全面、综合研究分析的社会语言学流水线，用于对健康护理问题、药物不良反应和疾病监测进行大规模评估。金融市场目前也容易受到大众社交媒体言论的影响，并将受益于通过技术视角评估、跟踪和监控社交媒体言论的手段。

方法的特征

社会语言学引擎提供以下特征：

·可用于情感分析的自动化语义工具的集成，包括基于积极-消极-中心(PNN)极性的测量、具有多个情绪标签的特定情感检测。

·能够由用户分层设置，以使文本数据处理的自定义流水线完全自动化的无缝数据处理流程。

·建立、检测并允许对潜伏和潜台词推理信息、单词嵌入、句子嵌入、认知语言特征、结构语义映射和用于演绎和归纳推理的标记进行注释和预测的内涵工具的整合。

·用户定义的可测量维度，包括但不限于语言特征和词素、音素、词汇、句子级别和自然段级别的结构组成部分，以及用户分配的用于算法创建的权重。

·用于特定的、预先定义的或分层的语义信息的分类的可选集成阈值确定和加权。

·可选择和可调的机器学习集成，包括将0～n个有监督学习、半监督学习和无监督学习模型无缝部署到数据集上。

·GUI图形用户界面引导的向导，允许非技术用户进行研究设计选择，为研究项目观察者、注释者、受试者和评级者设定参数，用于文本或转录数据的主观标记。

·计算数据集统计平均值、移动平均值和其他中心趋势方法，与用户定义的主题、语料库或搜索查询关联的历史情绪和情感分数，用户定义的主题、语料库或搜索查询的每个用户定义维度的内涵分数，以及关于文本的其他用户定义的句法、语音、形态、认知语言学、社会语言学和语义语言学维度的统计信息。

·强度：我们的分类模型是我们所知道的唯一一个对情绪、内涵或词汇框架强度，而不是作为强度的代理提供的(分类的)概率进行分类的模型。

模型

本发明描述了一种社会语言学流水线，该流水线使来自社会科学、计算机科学和人文学科及子领域的研究人员能够分析在线和离线收集的口头和书面语言，并创建通过机器学习和过程代码分析的可分析数据集，以向用户提供见解，而不需要所要求的计算机编程知识。

研究人员、非营利组织和其他用户可以使用社会语言学引擎来深入分析语音和文本语料库。可以对文本进行时间切片以随时间的推移跟踪文本，或者可以约束文本以进行有时间限制的分析。

预处理包括词性标注(以及创建POS语法的选项)、n元语法生成、频率和相对频率计算、命名实体识别、搭配、跳字、引导n元语法、引导词汇和其他词汇、以及其他NLP数据准备特征。

技术细节

核心社会语言学引擎系统流程包含以下基本和自由裁量的定制步骤：

I.系统首先保存、摄取、抓取和以其他方式编目在因特网上发布、生成、回复、数字化、转录或驻留的文本(包括但不限于音频或视频口语单词[“语音”]、纯文本、标记文本和表情符号、注释的、超链接的或增强的文本、转录的文本或翻译的文本)。所选内容将被抓取、清理并分别放入结构化和非结构化数据库中进行存储。

II、同时，社会语言学引擎进行持续的语料库收集和聚合，包括但不限于社交媒体帖子、论坛帖子、问答网站回复、因特网评论、广告文案、教学文案、书面或口头艺术作品以及法律文本。如果适用，在持续的情感分析部署中，自动标记开始，同时进行持续的数据格式化、索引和处理/丰富，包括但不限于对于给定个人或群体，关于一系列主题和话题的或者由一系列主题和话题引发的信仰、观点、情绪和立场的存储和跟踪。然后对数据进行索引，以便将来进行搜索。

III、接下来，管理员接收在数据集上部署情感分析的选项，允许通过采用语义分析工具和方法针对情绪、情感、信仰和观点对数据进行处理，语义分析工具和方法包括但不限于：神经网络、随机森林算法、聚类算法、主成分算法、矩阵分解算法，贝叶斯分类算法，基于规则的引擎，搜索引擎。

IV、一旦完成自动标注，用户就可以访问个人计算机、智能电话机、平板电脑或移动手持设备上的图形用户界面，以创建和管理调查、创建新数据或通过调查标注存储的数据。

V.用户可以访问图形用户界面来创建可以应用于现有数据和未来数据的新的认知语言成分标注规则。

VI、用户可以访问图形用户界面来对数据创建查询驱动的自定义视图，回答研究问题，包括但不限于：学术和科学研究问题、商业情报、营销情报、股市分析、对政治竞选的见解。

VII、最后，调查、标注的数据以及新的用户生成的语料库和子语料库可以合并到数据存储库中，以允许对其进行新的查询。

VIII、类似地，新的用户创建的自动标注规则、查询驱动的自定义视图、数据的视觉表示和机器学习模型，以及它们的可调阈值、参数和超参数，都可以合并到自动标注引擎中，以标注和索引新的传入数据，以便将来访问、查询。

IX、前两个步骤表示包含了用于改进数据分析统计和机器学习性能的数据反馈回路。

X.图形用户界面允许导出选定的数据集，具有用于分析的选定特征、成分和参数。

XI.在发布或项目完成时向开源数据仓库贡献数据。

示例性实施例

一位社会学教授想要对自2002年以来在线讨论中随着时间的推移使用的关于疾病的单词进行研究。

以前的方法主要允许计算热门单词、短语或主题的结果，在数据中标注并报告。图28是用于社会语言学数据的用户界面特征的系统图。图29是社会语言学引擎流水线的流程图。社会语言学流水线就其采用自由形式的自发表达并将其转化为可量化、可计算的数据的能力而言是新颖而不明显的。

以前，定性研究人员主要能够关注主观和总体的印象。数据集只能通过元数据，比如年龄、癌症分期、地点或婚姻状况进行解析。

社会语言学流水线就其从部分或纯粹的定性数据促进相关性、操作、机器学习统计的、数据分析的、基于类的或预测性分类的能力而言也是新颖的。

该教授将URL输入到引擎的语料库构建器中，该构建器将抓取的数据聚合、规范化并合并到单个文本数据集中。

接下来，该用户导入社会学系过去5年由学生用磁带录音机收集的音频文件。

音频文件被转录成文本并添加到元语料库中。每个子语料库都包含区分其来源的字段。

该教授输入查询，目的是分析关于疾病的单词的历史趋势。

针对对以前无法量化的开放式问题的回答，自动标注音频文件，比如：

“你能告诉我更多关于当时发生的事情吗？”

“如何应对呢？”

“你当时得到过任何人的支持吗？”

“你认为你从这次经历中学到了什么？”

“你是如何将所学应用到另一种生活情境中的？”

对于这些问题中的每一个，社会语言学流水线现在都可以量化维度(以及它们各自的子组成部分)，比如但不限于：

情绪

问题立场

人格

信仰

看法

情感

感知

观点

该教授及其团队在2年的时间里对患者及其主要护理者进行了8个90分钟的录音访谈，包括在整个化疗过程中的4次访谈，以及化疗完成后的随访。

剩余访谈的音频被转录并摄取到社会语言学流水线中，其中PI可以使用数据预处理工具简单地上传音频访谈。

一旦文件被处理并转录成文本，教授就会收到电子邮件通知。

该流水线的数据导入向导使研究人员可以声明相关字段的名称、输入元数据或合并数据集。

然后，该教授可以通过语言情感NLP、统计或语义工具来运行数据，比如但不限于：词语切分(接收访谈中癌症患者使用的热门术语和短语)、发现从访谈中查询的术语周围的重要术语的搭配、相关性、跟踪在每个访谈检查点和/或随访时的感觉、观点、信仰或立场的情绪分数。

该教授可以选择运行比较指标，以比较患者在时间、地理位置或其他元数据方面使用的语言和/或情感，和/或接收数据集的中心性度量以及进一步的统计干预、度量和相关点(否则对定性访谈来说，这是无法获得的)。

另外，教授可以与接受不同或相似治疗的癌症患者的类似研究进行结论性比较，将定性访谈数据集与书面形式的访谈后随访调查统一起来，导出数据集以在统计程序中进行进一步分析，进行机器学习(分组，对用户进行聚类，预测幸福感，评估哪些特征对幸福感有影响)。

如果研究产生了新数据，则该教授可以基于新数据训练他们选择的机器学习算法，和/或将其贡献回数据存储库供其他人使用。

如果该教授愿意，则他们可以研究或发现数据中的模式，以获得进一步的结论。

另外，可以对患者进行聚类，病例可以接受T检验或其他异常检测措施。

该教授可以选择使用其他工具来突出显示重要特征，比如但不限于随机森林。

通过使用机器学习，该教授可以检测出幸福感最低的癌症患者、他们的关联特征，和/或自杀风险最高的癌症患者。

一旦研究论文发表，该教授就可以经由数据存储库将她的数据集贡献给通用知识池，同意在选定或全部条件下使用她的数据集，并指向她的研究论文供其他研究人员分类和使用。

虽然已经描述了某些实施例，但是这些实施例只是作为例子给出的，并不旨在限制本公开的范围。事实上，本文中描述的新颖方法、装置和系统可以以各种其他形式体现；此外，在不脱离本公开的精神的情况下，可以进行本文中描述的方法、装置和系统的形式方面的各种省略、替换和改变。所附权利要求及其等同物旨在涵盖落入本公开的范围和精神内的此类形式或修改。例如，本技术可以被构造用于云计算，从而经由网络在多个装置之间协作分担和处理单个功能。

符号语言学政治分析

问题

不存在能够可靠准确地列举政治立场的情绪分析系统，包括政党归属及其心理语言学子组成部分。另外，不存在能够在具有包容性语义框架的转录、翻译或创作的文本或(音频)语音中捕获政治信仰的潜台词细粒度信号的语义系统。

没有任何机器学习解决方案能够以颗粒的、基于效价的量化格式捕获政治言论的这些含蓄和隐含的细微差别。这些是日益重要的功能，因为难以重复的言论和文本交流对公众产生了显著影响，从而关注其预防(比如2021年1月6日美国国会大厦暴乱)。

机器学习尚未在以在社区、政党和人群内创建健全的个人简档、集群、以及政治立场和其子部分的关系的方式，精确测量信仰系统的子组成部分、自我和他人的效价或消息接发内的话语转折方面，应用于这些认知语言元素。

政治传播的传递-以及集体和个人受众中诱发和煽动的情绪反应-两者中的情感(情绪)检测对于保护社会、理解和维护政治话语和言论自由，以及避免未来潜在的政治暴力都是必要的。

此外，需要一套标准化的评级和分类系统，以进一步分类和检测文本和口头政治言论中隐含和暗示的情感的其他方面，例如但不限于观点、信仰和立场。

衡量和改善社会信仰体系的转变、仇恨犯罪的减少、政党之间的政治暴力的减少以及其他有利社会的维和成果的尝试需要一套衡量在线、蜂窝、数字和模拟通信、它们的影响、细微差别和效果的系统。

最后，有必要衡量政治光谱上的立场，以发现政治极端主义或者国内或国外恐怖主义。

先前的方法

政治立场的自动分类缺乏关于信仰、观点和感觉(情感)的细粒度、丰富的微观信息。没有任何一个系统能够可靠地同时预测政治立场的转变、摇摆选民的类型和倾向，以及改变观点和政党的可能性。

此外，能够捕捉政治信仰的细微差别的理论认知语言学元素还没有以允许跨社会各界的比较点的规范化方式得到可靠量化。

在外国实体进行政治干预之后，需要这样的系统。另外，近几个月和几年来，政治语言、视频和言论以对公民的情感和认知产生显著影响的方式的使用引起了公众的关注。迫切需要一种检测政治传播期间和之后具有细微差别的消息和对受众的影响的系统。

此外，诸如白人至上主义者和在政治光谱的各侧的其他极端主义团体之类的亚文化的崛起，以及他们的社会影响力和不断上升的暴力行为，需要一套用于量化、识别和预测情绪升级和政治暴力上升的系统。

这个问题的先前解决方案能够预测暴力本身，但不能将其与交流的特定元素的含义和内涵联系起来。

以前的该问题的解决方案没有涉及认知、语言学、情绪、智力过程和假设的子元素，以及主要政党之外的政治光谱中的微观定位。

当应用于人类和计算领域时，该领域中的观点、信仰、情感和情绪的分类对于和平社会、威胁检测、公共话语、防止煽动以及对政治受众的深入了解至关重要。

方法

摄取网站或其他数字化文本、转录的音频、以及它们的语言预处理和随后的语言分析测量结果，以聚合多维分数、效价、极性和指示语。

将多维作者、演讲者、政党和新闻媒体或内容来源转换为单一分数的政治精益分数(PLS)，并带有关于政府、宪法、意识形态和社会问题跟踪的态度解读的子维度。

随着新的数据线的摄取，不断更新内容和媒体分数。

对关于摇摆选民可能性分数(SVLS)的数据线进行检测和分类，测量政党忠诚度阈值、随时间或政治事件传播的连续立场的变化率，以及它们随时间或事件变化的程度，和事件的严重性和强度。

可以按照核心原因和主要因素，针对摇摆选民的政治矛盾性、开放性、灵活性、易受影响性、可塑性以及沿着政治光谱和相关子轴的运动，检测摇摆选民的阶层。

能够在国家安全工作、人机交互、教育应用和实验、社交机器人的情感建模以及其他影响检测安全交互中发挥作用。

APS3分数测量以语言计算的结构和字符串表示的诸如权力、控制、改革、方向性、性质、行动和地位关系之类的位点。

能够整合并翻译为机器人可读的社会心理学测量，包括群体动力学、群体间关系、成见或刻板印象、以及组织心理学。

认知情绪语言元素的计算和发送整合，比如但不限于权力效价、颁布美德分数(Enacted Virtue Score(EVS))、比较价值分数(CVS)、自动定位社交子成分分数(APS3)及其各自的子维度。

多维空间中特征成分的测量，阻力、宗教、地方(locality)分数、反讽构式、修辞手法类型、言语行为、动态心理语言学状态变化。

关于诸如勇敢、好奇心、真实性、脆弱性、情商分数(EQS)、同情心、判断力和可学习性之类的子成分的用户属性评分和效价推导，因为它们与政治位置和立场相关。

模型的特征

集体和个人地剖析给定集群的原型用户，以识别沿相关子轴的政治立场和地位的微观划分。

纳入政治立场的微观标签和子轴，将政治和党派分解为细粒度的基于情感的子部分，对于但不限于金融、道德、社会援助、经济、政府影响力、公民自由、宪法地位以及情感的其他政治方面的观点能够被解析、收集和整理，以进行数学的、统计的并基于向量的分类。

测量和并入了认知语言学的理论组成部分，包括但不限于框架、概念隐喻、文学手法、隐喻、概念融合、心理空间、词汇语义、框架语义、力动力学和其他认知语言学子组成部分，其中它们以前没有在通过语言测量用于量化和计算这些情绪效果的子组成部分的一套统一的系统中。

并入以意义为中心的理论认知语言学元素，通过转换为统计和机器学习元素、标签、矩阵和输入，以可量化的形式应用于输入数据，以捕捉关于立场、政治倾向和信仰的丰富语义政治信息。

用于响应于与观察到或目睹的发布内容不一致的音频(比如播客)、视觉(比如视频和图像)以及文本或语音(包括但不限于演讲、评注、访谈、新闻故事、评论、帖子、电子邮件和其他输入)，标注社交媒体评论的启发式方法。

我们的模型具有将机器学习(有监督和非监督学习)与一套基于规则的系统相结合的独特能力，该套系统提供对情感、情绪、信仰和观点的更多经验分类，使用语言对各方进行更强有力的剖析，更有效的分类，以及围绕数据集的更大灵活性。

使用元信息、同步流、模型部署、分区、与感知结果的基线比较以及效价计算来检测政治界别和情绪推理。

技术细节

收集标记数据的能力是通过使用启发式、过滤、基于位置和基于规则的政治归属代理以及在预定义的子轴、话题、主题和词汇框架的列表上的立场来完成的。

通过统计和机器学习方法收集与个人、网站、位置或时间段相关的签名n元语法的整合，包括但不限于：与其他此类实体相比，对所述个人、网站或位置或时间段的n元语法计数和特异性度量。

该系统首先通过对顶部(top)n元语法的文本挖掘，以及各种形式的用户生成数据(包括但不限于：推特、转录语音)的主题建模，识别特定政治家、公众人物特有的特征子轴、主题、话题以及词汇领域和框架。

这些系统还可以通过对顶部n元语法的文本挖掘，以及各种形式的用户生成数据(包括但不限于：推特、reddit帖子、来自社交媒体交互的转录语音、照片、喜欢的内容和音频(如果可用))的主题建模，识别特定社交媒体用户特有的特征子轴、主题、话题以及词汇领域和框架。

这些系统还可以通过对顶部n元语法的文本挖掘，以及各种形式的用户生成数据(包括但不限于：文章、帖子、转录的语音形式视频、官方渠道账户的社交媒体交互、照片、喜欢的内容和音频(如果可用))的主题建模，识别特定社交媒体渠道特有的特征子轴、主题、话题以及词汇领域和框架。

然后，这些系统可以基于预定义的以及通过统计和机器学习发现的子轴，定义测量用户的立场的最终问题列表。

然后，这些系统可以使用机器学习，以确定性分数识别用户在每个问题和子轴上的立场，机器学习包括但不限于以下方法：基于规则的指标，比如病毒签名n元语法采用，通过单词、n元语法、跳字和词性(POS)语法共现和专门的搭配的主导主题的识别，贝叶斯分类器，协同过滤，矩阵分解，聚类算法，LSTM神经网络，微调的变换器神经网络，通过文本挖掘和主题建模进行识别。然后，这些系统将该数据与挖掘的用户元数据关联，所述元数据可以指示年龄、种族、社会经济地位。

然后，这些系统可以使用机器学习方法，基于在引出的子轴列表上的立场相似性来预测用户相似性，机器学习方法包括但不限于：神经网络、贝叶斯分类器、k近邻算法、聚类算法、逻辑回归、SVM、随机森林。

然后，这些系统可以使用用户立场作为输入特征，通过机器学习方法预测政治归属，机器学习方法包括但不限于基于规则的指标、贝叶斯分类器、LSTM神经网络、基于政治数据和公众反应训练的微调的变换器神经网络。

可以关于发现的和预定义的维度，整合用户信息的收集，所述维度包括但不限于：同情、固执、政治立场突变可能性、暴力倾向等。

然后，可以对于任何特定的时间点重复这些步骤，对数据变化的分析可以跟踪政治运动，并针对单个用户、特定的一组用户或所有用户的整个数据集，识别政治立场随着时间的推移的趋势。

通过将用户生成的数据与宣传、广告和其他已识别的影响来源进行交叉参照，这些系统可以量化任何已识别的子轴上的立场的变化程度。

针对特定用户和时间段的分析结果可以在GUI中可视化，所述GUI包括但不限于：网站、浏览器插件、智能电话机应用。

这些系统还可以用于评估用户对单个或受限数据点，比如单个帖子、视频或任何形式的传入文本、音频、视频的立场。

成见、歧视和偏见检测

这些方法的独特之处在于它们通过专门提取自和应用于自然语言中的基于成见和歧视的表达的颗粒语言特征，识别隐蔽和公开的偏见，这些方法可以应用于和相对于私人和公众人物和实体、非营利组织、出版物、网站和其他媒体来源及其传播媒介的自发或精心制作的言语或文本中的种族主义、性别歧视、年龄歧视、同性恋恐惧症、跨性别恐惧症、仇外心理、性骚扰、阶级歧视和体能歧视的实例进行微调。

问题

在计算语言学中，对特定人群、受保护阶层、少数群体、被剥夺权力或弱势群体的歧视、成见以及其他负面或偏见情感的检测一直不易统一量化。还没有提出可以可靠地跨时间、文本和偏见应用的形式化系统，因为在撰写本文时的检测仍然过于特定于数据集。

另外，由于社会语言学家、社会学家、心理学家、伦理、妇女和酷儿研究(以及他们的等同人文和科学研究)对语言进行了近距离的研究，几乎没有一套可靠的规则和线索被开发出来作为检测种族偏见的标准。

结果，没有对照其来评估自然语言或自发言语的统一衡量标准。正因为如此，尚未确立一致的、相对程度的偏见和成见，使得难以实施问责制和促进更快速的社会变革。

这创造了一个少数群体的痛苦是“看不见的”的社会，特殊人群由于缺乏明确、统一的语言证据而实际上受到精神控制(gaslight)。当涉及到隐性偏见时，这种影响也使组织和公司难以衡量其作为集体实体的表现和响应能力。

最后，现实世界的结果需要一套衡量系统，从隐性偏见和歧视的视角与之关联，以便公共和私人人士、实体和系统能够被追责、评估和改进(以及旨在改进此类系统、个人沟通和实体在公平待遇方面的表现的干预措施)。社会需要一种由这些系统处理的偏见预测和程度的解决方案，以识别、预防和检测通常以及在任何特定时间或地点来自或针对某个人群的个人或大规模暴力的可能性。

微妙形式的偏见，比如“他者化”(将少数群体和被压迫阶级视为在白人、异性恋正统主义、顺性别性或其他多数派地位的规范之外)、“白衣骑士”(将少数群体或受压迫阶级视为需要被拯救，而将多数派地位成员视为救世主)，或“微歧视”(小的、隐藏的、容易忽略的轻视，通常是无意识的，但是共同带来心理伤害)难以列举、预测和量化。

因此，迄今为止还没有量化偏见和歧视的标准化方法。

特征

归因于本文中所有集成算法中索引的实现的歧视检测的计算效率。

归因于精准确定输入系统的访谈、观察和交流期间的情绪和偏见反应的时间和文本切片技术的高清晰度和精确度。

归因于在所包括算法中索引的实现的访问结果的进一步计算效率(查询速度)。

将多感官输入集成到单个偏见检测系统中，该系统输出一组规范化分数和偏见主分数，指示给定输入的感知和动作中成见、偏见、歧视或不均衡好感度的存在和程度。

能够将歧视和偏见评级和输入与现实世界的结果联系起来，包括但不限于司法裁决、公平住房评估、警察暴行指控、就业歧视、媒体偏见、说服和营销结果，商业ROI(印象结果，包括网络、平板电脑和智能电话机实体上照字面地，以及其他媒体上从潜在客户到销售的其他转化)，以及社会规范评估。

灵活地评估观察者在目睹和内部处理多感官数据时的隐性偏见，以及存在于媒体消费本身和其中的参与者中的隐性偏见，允许在两者之间建立相关性和统计联系。

可微调的应用，该应用可适用于歧视性言论和语言表达的参数，并且超越传统的偏见分类，适用于双性偏见、国籍歧视、怀孕歧视、宗教歧视、父母或伴侣身份和社会经济阶层的微调特征。

使用元数据和计算语言评估以及其他感官输入来创建地理、社会经济、政治和社会立场、年龄相关和其他特征的简档，以预测可能带有偏见的实体和个人，从而进行有效干预。

能够根据时间线和位置跟踪监测干预措施，以进行调整、改进和拨款。

基本状态检测(BSD)标记，允许将自动数据线标识符复制到数据存储库中，并按照针对性别、种族、社会经济阶层、性取向、身体能力程度和贫困或社会经济指数转换的内含维度实例化的标记进行排序。

计算带有BSD标记附件的数据和传入数据流之间的比较信号，使AI可以提高潜台词通道中处理时间的效率，从而减少训练轮次和系统资源。

方法

这些偏见和成见检测系统量化了针对受保护人群、少数群体、弱势群体或特定阶层的歧视立场和消极态度。这些系统经由依据句子中的特征存在和位置以及通过测量实例(范围为[0，n])；语内相对位置(IRP)；多个句法序列、模糊或精确字符串匹配或其组合；以下类别的语言构式和显著的社会语言学特征及其关联测量点的任何类型的微观维度比较(MDC)，来检测和测量潜台词语言线索，从而阐明歧视性语言的检测：

1.最小化

2.代罪羔羊

3.问题重构为无成见

4.解雇

5.他者化

6.基于恐惧的描述符

7.基于威胁的语言

8.违法的指控

9.歧视性否认

10.动物语言

11.偏向性语言

12.稻草人行为(Strawmanning)和夸张的嘲讽13.偏见的辩护

14.痛苦无效(

15.极端主义框架

16.不服从命令的语言

17.指责受害者

18.沉默

19.公开的威胁

20.优势技巧

21.尊称坚持

22.应该式陈述(Shoulding)

23.防御技巧

24.居高临下的解释格式(男式说教、白人式说教等)25.取消受害者资格

26.刻板印象

27.排斥性语言

28.基于阶层的语言

29.美德质疑

30.基于阶层的性格判断

31.诽谤运动

32.双重标准

33.语言模仿

34.抹杀和故作姿态

35.异化

36.平等前的怀旧

37.微侮辱

38.多数人特质感知赞美

39.含沙射影的问题

40.模范少数群体赞美

41.家长化

42.适当的语言

43.定罪语言

44.道德说教

45.非人性化语言

46.纯净言论

47.入侵/侵犯/接管语言

48.欺诈/社会服务滥用指控

49.社会破坏指控

50.同化抱怨

51.智能语言

52.声称偏见是诚实/现实主义

53.保护终结者

54.意识作为特殊待遇谬论

55.带有成见的成见否认序言/种族主义言论前的限定词

56.伪装成幽默的成见

57.利用目标来获得社会认可

58.造成的外伤的无效

59.(错误/扁平化)泛化(“其中之一”，“像那样的人”)

60.指示代词中的不定代词

61.受到精神控制

62.非人性化

63.偏见的规范化

64.从众谬误

65.无视偏执的指令

66.将少数群体地位作为杠杆/特权的指控

67.自举(Bootstrap)神话

68.弗洛伊德式口误辩护

69.琐碎化

70.种族化

71.作为双重标准断言的恢复性司法

72.反讽恭维话

73.威胁性少数群体语言

74.单数据点谬误

75.支配性语言/权力主张

76.社会地位低下的提醒

77.作为煽动者的受害者(应得的伤害/武力的主张)

78.不文明的主张

79.幼儿化语言

80.小称

81.物化

82.性化

83.恋物化

84.面向多数群体的语言

85.不诚实的指责

86.缺乏美德的指责

87.代币存在或成功证明

87.通过象征性的存在或成功的辩护

88.多数种族、多数族裔、权力性别、多数性取向、健全/非残疾或其他社会特权优势的假设

89.语义框架隐含的轻视或指责

90.隐性压迫者教育需求

实施例

通过集合一个或多个以下语言特征，在语言中区分这些元素：

1.从特征列表中发现0到n的歧视性和有偏见的语言标记，其中每个语言标记表示有助于总体偏见分数和歧视性标签的认知成分测量(CCM)的第二语言嵌入。

2.语料库中短语的跳字的可用列举，这些短语可能会突出不同人群的待遇之间的差异，以及与按照它们的存在与否、强度和程度计算的针对特定人群、少数群体或受保护阶层的成见、偏见或歧视性观点或做法关联的认知语言特征。

3.可选地汇编声音、图像和视频的语料库，以及社交媒体数据和元数据，供人类观察，并通过机器学习算法进行分析和评级，通过授权访问、上传、实时视频、音频或摄像头拍摄的微表情分析、声波分析和所有方面的计算以及语音转录来评估隐性偏见、歧视和成见。

4.通过图像、视频、音频、书面或转录或翻译的文本、调查数据、访谈或来自现场、网站或社交媒体互动的评论以及任何相应的元数据，对来自观察者自身的输入进行额外的可选捕获。

5.在文本语料库上指示的地方进行自然语言包部署，为语料库中上下文中的每个单词生成词性(POS)标签，并创建每个单词到其对应词性的映射。

6.如果合适，部署进一步的语言列举、注释和标注，包括但不限于结构依存关系和搭配。

7.任何面部图像的识别和预处理，包括但不限于：语义分割、重构和规范化。

8.可以指示用户的情绪、意图和观点的相关的、定时的、用户生成的音频片段的识别和预处理。

9.如果适用于输入，则基于显示针对特定人群、受保护阶层或少数群体的偏见、歧视、成见、偏袒的精选语料库或原型文本，以及基于转录的、翻译的、输入的或抓取的自然语言文本、手势输入、面部表情或自发语音，训练选定的模型。

10.如果适用于输入类型，则基于收集和预处理的面部数据训练计算机视觉情绪检测模型。

11.如果适用于输入，则基于用户产生的收集、识别和预处理的声音、语音训练音频情绪识别模型。

12.可选地，使用面部情绪预测来预测图像的情绪标签，并将该标签与用户的现有文本相关联。这使额外的引出数据可以用其响应的可信度、信任、有罪假设、真相假设和好感度的水平来标注图像和文本数据。

13.可选地，使用声音情绪预测来预测图像的情绪标签，并将该标签与用户的现有文本相关联。这使额外的引出数据可以用其响应的可信度、信任、有罪假设、真相假设和好感度的水平来标注声音和文本数据。

14.列举可能突出不同人群的待遇之间的差异的词性语法(POS语法)。

15.列出并检查数据中存在的POS语法和跳字的频率。

16.使用一种或多种统计方法，发现可能突出或强调不同人群的待遇之间的差异的跳字和词性语法。

17.如有必要，使用人类或机器生成的单词表来增强数据，所述单词表包括在多种上下文中针对给定人群、对照组或一般人群的偏见的一系列社会语言学指标。

18.适当地应用数据增强方法来生成相似的同义语法(synogram)(语义上相似的n元语法)用作特征。

19.根据需要，通过将每个单词替换为由与所识别的单词具有相似语义、效价、情感标签、情感聚类、语义关联或极性的相应单词或单词序列组成的数组，增强常见n元语法。

20.在Word2Vec嵌入空间中用k近邻算法扩展常见n元语法的列表的任何增强，另外分别对列表中的反义词和同义词进行排序。

21.对于指示的情况，比较由两个或更多个术语或单词区分的跳字，这些术语或单词在极性、情感、效价、聚类或语义关联或含义方面分别具有显著差异、距离和方向性。

22.检测输入的、基于语料库的、抓取的、翻译的或转录的文本或语音中列举和增强的特征的存在，区分作为偏见的指标的特征。

23.基于检测到的特征，包括但不限于文本面部图像特征，计算每个适用标签的数据线的分数。

24.基于任何增强数据和从输入中选择的特征训练机器学习方法，包括但不限于LSTM、变换器、CNN、KNN、聚类、随机森林、线性回归和贝叶斯概率，以量化偏见。

25.使用图像和文本数据输出隐性偏见、歧视分数、成见分数、可信度分数、真实性分数、有罪假设分数和好感度分数并进行分级。

26.使用随后训练的模型来预测与给定语音或文本输入关联的任何视频、图像或声波文件中的偏见、歧视或成见。

27.通过分析关于其他人群体交流、手势、图像、声音或个人资料数据的有利、不利和中性的面部、文本、或听觉表达和反应(以及它们的子维度和特定情绪)的比率、时间点或通道分界线、或者单词的数量，评估不同和有区别的人群对相似或相同交流的音频、文本、计算机视觉反应。

上述公开内容还包括下面列出的实施例。

(1)一种用于通过处理电路利用情绪认知自动增强自然语言内容的方法。所述方法包括经由输入设备接收作为文本输入的自然语言内容；通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；通过所述处理电路激活匹配的语言规则，并评估所激活的匹配的语言规则的至少一个人类维度；通过所述处理电路对每个人类维度进行评分，以获得给定情绪认知的维度分数的原型简档；通过所述处理电路聚合所获得的维度分数的简档中的维度，以获得给定情绪认知的强度指示；以及通过显示器以使匹配的语言规则与给定情绪认知相关联并用信号通知给定情绪认知的相应强度指示的方式显示增强的自然语言内容。

(2)特征(1)的方法，其中人类维度包括以下情绪情感中的一个或多个：情感、情绪、情绪认知态度、价值观、社会习俗、心态、看法、方面、响应、特质、信仰、观点、视角、动机、偏见、状态、方式、方法、动力学、人格特质、情绪方法、情绪选择、反应、倾向，临时状态、状态变化、认知方面、行为方面、内部条件、外部条件、感觉、情绪、命题、态度、命题态度、定向态度、非定向态度、自我定向态度、有意识情绪认知、无意识情绪认识、愤怒、预期、厌恶、恐惧、喜悦、悲伤、惊讶、信任、自我、责备、顺从，神圣、善良、尊敬、时间、青睐、认可、真诚、脆弱、判断、分离、目的、形式、最小化、特异性、力量、行动、代理、好奇心、清晰度、意图、强调、能量、确定性、兴趣、参与、震惊或惊讶、紧张、速度、细微差别、逻辑、偏执、距离、认同、尊重、物化、依恋、同理心和耐心，其中每个维度具有为表示积极力量的+1、表示消极力量的-1、表示中性力量的0和表示不存在或不适用的中的一个的值，其中通过所述处理电路对每个人类维度评分包括针对所有匹配规则对人类维度进行评分。

(3)特征(1)或(2)的方法，其中使用多个语言规则进行搜索的步骤还包括基于语言规则检测构式；以及评估每个检测到的构式的人类维度。

(4)特征(1)～(3)任意之一的方法，其中评分步骤包括将强度指示与给定情绪认知的阈值进行比较，以获得情绪强度水平。

(5)特征(3)的方法，其中检测构式的步骤还包括检测自然语言内容中具有与给定情绪认知相关的组成部分的构式的存在或不存在。

(6)特征(1)～(5)任意之一的方法，还包括通过所述处理电路，通过与由其他语言规则检测的其他情绪认知级联来确定包括给定情绪认知的情绪认知模式，并将所述情绪认知模式识别为动态情绪认知；以及在自然语言内容上按时间序列跟踪给定情绪认知和其他情绪认知以及关联组成部分。

(7)特征(3)的方法，其中检测构式的步骤还包括确定词性标注或句法规则、精确的、不精确的、带掩码的或带通配符的字符串匹配规则、词元邻近规则、标点符号规则、词形还原规则、词干提取规则、词汇规则和基于单词查找或词典的规则中的一个或多个的数值。

(8)特征(7)的方法，其中确定词元邻近规则的数值的步骤包括访问与自然语言内容中的指定点的距离小于n个词元的所有词元，其中n是正整数。

(9)特征(1)～(8)任意之一的方法，还包括通过进行有监督学习和无监督学习中的至少一个的机器学习引擎生成新的语言规则。

(10)特征(9)的方法，还包括从储存库接收多个自然语言数据项；使用预处理对所接收的多个自然语言数据项进行规范化和词语切分，以生成多个预处理后的自然语言数据项；用所表达的情绪认知和所表达的情绪认知的强度来标记多个预处理后的自然语言数据项；将多个预处理后的自然语言数据项并行地提供给无监督学习引擎和有监督学习引擎；在多个训练回合中并行地训练无监督学习引擎和有监督学习引擎，以在自然语言数据中识别特定情绪认知，并确定所述特定情绪认知的强度，其中无监督学习引擎的每个训练回合向基于规则的引擎的后续训练回合提供规则建议，并且每个训练回合，基于规则的引擎向无监管学习引擎和有监督学习引擎的后续回合提供制表和评分数据；以及提供表示经过训练的无监督学习引擎和经过训练的有监督学习引擎中的至少一个的输出。

(11)特征(1)～(10)任意之一的方法，还包括通过所述处理电路生成新的语言规则，所述处理电路通过将人类维度与现有维度数组相匹配(具有通配符或模式跳过)来进行对存在于自然语言内容内的人类维度的匹配，以便为基于规则的引擎识别新规则。

(12)特征(1)～(11)任意之一的方法，其中所述接收步骤还包括连续读取流式直播视频或动画视频源以及协调的文本转录，并且所述方法还包括基于单词同现、话语元素和主题元素来确定上下文线索；用三元维度分数标记单个字符串或n元语法；检测视觉数据中明显的进一步信息或听觉数据中明显的音调元素，并将其输入到视频的单独的但时间协调的源中；以及根据上下文线索和进一步的信息进行并置，以创建视频中的每个场景的上下文分数。

(13)特征(12)的方法，其中所述显示步骤包括以将给定情绪认知和相应的强度指示括起来并且邻近所述组成部分内联插入的方式来显示文本转录。

(14)特征(1)～(13)任意之一的方法，还包括由规则发现引擎生成新的语言规则，并且其中所述方法还包括通过所述处理电路检测自然语言内容中的钩子单词或成对单词；评估与检测到的钩子单词或成对单词关联的一个或多个人类维度，以确定钩子单词或成对单词是否指示可能的情绪认知；当存在可能的情绪认知时，提取围绕所述钩子单词或成对单词的预定窗口的单词；通过所述处理电路对所述一个或多个人类维度进行评分，以获得钩子单词或成对单词的维度分数的简档；当维度分数的简档在大多数以上时，基于钩子单词或成对单词和提取的周围单词构建可能的情绪认知的新规则。

(15)特征(1)～(14)任意之一的方法，还包括在匹配语言规则的位置识别文本输入中的索引位置。

(16)特征(15)的方法，还包括在索引位置利用情绪认知和相应的强度指示来注释文本输入。

(17)特征(1)～(16)任意之一的方法，其中所述接收步骤还包括经由所述输入设备接收作为音频输入的自然语言内容，并将所述音频输入转录成文本输入，所述方法还包括将所述音频输入的片段与存储的关于类似声音片段的规则相匹配，以及为所述音频片段分配所存储规则的情绪认知标签。

(18)一种电子阅读器，所述电子阅读器包括触摸屏显示器；处理电路；和存储器，其中所述触摸屏显示器被配置为显示电子书的文本；所述处理电路被配置为扫描文本并使用规则标注所述文本，所述规则在被触发时检测情绪认知状态，并确定情绪认知状态发生的强度；所述处理电路被配置为生成和显示一个或多个侧边栏，用于基于检测到的所显示文本的组成部分列出动力学和情绪认知强度信息；当在显示器中的某个位置被触摸时，所述触摸屏被配置为选择动力学或情绪认知强度；并且所述处理电路还被配置为生成并显示颜色编码的高亮显示，所述颜色编码的高亮显示指定所选动力学或情绪认知强度的出现。

(19)一种用于减轻心理障碍的系统，所述系统包括具有处理电路和存储器的移动设备；以及具有通信设备和一个或多个致动器的外围设备，其中所述移动设备的所述存储器存储程序指令，所述程序指令当由所述移动设备的所述处理电路执行时，使所述移动设备进行方法，所述方法包括经由输入设备接收作为文本输入的自然语言内容；通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；通过所述处理电路检测所述匹配的语言规则，以获得给定情绪认知的强度指示；以及当给定情绪认知的强度指示达到超过第一阈值的情绪认知强度时，发送识别情绪认知强度的第一激活信号；并且所述外围设备被配置为经由所述通信设备接收所发送的第一激活信号；以及激活所述一个或多个致动器以产生感官分心从而减轻心理障碍。

(20)特征(19)的系统，其中所述程序指令当由所述移动设备的所述处理电路执行时进一步使所述移动设备进行所述方法，包括经由输入设备继续接收作为进一步的文本输入的自然语言内容；以及当给定情绪认知的强度指示达到超过第二阈值的负面情绪的情绪强度时，发送识别负面情绪的情绪强度的第二激活信号；并且所述外围设备还被配置为接收所发送的第二激活信号，并激活所述一个或多个致动器，以便产生不同的随机感官分心以减轻人格障碍。

(21)特征(1)的方法，还包括基于强度指示突出显示自然语言内容中的单词；将具有突出显示的单词的自然语言内容发送到显示器；以及在视频流式会话的过程中，作为增强现实显示在显示器上显示具有突出显示的单词的自然语言内容。

(22)特征(18)的电子阅读器，还包括检测所述文本中具有与情绪认知状态相关的组成部分的构式的存在或不存在；以及当用户触摸显示在触摸屏上的文本时，显示文本的情绪和认知的表示，其中所述表示是颜色热图。

(23)特征(18)的电子阅读器，还包括在当在阅读期间触摸电子阅读器时所显示的索引位置，利用情绪认知状态和相应的强度来注释文本。

(24)特征(19)的系统，还包括响应于匹配的语言规则的检测，所述移动设备被配置为发送电信号或短无线电波，以便基于所述语言规则触发所述外围设备的颜色编码照明。

(25)特征(19)的系统，其中所述外围设备还包括彩色几何显示器，所述彩色几何显示器被配置为按照给定情绪认知的强度指示来激活LED。

(26)特征(19)的系统，其中所述移动设备进行的方法还包括将强度指示与给定情绪认知的阈值进行比较，以获得认知情绪状态的情绪强度水平；并且所述外围设备包括彩色发光二极管和振动器，并被配置为经由彩色发光二极管广播认知情绪状态，并且当强度指示超过阈值时经由振动器进行振动。

(27)特征(19)的系统，其中所述移动设备进行的方法还包括通过与由其他语言规则检测的其他情绪认知级联来确定包括给定情绪认知的情绪认知模式，并将所述情绪认知模式识别为动态情绪认知；并且所述外围设备包括LED灯和振动设备，所述振动设备与LED灯的脉冲协调地振动，以随着情绪认知转变而转变。

(28)特征(19)的系统，其中所述移动设备进行的方法还包括在由所述外围设备的佩戴者说出时接收和转录的音频对话期间匹配语言规则的位置，识别文本输入中的索引位置。

Claims (28)

1.一种用于通过处理电路利用情绪认知自动增强自然语言内容的方法，所述方法包括：

经由输入设备接收作为文本输入的自然语言内容；

通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；

通过所述处理电路激活匹配的语言规则，并评估所激活的匹配的语言规则的至少一个人类维度；

通过所述处理电路对每个人类维度进行评分，以获得给定情绪认知的维度分数的原型简档；

通过所述处理电路聚合所获得的维度分数的简档中的维度，以获得给定情绪认知的强度指示；以及

通过显示器以使匹配的语言规则与给定情绪认知相关联并用信号通知给定情绪认知的相应强度指示的方式显示增强的自然语言内容。

2.按照权利要求1所述的方法，其中人类维度包括以下情绪情感中的一个或多个：情感、情绪、情绪认知态度、价值观、社会习俗、心态、看法、方面、响应、特质、信仰、观点、视角、动机、偏见、状态、方式、方法、动力学、人格特质、情绪方法、情绪选择、反应、倾向、临时状态、状态变化、认知方面、行为方面、内部条件、外部条件、感觉、情绪、命题、态度、命题态度、定向态度、非定向态度、自我定向态度、有意识情绪认知、无意识情绪认识、愤怒、预期、厌恶、恐惧、喜悦、悲伤、惊讶、信任、自我、责备、顺从、神圣、善良、尊敬、时间、青睐、认可、真诚、脆弱、判断、分离、目的、形式、最小化、特异性、力量、行动、代理、好奇心、清晰度、意图、强调、能量、确定性、兴趣、参与、震惊或惊讶、紧张、速度、细微差别、逻辑、偏执、距离、认同、尊重、物化、依恋、同理心和耐心，

其中每个维度具有为表示积极力量的+1、表示消极力量的-1、表示中性力量的0和表示不存在或不适用的中的一个的值，并且

其中通过所述处理电路对每个人类维度评分包括针对所有匹配规则对人类维度进行评分。

3.按照权利要求1所述的方法，其中使用多个语言规则进行搜索的步骤还包括：

基于语言规则检测构式；以及

评估每个检测到的构式的人类维度。

4.按照权利要求1所述的方法，其中评分步骤包括：

将强度指示与给定情绪认知的阈值进行比较，以获得情绪强度水平。

5.按照权利要求3所述的方法，其中检测构式的步骤还包括：

检测自然语言内容中具有与给定情绪认知相关的组成部分的构式的存在或不存在。

6.按照权利要求1所述的方法，还包括通过所述处理电路，通过与由其他语言规则检测的其他情绪认知级联来确定包括给定情绪认知的情绪认知模式，并将所述情绪认知模式识别为动态情绪认知；以及

在自然语言内容上按时间序列跟踪给定情绪认知和其他情绪认知以及关联组成部分。

7.按照权利要求3所述的方法，其中检测构式的步骤还包括确定以下中的一个或多个的数值

词性标注或句法规则，

精确的、不精确的、带掩码的或带通配符的字符串匹配规则，

词元邻近规则，

标点符号规则，

词形还原规则，

词干提取规则，

词汇规则，以及

基于单词查找或词典的规则。

8.按照权利要求7所述的方法，其中确定词元邻近规则的数值的步骤包括访问与自然语言内容中的指定点的距离小于n个词元的所有词元，其中n是正整数。

9.按照权利要求1所述的方法，还包括通过进行有监督学习和无监督学习中的至少一个的机器学习引擎生成新的语言规则。

10.按照权利要求9所述的方法，还包括：

从储存库接收多个自然语言数据项；

使用预处理对所接收的多个自然语言数据项进行规范化和词语切分，以生成多个预处理后的自然语言数据项；

用所表达的情绪认知和所表达的情绪认知的强度来标记多个预处理后的自然语言数据项；

将多个预处理后的自然语言数据项并行地提供给无监督学习引擎和有监督学习引擎；

在多个训练回合中并行地训练无监督学习引擎和有监督学习引擎，以在自然语言数据中识别特定情绪认知，并确定所述特定情绪认知的强度，其中无监督学习引擎的每个训练回合向基于规则的引擎的后续训练回合提供规则建议，并且每个训练回合，基于规则的引擎向无监管学习引擎和有监督学习引擎的后续回合提供制表和评分数据；以及

提供表示经过训练的无监督学习引擎和经过训练的有监督学习引擎中的至少一个的输出。

11.按照权利要求1所述的方法，还包括通过所述处理电路生成新的语言规则，所述处理电路通过将人类维度与现有维度数组相匹配，具有通配符或模式跳过，来进行对存在于自然语言内容内的人类维度的匹配，以便为基于规则的引擎识别新规则。

12.按照权利要求1所述的方法，其中所述接收步骤还包括连续读取流式直播视频或动画视频源以及协调的文本转录，并且

所述方法还包括

基于单词同现、话语元素和主题元素来确定上下文线索；

用三元维度分数标记单个字符串或n元语法；

检测视觉数据中明显的进一步信息或听觉数据中明显的音调元素，并将其输入到视频的单独的但时间协调的源中；以及

根据上下文线索和进一步的信息进行并置，以创建视频中的每个场景的上下文分数。

13.按照权利要求12所述的方法，其中所述显示步骤包括以将给定情绪认知和相应的强度指示括起来并且邻近所述组成部分内联插入的方式来显示文本转录。

14.按照权利要求1所述的方法，还包括由规则发现引擎生成新的语言规则，并且

其中所述方法还包括

通过所述处理电路检测自然语言内容中的钩子单词或成对单词；

评估与检测到的钩子单词或成对单词关联的一个或多个人类维度，以确定钩子单词或成对单词是否指示可能的情绪认知；

当存在可能的情绪认知时，提取围绕所述钩子单词或成对单词的预定窗口的单词；

通过所述处理电路对所述一个或多个人类维度进行评分，以获得钩子单词或成对单词的维度分数的简档；

当维度分数的简档在大多数以上时，基于钩子单词或成对单词和提取的周围单词构建可能的情绪认知的新规则。

15.按照权利要求1所述的方法，还包括在匹配语言规则的位置识别文本输入中的索引位置。

16.按照权利要求15所述的方法，还包括在索引位置利用情绪认知和相应的强度指示来注释文本输入。

17.按照权利要求1所述的方法，其中所述接收步骤还包括经由所述输入设备接收作为音频输入的自然语言内容，并将所述音频输入转录成文本输入，所述方法还包括：

将所述音频输入的片段与存储的用于类似声音片段的规则相匹配，以及为所述音频片段分配所存储规则的情绪认知标签。

18.一种电子阅读器，所述电子阅读器包括：

触摸屏显示器；

处理电路；和

存储器，其中

所述触摸屏显示器被配置为显示电子书的文本；

所述处理电路被配置为扫描文本并使用规则标注所述文本，所述规则在被触发时检测情绪认知状态，并确定情绪认知状态发生的强度；

所述处理电路被配置为生成和显示一个或多个侧边栏，用于基于检测到的所显示文本的组成部分列出动力学和情绪认知强度信息；

当在显示器中的位置处被触摸时，所述触摸屏被配置为选择动力学或情绪认知强度；并且

所述处理电路还被配置为生成并显示颜色编码的突出显示，所述颜色编码的突出显示指定所选动力学或情绪认知强度的出现。

19.一种用于减轻心理障碍的系统，所述系统包括：

具有处理电路和存储器的移动设备；以及

具有通信设备和一个或多个致动器的外围设备，

其中所述移动设备的所述存储器存储程序指令，所述程序指令当由所述移动设备的所述处理电路执行时，使所述移动设备执行方法，所述方法包括：

经由输入设备接收作为文本输入的自然语言内容；

通过所述处理电路搜索用于给定情绪认知的多个语言规则与所述文本输入的组成部分之间的匹配，其中所述语言规则的实例具有至少一个人类维度；

通过所述处理电路检测所匹配的语言规则，以获得给定情绪认知的强度指示；以及

当给定情绪认知的强度指示达到超过第一阈值的情绪认知强度时，发送识别情绪认知强度的第一激活信号；并且

所述外围设备被配置为经由所述通信设备接收所发送的第一激活信号；以及激活所述一个或多个致动器以产生感官分心从而减轻心理障碍。

20.按照权利要求19所述的系统，其中所述程序指令当由所述移动设备的所述处理电路执行时进一步使所述移动设备执行所述方法，包括

经由输入设备继续接收作为进一步的文本输入的自然语言内容；以及

当给定情绪认知的强度指示达到超过第二阈值的负面情绪的情绪强度时，发送识别负面情绪的情绪强度的第二激活信号；并且

所述外围设备还被配置为接收所发送的第二激活信号，并激活所述一个或多个致动器，以便产生不同的随机感官分心以减轻心理障碍。

21.按照权利要求1所述的方法，还包括：

基于强度指示突出显示自然语言内容中的单词；

将具有突出显示的单词的自然语言内容发送到显示器；以及

在视频流式会话的过程中，作为增强现实显示在显示器上显示具有突出显示的单词的自然语言内容。

22.按照权利要求18所述的电子阅读器，还包括：

检测所述文本中具有与情绪认知状态相关的组成部分的构式的存在或不存在；以及

当用户触摸显示在触摸屏上的文本时，显示文本的情绪和认知的表示，其中所述表示是颜色热图。

23.按照权利要求18所述的电子阅读器，还包括在当在阅读期间触摸电子阅读器时所显示的索引位置处，利用情绪认知状态和相应的强度来注释文本。

24.按照权利要求19所述的系统，还包括：

响应于匹配的语言规则的检测，

所述移动设备被配置为发送电信号或短无线电波，以便基于所述语言规则触发所述外围设备的颜色编码照明。

25.按照权利要求19所述的系统，其中所述外围设备还包括彩色几何显示器，所述彩色几何显示器被配置为按照给定情绪认知的强度指示来激活LED。

26.按照权利要求19所述的系统，其中所述移动设备进行的方法还包括

将强度指示与给定情绪认知的阈值进行比较，以获得认知情绪状态的情绪强度水平；并且

所述外围设备包括彩色发光二极管和振动器，并被配置为经由彩色发光二极管广播认知情绪状态，并且当强度指示超过阈值时经由振动器进行振动。

27.按照权利要求19所述的系统，其中所述移动设备进行的方法还包括

通过与由其他语言规则检测的其他情绪认知级联来确定包括给定情绪认知的情绪认知模式，并将所述情绪认知模式识别为动态情绪认知；并且

所述外围设备包括LED灯和振动设备，所述振动设备与LED灯的脉冲协调地振动，以随着情绪认知转变而转变。

28.按照权利要求19所述的系统，其中所述移动设备进行的方法还包括在由所述外围设备的佩戴者说出时接收和转录的音频对话期间匹配语言规则的位置处，识别文本输入中的索引位置。