CN101331490A - 心理状态的检测和使用心理状态的互动 - Google Patents

Abstract

一种检测心理状态的方法，包括在处理器中接收来自一个或者多个生物信号检测器的对象的生物信号，和在处理器中确定生物信号是否表示对象出现了特定的心理状态。一种使用被检测心理状态的方法，包括在处理器中接收表示心理状态是否出现在对象中的信号。心理状态可以是非故意心理状态，例如情绪、偏好、感觉、生理状态和状况。一个处理器能被配置以执行这些方法，并且一种计算机程序产品，有形地存储在机器可读介质上，具有可操作指令以使得处理器执行这些方法。

Description

心理状态的检测和使用心理状态的互动

技术领域

本发明总地来说涉及非故意心理状态的检测。

背景技术

人机互动通常被限制于笨重的输入装置，例如键盘、鼠标或者其他手工可操作的装置。这种接口的使用将使用者的能力限制为仅仅提供预先考虑好的和有意识的命令。

大量的输入装置已经被开发以帮助残疾人提供这样的预先考虑好的和有意识的命令。某些这样的输入装置检测眼球运动或者由语音激活以最小化使用者为操作这些装置而需要的物理运动。然而，这样的输入装置必须被有意识地控制并且被使用者操作。但是，大多数的人的行为是被人们没有意识到的或者不是有意识地控制(也即无意识的思想)的事情所驱动的。无意识地被控制的交流仅仅存在于人之间的交流，并且常常被称为“直觉”。

发明内容

人们希望提供一种促进人类使用者和机器(例如电子娱乐平台或者其他互动实体)之间的无意识地被控制的交流的方式，以改善使用者的互动体验。人们也希望提供一种使用者和一个或多个互动实体互动的手段(其可调整以适合大量应用)而不需要使用大量的数据处理资源。人们也希望提供一种在一个或者多个使用者和一个或者多个互动实体之间的互动方法，其改良了或者克服了现有的互动系统的一个或者多个缺点。人们也希望提供简化人机互动的技术。对于这种技术，人们希望它是稳健的和强大的，并且使用自然的无意识的人类互动技术以使人机互动对于人类使用者来讲尽可能自然。

在一个方面，本发明涉及一种检测心理状态的方法。该方法包括在处理器中接收来自一个或者多个生物信号检测器的对象(subject)的生物信号；和在处理器中确定生物信号是否表示对象中出现了特定的心理状态。

本发明的实现可以包括一个或者多个下面的特征。特定的心理状态可以是非故意心理状态，例如情绪、偏好、感觉、生理状态或状况。从处理器能产生一个信号，其表示特定的心理状态是否出现。生物信号可以包括脑电图(EEG)信号。生物信号能被变换成不同的表示，对于不同的表示的一个或者多个特征的值能被确定，并且该值被比较于心理状态签名。确定非故意心理状态的出现可以在基本上不需要校准心理状态签名的情况下执行。接收和确定可以基本上实时发生。

另一方面，本发明涉及使用被检测心理状态的方法。该方法包括在处理器中接收表示心理状态是否出现在对象中的信号。

本发明的实现可以包括一个或者多个下面的特征。特定的心理状态可能是非故意心理状态，例如情绪、偏好、感觉、生理状态和状况。信号可以被存储，或者一个行为可以被选择以基于该信号改变环境。表示目标情绪的数据可以被存储；处理器可以确定环境变量的改变，该环境变量的改变被期待朝向目标情绪改变对象的情绪反应；并且可以引起环境变量的改变。基于表示情绪是否出现在对象中的信号可以确定目标情绪是否已经被唤起。表示环境变量在唤起目标情绪上的有效性的权重可以被存储，并且在确定改变的时候可以使用该权重。基于表示情绪是否出现的信号，用一个学习代理，更新该权重。环境变量可能发生在物理环境或者虚拟环境。

另一方面，本发明涉及一种计算机程序产品，有形地存储在机器可读介质上，该产品包括可操作指令以使得处理器执行上面描述的方法。另一方面，本发明涉及一种系统，其具有被配置以执行上面描述的方法的处理器。

另一方面，本发明涉及检测和使用心理状态的方法。该方法包括：用一个或者多个生物信号检测器检测对象的生物信号，引导生物信号到第一处理器，在第一处理器中确定生物信号是否表示对象中出现了特定的心理状态，从第一处理器产生表示特定的心理状态是否出现的信号，在第二处理器接收该信号，和存储该信号或基于该信号改变环境。

另一方面，本发明涉及一种设备，其包括：一个或者多个生物信号检测器；第一处理器，被配置为从一个或者多个生物信号检测器接收生物信号，确定该生物信号是否指示在对象中出现特定心理状态，并且产生表示特定的心理状态是否出现的信号；第二处理器，被配置以接收所述信号和存储该信号或者基于该信号改变环境。

另一方面，本发明涉及一种使用者和环境互动的方法。该方法包括：响应于一个或者多个来自使用者的生物信号检测和分类特定心理状态的出现；选择一个或者多个影响使用者的情绪反应的环境变量；和执行一个或者多个行为以改变被选择的环境变量并因此改变使用者的情绪反应。

本发明的一个或者多个实施例的细节在下面的附图和详细描述中阐明。从描述和附图以及权利要求，本发明的其他特征、目的和优势将明显。

附图的简要说明

图1是阐释了用于检测和分类心理状态(例如非故意心理状态，如情绪)的系统与使用被检测心理状态的系统和对象的互动的原理图。

图1A是用于检测和分类心理状态(例如非故意心理状态，如情绪)的设备的原理图。

图1B-1D是图1A中所示的设备的变体。

图2是阐释了以形成被用在图1所示设备中的头戴式装置(headset)的部分的头皮电极的形式存在的生物信号检测器的位置的原理图。

图3和图4是阐释了被图1所示设备在检测和分类心理状态期间执行的主要的功能步骤的流程图。

图5是被图1的设备处理的生物信号和这些生物信号的变换的图示。

图6是用于使用被检测情绪来控制环境变量的平台的原理图。

图7是阐释了设备和图1所示的使用中的平台的高级功能的流程图。

图8和图9是图4所示的平台的两个变体。

各个图中的相似的标号指示相似的元件。

具体实施方式

本发明总体上涉及使用者和机器的交流。具体而言，对象的心理状态能被检测和分类，并且表示这种心理状态的信号能被产生和指向机器。本发明总体上也涉及一种被一个或者多个使用者在被机器所控制的交互式环境下使用非意识地被控制的交流的互动方法。本发明适合使用在使用者在其中实时互动的电子娱乐平台或者其他平台，并且参照示例性的但非限制性的应用描述本发明将会很方便。

现在参见图1，这里所示的是系统10，其用于检测和分类对象的故意或者非故意的心理状态和产生表示这些心理状态的信号。一般来讲，非故意心理状态是缺乏有意识行为的主观性质的心理状态。这些非故意心理状态有时被称非意识心理，但是应该理解：在本文的上下文中，非意识是指不是有意识地被选择；非故意心理状态可以(但不一定)被有意识地体验。相反，故意心理状态发生在对象有意识地专注于任务、图像或者有某种意志的体验的时候。

有几种类型的非故意心理状态，包括情绪、偏好、感觉、生理状态和状况，其能被系统10检测。“情绪(Emotion)”包括激动、高兴、恐惧、悲伤、烦恼和其他情绪。“偏好(Preference)”一般表现为倾向于或者远离(例如喜欢或者不喜欢)被观察到的一些事物。“感觉(Sensation)”包括渴望、疼痛和其他生理感觉，并且可能伴随有对应的缓解和加强该感觉的冲动。“生理状态(Physiological state)”涉及基本上直接地控制身体生理，比如心率、体温和出汗的大脑状态。“状况(Condition)”涉及作为身体状况的原因、症状和不良反应，但不是常规地和感觉或者生理状态联系在一起的大脑状态。癫痫症发病(epileptic fit)是状况的一个例子。在一个人患有青光眼的时候，大脑在枕叶处理视觉信息的方式，是状况的另一个例子。当然，我们应该理解，一些非故意心理状态可以被分类到这些种类中的多种，或者不能被纳入这些种类中的任何一种。

系统10包括两个主要的组件，神经生理信号获取装置12和心理状态检测引擎14，前者被对象20穿戴或者以其他方式携带。简短而言，神经生理信号获取装置12从对象20检测生物信号，而心理状态检测引擎14实现把这些生物信号转化成表示对象中特定心理状态的存在(和可选择的强度)的信号的一种或多种检测算法114。心理状态检测引擎14包括至少一个处理器，其可以是一个用软件指令编程的通用数字处理器，或者一个专用处理器，例如ASIC，其执行检测算法114。我们应该理解，尤其在软件实现的情况下，心理状态检测引擎14可以是运行于多个计算机上的一个分布式系统。

在运行中，心理状态检测引擎实际上能实时检测心理状态，例如对于非故意心理状态，期望小于50毫秒的时延。对于人与人的互动，这能使得以足够的速度检测心理状态，例如虚拟环境中的角色(avatar)在被检测心理状态的基础之上被修改，而没有令人受挫的延迟。故意心理状态的检测可能稍微慢一些，例如小于几百毫秒，但是足够快以避免使用者在人-机器互动中的挫折感。

心理状态检测引擎14被一个接口耦合到使用表示心理状态的信号的系统30，其中的接口可以是应用程序接口(API)。系统30包括一个应用引擎32，其能产生到系统10的查询，请求关于对象20的心理状态的数据；接收表示对象的心理状态的输入信号；并使用这些信号。因此，心理状态检测算法的结果作为表示预定的非故意心理状态的输入信号，被引导到系统30。可选地，系统30能控制对象暴露在其中的环境34，并且能使用表示对象的心理状态的信号以确定要执行的将要改变环境34的事件。例如，系统30能存储表示目标情绪的数据，并能控制环境34以唤起该目标情绪。或者，该系统能被主要用于数据收集，并且能存储和以人类可读的格式向使用者(其可以不是对象)显示关于对象的心理状态的信息。系统30可以包括一个被耦合到引擎32上的本地数据存储器36，并且也能被耦合到网络，例如因特网。引擎32可以包括至少一个处理器，其可以是用软件指令编程的通用数字处理器，或者一个专用处理器，例如ASIC。另外，我们应该理解，系统30可以是运行于多个计算机上的一个分布式系统。

神经生理信号获取装置12包括生物信号检测器，其能检测来自对象的各种生物信号，尤其是由身体所产生的电子信号，比如脑电图(EEG)信号，眼电图(EOG)信号和肌电图(EMG)信号以及类似的信号。但是，应该注意的是，被系统10测量和使用的EEG信号可以包括频率范围(例如0.3～80Hz)之外的信号，该频率范围通常是被用于记录EEG信号的。一般来讲，设想系统10能单独地使用来自对象的电子信号(尤其是EEG信号)来检测心理状态(故意性的和非故意性的)，而不用直接测量其他生理过程，例如心率、血压、呼吸或者皮肤电反应，这些可以通过心率监视器、血压监视器或者类似的监视器得到。另外，能被检测和分类的心理状态比起对象的大脑活动的总体相关性更具体，例如清醒状态或者处于一种类型的睡眠(比如REM或者非REM睡眠阶段)中，其通常用EEG信号测量。例如，特定的情绪(比如激动)或者特定的具有某种意志的任务(比如推或者拉物体的命令)，能被检测。

在典型的实施例中，神经生理信号获取装置包括头戴式装置，其固定在对象20的头上。头戴式装置包括一系列的用于捕获来自对象或者使用者的EEG信号的头皮电极。这些头皮电极可以直接接触头皮或者可以是不需要直接放在头皮上的非接触类型。不像提供高分辨率3-D脑扫描、例如MRI或CAT扫描的系统，该头戴式装置一般是便捷的并且使非限制性的。

被头皮电极系列检测到的头皮上的电波动主要归因于处于头骨或者在头骨附近的脑组织的活动。其来源是大脑皮质的电子活动，该大脑皮质的主要部分位于头皮下面的大脑的外表面。头皮电极拾取被大脑自然地产生的电子信号，并且有可能观测横越大脑表面的电子脉冲。

图2阐释的是形成头戴式装置一部分的头皮电极的定位的一个例子。图2所示的电极布置被称为“10-20”系统，并且被建立在电极的位置和大脑皮质之下区域之间的关系的基础之上。电极布置系统200上的每一个点标明一个可能的头皮电极位置。每一侧标明一个字母以识别负荷和一个数字或其他字母以识别大脑半球位置。字母F、T、C、P、O表示前部、颞部、中心、侧部和枕部。偶数表示大脑右半球，奇数表示大脑左半球。字母Z表示放置在中线上的电极。中线是一条线，其沿着头皮在纵分面上在鼻根点开始，在头部后面的枕外隆凸点结束。“10”和“20”表示中线划分的百分率。中线被划分成7个位置，它们是鼻根点、Fpz、Fz、Cz、Pz、Oz和枕外隆凸点，相邻位置之间的间隔角分别是中线长度的10％、20％、20％、20％、20％和10％。

尽管在这个实施例中，头戴式装置包括32个头皮电极，但是其他的实施例可以包括不同数目和不同布置的头皮电极。例如，头戴式装置可以包括16个电极和参考电极和地电极。

参见图1A，其所示的是设备100和外部装置150，设备100包括用于检测和分类心理状态的系统；装置150包括使用表示心理状态的信号的系统。设备100包括上面所描述的头戴式装置102，和处理电子器件103以从来自头戴式装置102的信号检测和分类对象的心理状态。

被头戴式装置102检测到的每一个信号通过一个传感接口104被馈送，该接口可以包括一个用来加强信号强度的放大器和一个用来消除噪声的滤波器，然后再被一个模拟数字转换器106数字化。在设备103的运行过程中，被每一个头皮传感器捕获的信号的数字化样本被存储在数据缓冲器108中以用于后续处理。设备100还包括处理系统109，其包括数字信号处理器(DSP)112、协处理器110和用于存储一系列指令(或者名为计算机程序或计算机控制逻辑)的相关的存储装置，以使处理系统109执行预期功能步骤。协处理器110通过输入/输出接口116被连接到传输装置118，比如无线2.4GHz装置、WIFI或蓝牙装置，或者802.11b/g装置。传输装置118把设备100和外部装置150连接在一起。

很明显，所述存储器包括一系列指令，该指令限定至少一个算法114，其将要被数字信号处理器112执行以检测和分类预定的非故意心理状态。一般地，DSP112执行数字信号预处理以减小噪声，转换该信号以从对象的大脑皮质的特定形状展开(unfold)它，并在被转换信号上执行情绪检测算法。该情绪检测算法能像一个神经网络(其适应特定对象用于分类和校正目的)一样运行。除了情绪检测算法，该DSP也能存储用于故意心理状态和面部表情(比如眨眼、眨一只眼、微笑等等)的检测算法。

协处理器110作为应用程序接口(API)的装置侧执行，除了其他功能以外，运行通信协议栈，比如无线通信协议，以运行传输装置118。具体而言，协处理器110处理来自外部装置150的查询并对其优先化，比如关于对象的特定非故意心理状态(比如情绪)的存在或强度的查询。协处理器110把特定的查询转换成对DSP112的电子命令，并且把从DSP112接收的数据转换成对外部装置150的响应。

在这个实施例中，心理状态检测引擎被实现在软件中，并且其一系列指令被存储在处理系统109的存储器中。该系列指令使处理系统109执行本发明的如这里所描述的功能。在其他实施例中，心理状态检测引擎能主要以硬件实现，使用例如硬件组件比如专用集成电路(ASIC)，或者使用软件和硬件的组合。

外部装置150是一个带有处理器的机器(例如通用计算机或者游戏控制台)，它将会使用表示预定的非故意心理状态(比如一种类型的情绪)的存在或者缺失的信号。如果外部装置是通用计算机，那么，它通常将运行一个或者多个应用程序152，其作为引擎产生对设备100的查询，请求关于对象心理状态的数据，以接收表示对象心理状态的输入信号。应用程序152也能通过改变环境(例如真实环境或者虚拟环境)的方式响应表示使用者的心理状态的数据。因此，使用者的心理状态能用作一个游戏系统或者另一个应用程序(包括模拟程序或者其他互动环境)的控制输入。

接收和响应表示心理状态的信号的系统能被实现在软件中，并且其一系列指令可以被存储在装置150的存储器中。在其他实施例中，接收和响应表示心理状态的信号的系统能被主要实现在硬件中，使用例如硬件组件比如专用集成电路(ASIC)，或者使用软件和硬件的组合。

设备100的其他实现是可能的。代替数字信号处理器，FPGA(现场可编程门阵列)能被使用。除了单独的数字信号处理器和协处理器，处理功能能被单一的处理器执行。缓冲器108能被所去掉或者被一个复用器(MUX)取代，数据被直接存储在处理系统的存储器中。MUX能被放置在A/D转换器级之前，以使得仅需要单个A/D转换器。设备100和平台120之间的连接能被有线连接而不是无线连接。

尽管心理状态检测引擎在图1中被示为单个的装置，但是其他的实现是可能的。例如，如图1B所示，设备包括头戴式装置组件120，其包括头戴式装置，MUX，A/D转换器(MUX之前或者之后)，无线传输装置，供电的电池，和微控制器，其控制电池使用，从MUX或A/D转换器到无线芯片发送数据，以及类似的功能。A/D转换器106等等，能被配置在头戴式装置102上。该设备也能包括一个单独的处理单元122，单独的处理单元包括无线接收器和处理系统，无线接收器用以接收来自头戴式装置组件的数据；处理系统例如DSP112和协处理器110。该处理器单元112能通过有线或者无线连接(例如电缆124，其连接外部装置150的USB输入)被连接到外部装置150上。这个实现可能有利于提供一种无线头戴式装置而减少被连接部分的数量和头戴式装置的重量。

作为另一个例子，如图1C所示，专用数字信号处理器112被直接集成到装置170。装置170也包括通用数字处理器以运行应用程序114或者针对特定应用程序的处理器，其使用关于对象的非故意性心理状态的信息。在这种情况下，心理状态检测引擎的功能分散在头戴式装置组件120和装置170(其运行应用152)之间。作为另一个例子，如图1D所示，这里没有专用的DSP，心理状态检测算法114替代性地被执行应用程序152的同一处理器在装置180(例如通用计算机)中执行。这最后一个实施例特别地适合心理状态检测算法114和用软件实现的应用程序152，且指令系列被存储在装置180的存储器中。

在操作中，头戴式装置102(包括根据系统200定位的头皮电极)，被放置在对象的头上以检测EEG信号。图3所示的是被设备100在捕获这些EEG信号期间所实施的一系列步骤和被处理系统109所实施的后续数据制备操作。

在步骤300，EEG信号被捕获并且通过使用模拟数字转换器106被数字化。数据样本被存储在数据缓冲器108中。被头戴式装置102检测到的EEG信号可能有特征范围，但是为了图示目的，典型特征如下：幅度10-4000μv，频率范围0.16-256Hz和采样速率128-2048Hz。

在步骤302，用于后续分析的数据样本被调节。可能噪声来源(其被期望从数据样本中消除)包括在信号收集、储存和检索的过程中被引入的外部干扰。对于EEG信号，外部干扰的例子包括50/60Hz的电力线信号和来自驻留在EEG信号获取硬件中的开关电路的高频率噪声。在这个调节步骤期间被实施的典型的操作是通过高通滤波器去除基线。另外的检查被执行以确保数据样本不是当一个劣质信号从头戴式装置102被检测的时候被收集的。信号质量信息能被反馈到使用者以帮助他们采取矫正行为。

伪信号去除步骤304然后被实施以去除信号干扰。在这个例子中，EEG信号由在使用者的头皮上的许多位置的电势的测量组成。这些信号可被表示为一些信号源s_m的一组观测x_n，其中：n ∈[1:N]、m∈[1:M]、n是通道索引、N是通道数、m是源索引、M是源的数目。如果存在一组传递函数F和G，其描述s_m和x_n之间的关系，我们能以一定的置信度来识别哪些来源或者分量对观测x_n有鲜明的影响和它们的特征。不同的技术、比如独立分量分析(ICA)被设备100应用以发现对x_n的幅度有最大影响的分量。这些分量常常源于干扰，比如电力线噪声、信号掉出，以及肌肉、眨眼和眼部运动伪信号。

在步骤306、308和310，EEG信号被转换成不同的表示，其方便头戴式装置102的使用者的心理状态的检测和分类。

在步骤306，数据样本首先被分割成在时间段(epoch)之内的等长的时间片段(segment)。在图5所示的典型实施例中，在时间段之内有7个等长的时间片段，在另一个实施例中，时间片段的数量和长度可能会改变。进一步而言，在另外一个实施例中，时间片段可以不等长，并且在时间段之内可以重叠或可以不重叠。每一个时间段的长度可以动态地变化，这取决于检测系统中的事件，比如伪信号去除或者签名更新。但是，通常来讲，时间段被选择成足够长以使得心理状态中的变化(如果发生)能可靠地被检测到。图5是从头戴式装置102检测的32个电极的EEG信号的图解。三个时间段500、502和504被显示，每一个都在使用者的心理状态的变化的开始之前2秒和之后2秒。通常，事件之前的基线被限制在2秒，而事件(包含情绪响应的EEG信号)之后的部分是可变的，取决于被检测到的当前情绪。

处理系统109把时间段500、502和504分成了时间片段。在图5所示的例子中，时间段500被分割成了1秒长的片段506～518，其中每一个以二分之一秒重叠。4秒长的时间段则将会产生7个时间片段。

然后，在步骤308和310，处理系统109把EEG信号转换成不同的表示，以使得每一个EEG信号表示的一个或者多个特征的值能在步骤312被计算和校准。例如，对于每一个时间片段和每一个通道，EEG信号能从时间域(信号强度作为时间的函数)被转换到频域(信号强度作为频率的函数)。在一个典型的实施例中，EEG信号分别以低和高截止频率0.16Hz和256Hz被带通(在转换到频域期间)。

作为另一个例子，EEG信号能被转换成不同的域(信号强度的边际变化作为时间的函数)，其近似一阶导数。频域也能被转换成不同的域(信号强度的边际变化作为频率的函数)，尽管这可能需要比较来自不同的时间片段的频率频谱。

在步骤312，每一个EEG信号表示的一个或者多个特征的值可以被计算(或者从先前的步骤收集，如果所述转换产生标度值)，并且各种不同的值被集合以提供对象的心理状态的多维的表示。除了从EEG信号的被转换的表示计算出来的值以外，一些值能从原始EEG信号被计算出来。

作为特征的值的计算的例子，在频域中，多个频带中的每一个中的集合信号功率能被计算出来。在此处所描述的一个典型的实施例中，7个频带被使用，以下面的频率范围：δ(2-4Hz)、θ(4-8Hz)、α1(8-10Hz)、α2(10-13Hz)、β1(13-20Hz)、β2(20-30Hz)和γ(30-45Hz)。这些频带上的每一个的信号功率被计算。另外，对于各种不同的通道或波段组合，信号功率可以被计算。例如，对于横越所有的频带上的每一个空间通道(每个电极)的总信号功率能被确定，或者对于横越所有的通道上的给定的频带的总信号功率能被确定。

在本发明的其他实施例中，频带的数量和范围可以不同于明显依赖于所采用的特定应用或者检测方法的典型实施例。另外，该频带可以重叠。进一步而言，不同于集合信号功率的特征，例如实部分量、相位、峰值频率或者平均频率能从每一个频带的频域表示被计算出来。

在这个典型的实施例中，信号表示是在时间、频率和空间域的。多个不同的表示能被表示为：x_ijk ⁿ，其中n、i、j、k分别是时间段、通道、频带和片段索引。这些参数的典型值是：

i∈[1:32]32个空间上可区别的通道(标为从Fp₁到CPz)

j∈[1:7]7个可区别的频带(标为从δ到γ)

在步骤310～312被实施的运算常常产生大量状态变量。例如，用7个频带为包括32个通道的2个4秒长的时间段计算相关值给出了多于1百万个状态变量：

³²C₂x7²x7²＝1190896

由于单独的EEG信号和来自不同的传感器的EEG信号的组合、以及来自多个不同的变换域的宽范围的特征能被使用，将要被处理系统109分析的维数是非常大的。这个巨大的维数能使处理系统109检测到宽范围的心理状态，因为大脑皮质的整个或者主要部分和全范围的特征在检测和分类心理状态时被考虑。

其他将要在步骤312被处理系统109计算的常见特征包括每一个通道中的信号功率、每一个通道上的每一个频带的功率的边际变化、不同通道之间的相关性和连贯性，和每一个频带的功率的边际变化之间的相关性。在这些性质之间的选择依赖于要区别的心理状态的类型。一般来讲，边际属性在短期情绪爆发的情况下更重要，而在长期心理状态中，其他属性更重要。

各种不同的技术能被用来把EEG信号转换成不同的表示，并且测量EEG信号表示的不同特征的值。例如，传统的频率分解技术，比如快速付里叶变换(FFT)和带通滤波器，能在步骤308被处理系统109实施，同时信号的连贯性和相关性的测量可以在步骤310被实施(在后者的情况下，相关性和连贯性的值能在步骤312被校准以变成心理状态的多维表示的部分)。假如相关性/连贯性在不同通道之间被计算，那么这也能被理解成一个域，例如空间连贯性/相关性域(连贯性/相关性作为电极对的函数)。例如，在其他实施例中，小波变换、动态系统分析或者其他线性或非线性数学变换能在步骤310被使用。

FFT是离散付里叶变换的一种有效的算法，其减少对于从2N₂到2N log ₂N的N个数据点需要的计算量。使一个在时间域的数据通道经过FFT，将会在复合频域中产生一个针对那个数据片段的描述。

连贯性是两个不同的时间系列之间的关联或耦合的量的度量。因此，连贯性的计算能被实施在频带Cn中的两个通道a和b之间，其中的频率fμ的通道a和b的付里叶分量是xaμ和xbμ。

因此，连贯性计算能被实施在频带ω_n上的两个通道α和b之间，其中的频率f_μ的通道α和通道b的付里叶分量是x_aμ和x_bμ：

相关性是连贯性的替代，以测量两个不同时间系列之间的关联和耦合的量。对于和上面的连贯性部分一样的假设，相关性r_ab计算能被实施在两个通道的信号x_a(t_i)和x_b(t_i)之间，被定义为：

$r_{\mathrm{ab}}=\frac{\mathrm{\Σ}(x_{\mathrm{ai}}-\stackrel{\‾}{x_a})(x_{\mathrm{bi}}-\stackrel{\‾}{x_b})}{\sqrt{\underset{i}{\mathrm{\Σ}}{(x_{\mathrm{ai}}-\stackrel{\‾}{x_n})}^2\underset{j}{\mathrm{\Σ}}{(x_{\mathrm{bj}}-x_b)}^2}}$

其中的x_ai和x_bi已经有共同的带通滤波1010应用于其中。

图4表示了不同的数据处理运算(优选地被实时实施)，其然后被处理系统109实施。在步骤400，把每一个信号表示的一个或者多个特征的被计算的值与存储在处理系统109的存储器中的一个或者多个心理状态签名作比较，以分类使用者的心理状态。每一个心理状态签名定义了参考特征值，其指示一种预定的心理状态。

许多技术能被处理系统109使用以使被计算的特征值的模式匹配心理状态签名。多层感知器神经网络能被用来划分信号表示是否指示对应于一个被存储的签名的心理状态。处理系统109能使用一个有n个输入端的标准的感知器，具有m个隐藏节点的一个或者多个隐藏层和一个带有l个输出节点的输出层。输出节点的数量决定于处理系统正在试图识别的独立的心理状态的数量。或者，被使用的网络的数量可以根据正在被检测的心理状态的数量变化。神经网络的输出矢量能被表示为：

Y＝F₂(W_2＊F₁(W_1＊X))

其中，W1是m乘以(n+1)的权重矩阵，W2是l乘以(m+1)的权重矩阵(权重矩阵中的另外的列允许增加偏置项)，并且X＝(X₁，X₂，……，X_n)是输入矢量。F1和F2是激活函数，其单独地作用于列矢量的分量以产生另一个列矢量，Y是输出矢量。激活函数确定节点怎样被输入激活。处理系统109使用s形(sigmoid)函数。其他可能性是双曲正切函数或者甚至线性函数。权重矩阵能递归地或者是一次性地被确定。

用于确定一个未知样本集和一个已知样本集的相似性的距离测量可以作为一个可替换的技术被用于神经网络。距离比如改性马氏距离(the modified mahalanobis distance)、标准化欧几里德距离和投影距离，能被用于确定被计算特征值和通过各种不同的心理状态签名定义的参考特征值之间的相似性，从而显示使用者的心理状态反映这些签名中的每一个签名的程度有多好。

心理状态签名和权重能被预定。例如对于某些心理状态，签名在人群中是充分一致的，一旦一个特定的签名被开发(例如通过有意地唤起测试对象的心理状态和测量结果签名)，那么这个签名能被装载进存储器中并且被特定的使用者使用而不需要校准。另外，对某些心理状态而言，签名在人群中不是充分一致的，预定的签名不能被使用或者仅被对象以有限的满意度使用。在这种情况下，签名(和权重)能被设备100针对特定的使用者产生，就像下面讨论的一样，(例如，通过要求使用者为了某个结果做出有意的努力，并且测量其结果签名)。当然，对于某些心理状态，签名和/或权重的精确度(其从检测对象被预定)能通过针对特定的使用者校准而改进。例如，为了给特定的使用者校准非故意心理状态的主观强度，使用者能被暴露于一个刺激(其被期望生成特定的心理状态)，所得到的生物信号被比较于预定的签名。使用者能被查询关于其心理状态的强度，并且所得到的来自使用者的反馈被应用以调整权重。或者，校准能被存储的多维表示的范围的统计学分析所执行。为了校准故意心理状态，使用者能被要求为某个结果做出有意的努力，并且得到的心理状态的多维表示能被用于调整签名或者权重。

设备100也能适应于产生和更新指示使用者的各种心理状态的签名。在步骤402，在步骤300～310产生的EEG信号的多个不同的表示的数据样本能被处理系统109保存在存储器中，最好是对于设备100的所有使用者。数据样本的演化数据库因此被产生，其允许处理装置109逐步改进设备100的一个或者多个使用者的心理状态检测的精确度。

在步骤404，一个或者多个统计学技术被应用以确定每一个特征在表征不同的心理状态时有多重要。不同的坐标在它们区分程度的基础之上被给予一个评定。被处理系统109实现的技术使用假设检验程序以强调大脑区域或者来自EEG信号(其在不同的心理状态期间被激活)的大脑波频率。在简单的情况下，对于来自被限定的时间段的一组数据样本，这种方法通常需要确定EEG信号的一个表示的平均功率值是否不同于另一个信号表示。这样的“平均差”的检验被处理系统109为每个信号表示执行。

优选地，处理系统109实现方差分析(ANOVA)F比检验以寻找激活中的不同，结合配对的学生T测试。T测试在功能上等同于用于两个组的单向ANOVA测试，但是也允许分析平均差的方向测量(例如是否心理状态1的平均值大于心理状态2的平均值，或者反之亦然)。学生T测试的公式是：

$t=\frac{\mathrm{mean\; of\; mental\; statel}-\mathrm{mean\; of\; mental\; state}2}{\sqrt{\left(\frac{\mathrm{variance\; of\; mental\; state}1}{\mathrm{n\; for\; mental\; state}1}\right)+\left(\frac{\mathrm{variance\; of\; mental\; state}2}{\mathrm{n\; for\; mental\; state}2}\right)}}$

构成T方程式的下半部分的分母的“n”是针对一个特定的心理状态被记录下来的时间序列的数目，这里的时间序列构成了在分子中被对比的平均值。(即：在一个更新期间被记录下的重叠的或非重叠的时间段的数目。)

随后的t值被处理系统109以各种不同的方式使用，包括特征空间维数的评定以确定成千上万的被典型分析的特征的重要性水平。特征可能以线性或者非线性的度量被加权，或者通过去除不能满足一定的重要程度的那些特征而以二元的方式被加权。

在签名更新期间，从成千上万的假设测试产生的t值的范围能被用于给出使用者一个整体的指示，关于在该更新期间被检测到的心理状态被分离多远。t的值是对两个行为的特定的平均分离的指示，横越所有坐标的t值的范围会提供一个关于所有的坐标平均来讲分离程度如何的度量。

上面提到的技术被称为单元方法(univariate approaches)，因为处理系统109在同一时间对每一个单独的坐标进行分析，并且在这些单独的t测试或者ANOVA测试结果的基础上做出特征选择决定。可以在步骤406做出校正以调整由于大规模(mass)单元方法的使用而造成的可能性错误的增长机会。适合这个目标的统计技术包括下面许多校正方法：Bonferroni、错误发现率和Dunn Sidack。

对于处理系统109来说，一个可选择的方法是在大规模多元假想测试(其表明坐标之间的任何可能的协变)中一起分析所有的坐标。处理系统109因此能使用像这样的技术：判断功能分析(DiscriminantFunction Analysis)和变量多元分析，其不仅提供了一种用多元方式选择特征空间的方法，而且允许使用在分析期间产生的本征值以实际地分类在实时环境中的未知信号表示。

在步骤408，处理系统109通过对坐标加权准备分类输入实时数据，以使得在检测特定的心理状态中带有首要意义的那些坐标被给予优先地位。这能通过应用适应性权重准备、神经网络训练和统计加权的方式被实施。

存储在处理系统109的存储器中的签名在步骤410被更新或者被校准。这个更新过程需要采集数据样本，其被增加到演化数据库。这个数据被引起以检测特定的心理状态。例如，为了更新有意努力的心理状态，提示使用者聚焦于该有意的努力，信号数据样本被增加到数据库并且被处理系统109使用以改变该检测的签名。当签名存在的时候，检测能提供反馈以更新定义了该检测的签名。例如，如果使用者想改进他们的推开一个物体的意愿的签名，随着签名被更新，现在的检测能被使用以提供反馈。在该场景下，使用者看着检测改进，加强了更新过程。

在步骤412，监督学习算法动态地从步骤410采集更新数据并且将其和记录的数据样本的演化数据库结合起来以改进已经被更新的心理状态的签名。签名最初可能是空的或者可能通过使用来自其他使用者的历史数据被准备，其可能已经被结合以形成一个参考或者通用启动签名。

在步骤414，已经被更新的心理状态的签名可用于心理状态分类(在步骤400)以及在步骤416的签名反馈评级。随着使用者开发了用于给定的心理状态的签名，评级(其反映心理状态检测是如何进行的)是实时可用的。设备100因此能给使用者提供反馈以使他们能观测到签名在时间上的演化。上面的讨论已经聚焦于特定心理状态的存在和不存在的确定。但是，也能确定该特定心理状态的强度。通过测量被变换的信号从使用者到签名的距离，强度能被确定。距离越大，强度越低。为了校准使用者体验的主观强度到强度标(intensity scale)的距离，使用者能关于心理状态的强度被查询。来自使用者的结果反馈被应用于调整其权重以校准到强度标的距离。

我们从前面的描述能领会到，设备100有利于允许签名几乎实时地在线产生。使用者的心理状态的检测和签名的产生在几分钟内就能完成，然后当使用者的对于该心理状态的签名被更新的时候被随时间细化。这在交互式应用中是非常重要的，在交互式应用中短期结果和随时间增量式改进一样，是很重要的。

我们从前面的描述也能领会到，设备100有利地允许实时检测具有一个提前生成的签名(或者是预定的或者是为特定使用者产生的)的心理状态。因此，使用者特定的心理状态的存在或者不存在、或者该特定的心理状态的强度的检测，能被实时地完成。

此外，签名能为不需要被预定的心理状态产生。设备100能分类心理状态，其不仅仅是为预定的或者通过预定的刺激引起的心理状态记录。

每一个人的大脑都精细地不同。尽管像主脑回(棱脊)和脑沟(凹陷)这样的宏观构造是共同的，但仅仅在最大规模形态上，能做出这样的概括。大脑皮层的杂乱无章的折皱就像指纹一样有个性。这个在折皱上的变化导致在不同的个体上大脑的不同部分在头骨的附近。

因为这个原因，电子脉冲(当在头皮上被组合测量的时候)在个体之间不同。这意味着记录在头皮上的EEG信号必须依人被不同地解释。长期以来，旨在通过EEG测量提供给个体一种控制手段的系统需要广泛的训练，通常针对所使用的系统且常常由使用者要求。

这里被描述的心理状态检测系统能利用大量的特征维度，其覆盖许多空间区域、频率范围和其他维度。在创建和更新签名时，系统按特征区别特定的心理状态的能力来给它们分级，因而强调能更好地获取在一个给定的心理状态下的大脑活动的那些特征。被使用者选择的特征反映了在头皮上被测量的电子信号的特点(其能区别特定的心理状态)，并且因此反映在其特定的大脑皮质中的信号如何被表现在头皮上。简而言之，使用者的指示一种特定的心理状态的各个电子信号已经被识别并且被存储在签名中。这允许通过补偿EEG信号的个体性的算法在几分钟内完成实时心理状态检测或者生成。

参见系统30，图6表示的是一个平台600的示意图，这里的平台600是一个系统的实施例，其使用表示心理状态的信号。平台600能被软件、硬件(例如ASIC)或者软件和硬件的组合实现。该平台能被调整以接收来自一个或者多个对象的表示预定的非故意心理状态的输入信号，这里的非故意心理状态例如是不同的情绪反应。在图6中，表示来自第一个使用者的情绪反应的输入信号被标为输入1到输入n，并且在第一个输入装置602被接收，而对应的表示来自第二个使用者的情绪反应的输入信号被第二个输入装置604接收处理。输入处理器(input handler)606处理表示来自一个或者多个对象的情绪反应的多个输入，并且对于一个神经网络或者其他学习代理(learning agent)608方便对每一个输入的处理。同时，平台600被调整以接收一系列来自另外的装置610的环境输入，装置610例如是一个传感器或者一个存储器。这些环境输入表示环境变量的现状或值，这些环境变量以某种方式影响一个或者多个对象。该环境变量可能发生在或者是物理环境(比如房间里的温度和光照条件)或者是虚拟环境中(比如在一个电子娱乐环境中对象和角色之间的互动的特性)。输入处理器612处理表示被对象感知的环境变量的输入，并且通过学习代理608促进对环境输入的处理。

一系列的权重614被平台600保持并且在对对象和环境输入(被输入处理器606和612提供)的处理中被学习代理608使用。输出处理程序616把由学习代理608提供的一个或者多个输出信号处理到输出装置618，其被调整以使多个可能行为(其改变被选择的环境变量，以能被对象感知到)被实施。

就像在图7中所阐明的一样，在步骤700，一个或者多个装配有头戴式装置102的对象的预定的非故意心理状态(例如情绪反应)，被检测并且被分类。该被检测到的情绪反应可能是高兴、恐惧、悲伤或者任何其他非有意识地选择的情绪反应。

被保持在平台600中的权重614中的每一个表示环境变量在唤起对象的特定情绪方面的有效性，并且被学习代理608使用以选择哪些行为618将要被执行以使得使用者的情绪反应变为特定情绪，并且也确定在被选择的环境变量中的将被每一个被选择的行为带来的相对变化。

在每一个对象和讨论中的特定的交互式环境互动时，权重被学习代理608更新以和每一个对象对于被每一个行为618引发的环境变量中的变化的情绪反应相一致。

相应地，在步骤702，权重604被学习代理408应用到可能的行为418，其能被应用到能够在交互式环境中被改变的环境变量——以使得最可能有效地唤起对象的目标情绪反应的行为被执行。例如，一个特定的应用程序可能有消除悲伤的情绪反应的目的。因此，对于一个特定的对象来讲，权重被应用于选择行为(比如使得音乐被播放和增加对象所处房间的照明水平)，其可能唤起高兴、镇静、平和或者类似的积极情绪的情绪反应。

在步骤704，学习代理608和输出处理器(output handler)616使被选择行为618被设定以由此影响被对象感知的环境变量中的变化。在步骤706，通过检测和分类出现在每一个对象的EEG信号中的情绪反应与接收的表示在平台600的被检测情绪的输入信号602和404的方式，使用者的情绪反应再次被监控。学习代理608观察每一个对象的情绪状态中的相对变化，并且在步骤708根据它们在优化对象的情绪反应方面的有效性更新权重。

在图6所阐释的例子中，平台600运行在一个本地交互式环境中。图8所示的是运行在远程的和网络化的环境中的另一个平台800。除了处理对应的一个或者多个对象的被检测的情绪反应或环境变量的状态或值以及应用权重到行为中以改变在本地交互式环境中被选择的环境变量，学习代理608还通过一个数据网络804(比如因特网)被互联到一个远程输出处理器802，目的在于使得行为806能被执行以改变被一个或者多个对象感知的被选择的环境变量。例如，在一个游戏环境中，行为618可以被实施在一个本地交互式环境中(比如使用者的本地游戏控制台或个人计算机)，而行为806可以被实施在远程游戏控制台或个人计算机。在一个涉及网络化游戏控制台的场景中，其中第一对象正在经受挫折情绪，学习代理608可以使行为被实施在被另一个对象使用的远程游戏控制台上以在该远程游戏控制台上改变预定参数以可能减小被本地对象感受的挫折的程度。

图9中所示的是另一个变体。图中所示的平台790和图6中的平台800是基本相同的，除了——在网络804和输出处理器802之间提供有一个额外的学习代理或者处理器902以使得网络化的或者远程的交互式环境不再经受一个或者多个环境变量的通过学习代理608的改变，但是被提供有一些本地智能以考虑本地环境条件和/或来自处理器902可能被互联的一个或者多个其他的交互式环境的冲突输入。

本发明的实施例和所有的在本说明书中被描述的功能操作能被实现在数字化电子电路或计算机软件、固件或者硬件中，包括以本说明书中公开的构造手段和它的结构等同物，或者它们的结合。本发明的实施例能被实现作为一个或者多个用于被数据处理设备(或者为了控制其操作)执行的计算机程序产品，也就是有形地体现在信息载体(例如在一个机器可读存储装置中或在一个传播信号中)中的一个或者多个计算机程序，这里所讲的数据处理设备例如可编程处理器、计算机或者多重处理器或计算机。计算机程序(也可以被称为程序、软件、软件应用或者代码)能以任何一种形式的编程语言(包括编译性语言或者解释性语言)被写成，并且它也能以任何形式被部署(包括作为独立程序或者模块、组件、子程序或者其他适合在计算机环境中使用的单元)。一个计算机程序不必对应一个文件。一个程序可以存储在一个含有其他程序或者数据的文件的一部分，一个专用于正在考虑的程序的单独的文件或者多重协调文件(例如存储了一个或者多个模块、子程序或者部分代码的文件)中。一个计算机程序能被部署以被执行在一台计算机或者在一个或者多个位置的被一个通信网络互联的多台计算机上。

在本说明书中被描述的处理和逻辑流程能被一个或者多个可编程处理器执行，这里所讲的可编程处理器执行一个或者多个计算机程序以通过操作输入数据和产生输出的方式实现其功能。该处理和逻辑流程也能被专用逻辑电路执行，并且设备也能被实现为专用逻辑电路，例如EPGA(现场可编程门阵列)或者ASIC(专用集成电路)。

本发明的大量的实施例已经被描述。然而，我们可以理解，不背离本发明的精神和范围的各种不同的改造可以被做出。

例如，该发明已经被描述在通过接口进行查询以便从心理状态检测引擎114中“拉出(pull)”信息的背景之中，但是该心理状态检测引擎也能被配置以通过接口“推入(push)”信息到系统30。

作为另一个例子，系统10能有选择地包括另外的能直接测量对象的其他生理过程的传感器，这里的其他生理过程比如心率、血压、呼吸和电阻(电皮肤反应或者GSR)。某些这样的传感器、这样的测量电皮肤反应的传感器能被集成进头戴式装置102中。来自这种附加的传感器的数据能被用于验证或者校准非故意状态的检测。

相应地，其他实施例在以下权利要求的范围内。

Claims (27)

1、一种检测心理状态的方法，包括：

在处理器中接收来自一个或者多个生物信号检测器的对象的生物信号；和

在处理器中确定生物信号是否表示对象中出现了特定的心理状态。

2、权利要求1的方法，其中特定的心理状态包括非故意心理状态。

3、权利要求2的方法，其中非故意心理状态是情绪、偏好、感觉、生理状态或状况。

4、权利要求1的方法，还包括从处理器产生表示特定的心理状态是否出现的信号。

5、权利要求1的方法，其中生物信号包括脑电图(EEG)信号。

6、权利要求1的方法，其中的确定步骤包括把生物信号变换成不同的表示。

7、权利要求6的方法，其中的确定步骤包括计算所述不同的表示的一个或者多个特征的值。

8、权利要求7的方法，其中的确定步骤包括对所述值和心理状态签名进行比较。

9、权利要求8的方法，其中的特定的心理状态包括非故意心理状态，并且所述确定非故意心理状态的出现的步骤在基本上不校准心理状态签名的情况下被执行。

10、权利要求1的方法，其中的接收步骤和确定步骤基本上实时地发生。

11、一种计算机程序产品，有形地存储在机器可读介质上，该产品包括可操作指令以使得处理器执行权利要求1～10的任何一项的方法。

12、一种系统，包括被配置以执行权利要求1～10的任何一项的方法的处理器。

13、一种使用被检测心理状态的方法，包括：

在处理器中接收表示在对象中是否出现某种心理状态的信号。

14、权利要求13的方法，其中的特定的心理状态包括非故意心理状态。

15、权利要求14的方法，其中的非故意心理状态是情绪、偏好、感觉、生理状态或状况。

16、权利要求13的方法，还包括存储信号。

17、权利要求13的方法，还包括选择一个行为以基于所述信号改变环境。

18、权利要求13的方法，其中的非故意心理状态是情绪，并且该方法包括：

存储表示目标情绪的数据；

利用处理器确定对于环境变量的改变，其中期待该对于环境变量的改变使得对象的情绪反应朝向目标情绪改变；和

引起环境变量的所述改变。

19、权利要求18的方法，还包括基于表示所述情绪是否出现在对象中的信号确定目标情绪是否已经被唤起。

20、权利要求19的方法，还包括存储表示环境变量在唤起目标情绪上的有效性的权重，并且在确定所述改变的时候使用该权重。

21、权利要求20的方法，还包括基于表示所述情绪是否出现的信号，用一个学习代理更新所述权重。

22、权利要求13的方法，其中的环境变量发生在物理环境或者虚拟环境中。

23、一种计算机程序产品，有形地存储在机器可读介质上，该产品包括可操作指令以使得处理器执行权利要求13～22的任何一项的方法。

24、一种系统，包括一个被配置以执行权利要求13～22的任何一项的方法的处理器。

25、一种检测和使用心理状态的方法，包括：

用一个或者多个生物信号检测器检测对象的生物信号；

引导生物信号到第一处理器；

在第一处理器中确定生物信号是否表示对象中出现了特定的心理状态；

从第一处理器产生信号，其表示特定的心理状态是否出现；

在第二处理器接收该信号；和

存储该信号或基于该信号改变环境。

26、一种设备，包括：

一个或者多个生物信号检测器；

第一处理器，配置成接收来自所述一个或者多个生物信号检测器的生物信号，确定该生物信号是否指示特定心理状态在对象中出现，并且产生表示特定的心理状态是否出现的信号；

第二处理器，被配置成接收所述信号并存储该信号或者基于该信号改变环境。

27、一种使用者和环境互动的方法，包括：

响应于来自使用者的一个或者多个生物信号检测和分类预定心理状态的出现；

选择一个或者多个影响使用者的情绪反应的环境变量；和

执行一个或者多个行为以改变被选择的环境变量并因此改变使用者的情绪反应。

Images