CN103782253A - 将情绪传输为触觉反馈 - Google Patents

将情绪传输为触觉反馈 Download PDF

Info

Publication number
CN103782253A
CN103782253A CN201280043655.6A CN201280043655A CN103782253A CN 103782253 A CN103782253 A CN 103782253A CN 201280043655 A CN201280043655 A CN 201280043655A CN 103782253 A CN103782253 A CN 103782253A
Authority
CN
China
Prior art keywords
equipment
user
expression
response
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280043655.6A
Other languages
English (en)
Other versions
CN103782253B (zh
Inventor
R·S·塔尔兹
F·D·金
J·B·卡里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103782253A publication Critical patent/CN103782253A/zh
Application granted granted Critical
Publication of CN103782253B publication Critical patent/CN103782253B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

本文描述了用于利用情绪语境增强电子通信的方法、系统和设备。从第一设备（115-b-1）接收电子通信。在第一设备（115-b-1）处捕获第一设备的用户的表情。从第一设备接收基于所捕获的表情的数据。分析所接收的数据，以确定与所述第一设备（115-b-1）的用户相关联的情绪语境。基于所确定的情绪语境生成触觉响应。该触觉响应与所接收的电子通信相关联。将对所述电子通信的访问与触觉响应同时提供，以指示该用户的情绪语境。

Description

将情绪传输为触觉反馈
背景技术
无线通信系统被广泛部署以提供各种类型的电子通信内容，例如语音、数据等。虽然电子形式的通信（例如，电子邮件、文本消息、语音邮件、电话）已经使得人们能够与其他人方便的联系和互动，但是，电子通信的丰富性缺乏直接的、面对面的通信。
电子通信自身通常不能传输发送方的完整情绪状态。例如，研究显示在给定的消息中由词语（例如在电子通信中的文本）传送了7%的情绪语境。由声音的音调用声音传送了38%的情绪语境。使用诸如脸部表情和其他身体姿势之类的非语言的通信来表达最后的55%。（总体参见Mehrabian,Albert;Ferris,Susan R.(1967)。“在两个频道中来自非语言通信的态度干扰”。咨询心理学的期刊31（3）：248-252）。
关于传统的电子通信，发送方的情绪语境或情况状态可能被接收方误解。从而，电子通信可能不能提供面对面通信所提供的丰富度水平。
发明内容
所描述的特征总体上设计一个或多个改进的系统、方法、和/或用于利用情绪语境信息来增强电子通信。在一个配置中，第一设备的用户可以发起电子通信。可以结合通信的发起来捕获用户的表情。可以向第二设备发送基于所捕获的表情的电子通信和数据。可以分析上述数据，以基于表情确定用户的情绪状态。在第二设备处可以生成基于触觉的响应，该基于触觉的响应与所接收的电子通信相关联。该基于触觉的响应可以代表第一用户的情绪状态。在一个示例中，当用户访问电子通信时，可以向第二设备的用户提供触觉响应。
在一个配置中，基于所捕获的表情生成数据可以包括：识别与所捕获的表情相关联的激发水平和效价水平。该激发水平和效价水平可以代表第一设备的用户的情绪状态。还可以识别代表第一设备的用户的实时情绪状态的时间指示符。可以对代表所识别的激发水平、价状和时间指示符的数据进行编码。
在一个示例中，所述激发水平可以指示与所捕获的第一设备的用户的表情相关联的强烈度水平。所述效价水平可以指示与所捕获的第一设备的用户的表情相关联的愉悦水平。
在一个配置中，基于所捕获的表情生成数据还可以包括识别与在多个不同的时间段的每一个时间段所捕获的表情相关联的激发水平和效价水平。所述激发水平和效价水平可以代表在多个不同的时间段的每一个时间段第一设备的用户的情绪状态。可以对所识别的、代表在多个不同的时间段的每个时间段的激发水平和价状的数据进行编码。
还描述了一种用于利用情绪语境增强电子通信的方法。在一个示例中，可以从第一设备接收电子通信，该电子通信包括基于在第一设备处捕获的用户的表情的数据。可以针对所接收的基于所捕获的表情的数据生成触觉响应。该触觉响应可以与所接收的电子通信相关联。
可以分析所接收的数据，以提取代表第一设备的用户的情绪状态的指示符。基于所提取的指示符，可以确定第一设备的用户的情绪状态。该指示符可以包括与所捕获的第一设备的用户的表情相关联的激发水平和效价水平。该激发水平可以指示与所捕获的第一设备的用户的表情相关联的强烈度水平。该效价水平可以指示与所捕获的第一设备的用户的物理表达相关联的愉悦水平。可以基于所确定的情绪状态，生成触觉响应。
还可以对所接收的数据进行分析，以提取代表所述第一的用户的实时情绪状态的时间指示符。可以使用时间指示符，使触觉响应的生成与所接收的电子通信的回复同步。
还可以对所接收的数据进行分析，以提取多个指示符。在一个配置中，每个所提取的指示符可以代表在多个不同的时间段的每一个时间段第一设备的用户的情绪状态。可以基于所提取的指示符中的每一个，确定第一设备的用户的情绪状态。可以生成多个触觉响应。每个触觉响应可以代表所确定的情绪状态中的一个。
在一个示例中，可以响应于所接收的基于所捕获的第一设备的用户的表情的数据来生成图像。可以将所生成的图像与所生成的触觉响应同时显示。该图像和触觉响应可以代表第一设备的用户的情绪状态。在一个配置中，可以响应于所生成的基于所捕获的第一设备的用户的表情的数据来生成音频提示。可以将所生成的音频提示与所生成的触觉响应同时输出。该音频提示和触觉响应可以代表第一设备的用户的情绪状态。
在一个配置中，可以基于由用户选择的偏好来生成触觉响应。在一个示例中，可以基于从第一设备接收的电子通信的类型来生成触觉响应。还可以基于位置信息来生成触觉响应。此外，可以基于所接收的噪声水平来生成触觉响应。
在一个示例中，所捕获的用户的表情可以包括声音表情、面部表情或生理数据。所述触觉响应可以包括基于温度的触觉响应、基于振动的触觉响应、基于压力的触觉响应、基于纹理的触觉响应或基于敲击的触觉响应。
还描述了一种用于利用情绪语境增强电子通信的设备。该设备可以包括：接收机，其配置为从第一设备接收电子通信，该电子通信包括基于在第一设备处所捕获的用户的表情的数据。该设备还可以包括：响应生成模块，其配置为针对所接收的基于所捕获的表情的数据来生成触觉响应。该触觉响应可以与所接收的电子通信相关联。
还描述了一种用于利用情绪状态增强电子通信的系统。该系统可以包括用于捕获第一设备的用户的表情的模块；以及用于基于所捕获的所述用户的表情生成数据的模块。该系统还可以包括用于发送所生成的数据的模块，以及用于在第二设备处接收基于所捕获的表情生成的数据的模块。此外，该系统还可以包括用于在所述第二设备处基于所捕获的表情生成针对所生成的数据的触觉响应的模块。
还描述了一种包括非暂时性计算机可读介质的计算机程序产品。该计算机可读介质可以包括：用于从第一设备接收电子通信的代码，该电子通信包括基于在第一设备处所捕获的用户的表情的数据。该介质还可以包括用于基于所捕获的表情针对所接收的数据生成触觉响应的代码。在一个示例中，触觉响应可以与所接收的电子通信相关联。
附图说明
可以参考附图来实现对本发明的本质的进一步理解。在附图中，类似的组件或特征可能具有相同的附图标记。此外，通过在附图标记后跟随破折号和在相同的组件中进行区分的第二标记可以区分相同类型的各种组件。只要在说明书中使用第一附图标记，该描述可适用于具有相同的第一附图标记的相似类型的组件中的任何一个，而不管其第二附图标记。
图1示出了一种无线通信系统的框图；
图2是示出第一移动设备向第二移动设备传送情绪语境信息的一个示例的框图；
图3是示出发送情绪语境数据的第一移动设备的示例的框图；
图4是示出接收情绪语境数据的第二移动设备的示例的框图；
图5示出了触觉响应生成模块的一个示例；
图6是示出一种用于利用情绪语境增强电子通信的方法的一个示例的流程图；
图7是示出一种用于确定要生成的触觉响应的类型的方法的一个示例的流程图；
图8是示出一种用于利用情绪语境增强电子通信的方法的其它示例的流程图；
图9是示出一种用于基于用户的激发水平和效价水平确定用户的情绪状态的方法的一个示例的流程图。
具体实施方式
描述了利用情绪语境来增强电子通信的方法、设备和装置。第一设备可以向第二设备生成和发送电子通信。第一设备还可以捕获第一设备的用户（此后称为第一用户）的表情并且生成推断第一用户的情绪状态的数据。可以向第二设备发送所生成的数据。在一个配置中，第二设备可以接收上述数据并基于所接收的数据确定第一用户的情绪状态。第二设备可以基于所确定的情绪状态提供触发响应。可以向与从第一设备接收的电子通信有关的第二设备的用户（此后称为第二用户）提供触觉响应。
在一个示例中，第一设备可以捕获多个表情并生成指示第一用户在一段时间上的情绪状态的数据。可以与来自第一设备的电子通信一起，向第二设备发送数据。第二设备可以确定第一用户在一段时间上的情绪状态。在一个配置中，可以与触觉响应一起，向第二用户提供电子通信，其中，触觉响应可以随着时间变化以指示第一用户的变化的情绪状态。从而，第二用户可以在实时接收指示第一用户的情绪状态范围的触觉响应的同时，对电子通信进行观看、倾听、阅读等。
随后的描述提供了示例，但其不是对权利要求中提出的范围、适用性或配置的限制。可以在器件的功能和布置上做出改变，而不偏离本公开的精神和范围。各个实施例可以酌情省略、替换或添加各种过程或组件。例如，所描述的方法可以以不同于所描述的顺序来执行，并且可以添加、省略或组合各种步骤。此外，针对某些实施例所描述的特征可以在其他实施例中进行结合。
参考图1，一框图示出了无线通信系统100的示例。系统100包括基站105（或小区）、移动设备115、基站控制器120以及核心网络125（可以将控制器120集成到核心网络125中）。系统100可以支持多个载波（不同频率的波形信号）上的操作。
基站105可以经由基站天线（未示出）与移动设备115无线地通信。基站105可以在基站控制器120的控制下、经由多个载波与移动设备115通信。每一个基站站点可以对相应的地理区域提供通信覆盖。在此将每个基站105的覆盖区域标识为110-a、110-b或110-c。可以将基站的覆盖区域划分成扇区（未示出，但仅由一部分的覆盖区域组成）。系统100可以包括各种类型的基站105（例如，宏基站、微基站、和/或微微基站）。针对不同的技术可能存在重叠的覆盖区域。
可以设备115可以散布在整个覆盖区域110中。移动设备115可以被称为移动站、移动设备、接入终端（AT）、用户设备（UE）、用户站（SS）或用户单元。移动设备115可以包括蜂窝电话和无线通信设备，但是还可以包括个人数字助理（PDA）、其他手持设备、笔记本、笔记本电脑等。
基站105可以允许移动设备115的用户相互通信。例如，第一移动设备向第二移动设备发送电子通信（例如，邮件、文本消息、语音邮件消息、与电话相关联的实时对话等）。移动设备115可以包括用于捕获正在发送电子通信的用户的表情的输入设备。输入设备的示例可以包括照相机、麦克风、生物传感器（ECG）、脉冲血氧计、用于皮肤温度的热敏电阻或热电堆等。创建电子通信的用户正在使用的发送移动设备115可以创建代表所捕获的表情的数据。可以从发送设备115向接收设备115发送数据和电子通信。接收移动设备115可以分析上述数据，以确定创建上述通信的用户的情绪状态。在一个配置中，接收设备115可以生成触觉响应。可以将该响应与所接收的电子通信相关联。接收设备115还可以向接收设备115的用户提供电子通信和触觉响应。该触觉响应可以指示与电子通信有关的发送用户的情绪状态。如本申请中所使用的，术语“第一用户”可以指经由第一移动设备创建并发送电子通信的用户。术语“第二用户”可以指经由第二移动设备接收并访问电子通信的电子通信的用户。
图2是示出向第二移动设备115-a-2传送情绪语境信息的第一移动设备115-a-1的一个示例的框图200。第一移动设备115-a-1和第二移动设备115-a-2可以是图1中的移动设备115的示例。上述设备可以通过网络125连接进行通信。在一个示例中，可以经由网络125向第二移动设备115-a-2发送情绪状态信息。
第一移动设备115-a-1可以包括捕获模块205、生成模块210以及发射机215。第二移动设备115-a-2可以包括接收机220、分析模块225以及响应生成模块230。在一个配置中，捕获模块205可以捕获代表第一用户的表情的原始数据（例如，由传感器捕获的、代表第一用户的声音的、面部的、和/或其他生理的表情的数据）。该原始数据可以指示关于向第二移动设备115-a-2发送的电子通信的第一用户的情绪状态。生成模块210可以分析该原始数据，以生成推断第一用户的情绪状态的简洁的数据。例如，可以将原始数据进行解释和压缩和/或分类。发射机215可以通过网络125向第二移动设备115-a-2的接收机220发送该数据。
在一个配置中，分析模块225可以分析所接收的数据，以确定第一用户的情绪状态。响应生成模块230可以生成代表所确定的情绪状态的响应。在一个示例中，可以将该响应链接到从第一移动设备115-a-1接收的电子通信。在一个配置中，第二用户可以经由第二移动设备115-a-2访问该电子通信。电子通信的示例可以包括但不限于电子消息、文本消息、语音邮件消息、实时电话对话、视频消息、经由社交网站的状态更新等。当第二用户访问电子通信时，可以向第二用户提供由响应生成模块230生成的响应。从而，由于其与正被访问特定电子通信有关，所以第二用户可以知道第一用户的情绪状态。
可以利用适配成在硬件中执行一些或全部可适用功能的一个或多个专用集成电路（ASIC）来单独地或共同地实现每个设备15的这些组件。或者，可以在一个或多个集成电路上由一个或多个其他处理单元（或内核）来执行这些功能。在其他实施例中，可以使用其他类型的集成电路（例如，结构化/平台化的ASIC、现场可编程门阵列（FPGA）以及其他半定制IC），上述其他类型的集成电路可以以现有技术已知的任何方式来编程。还可以利用在存储器中体现的、被格式化成由一个或多个通用或专用处理器来执行的指令，全部或部分地实现每个组件的功能。
现在参考图3，框图300示出了可以发送情绪状态数据的第一移动设备115-b-1的示例。第一移动设备115-b-1可以在图1或2中示出的移动设备的示例。第一移动设备115-b-1可以包括捕获模块205-a、生成模块210-a、以及发射机215。捕获模块205-a可以包括声音捕获模块305、面部捕获模块310以及生理捕获模块315。在一个配置中，捕获模块205-a可以捕获第一用户的表情。例如，声音捕获模块305可以捕获来自第一用户的声音表情。模块305可以包括用于捕获第一用户的声音表情的麦克风或其他声音输入设备。面部捕获模块310可以捕获所显示的、来自用户的面部表情。在一个示例中，面部捕获模块310可以包括用于捕获面部表情的照相机或其他输入设备。生理捕获模块315可以捕获第一用户的生理数据，例如但不限于，GSR数据、心率、皮肤温度等。模块315可以包括用于捕获该数据的生物传感器。
在一个配置中，生成模块210-a可以接收所捕获的数据并生成代表所捕获的数据的一个或多个指示器。例如，生成模块210-a可以包括识别模块320和编码模块325。识别模块可以分析所捕获的数据并识别用于代表所捕获的数据的一个或多个指示符。例如，识别模块320可以通过检查声音表情的韵律、语速、音量等来分析声音数据。识别模块320可以通过匹配面部结构以及通过使用动作单元确定面部肌肉的运动来分析面部表情。该分析可以包括对由生物传感器、照相机、麦克风等捕获的表情数据执行特征提取和模式分类。从生物传感器捕获的数据进行特征提取可以包括提取与心率、心率变异性、GSR响应、皮肤温度等有关的数据。可以通过k个最近的邻居、神经网络、朴素贝叶斯分类器等来执行模式分类。可以使用对表情的分析来确定指示第一用户的情绪状态的信息。
识别模块320可以识别代表被分析的所捕获的数据的一个或多个指示符。例如，识别模块320可以基于上述对数据的分析来识别激发水平指示符和效价水平指示符。换句话说，捕获设备（传感器、照相机、麦克风等）可以捕获代表表情的信号的原始度量（例如，来自GSR传感器的皮肤电导）。可以执行特征提取技术（例如皮肤电导），并且可以利用所提取的其他特征来执行模式分类。可以基于特征提取和模式分类来确定激发水平指示符和效价水平指示符。这些指示符可以对第一用户的情绪状态提供指示。例如，激发水平指示符可以是在范围1-10上的整数（同时注意，多个其他指示符类型/方案被预期）。在一个配置中，激发水平指示符可以指示根据所捕获的用户的表情确定的强烈水平。效价水平指示符也可以例如是在范围1-10上的整数。该指示符可以代表根据用户的表情所确定的愉悦水平。作为示例，“10”可以较高的激动或效价水平，而“1”代表较低的水平。在一个示例中，识别模块320还可以识别指示所识别的激发水平和效价水平被显示的时间段的时间指示符。
编码模块325可以对代表由捕获模块205-a所捕获的原始数据的指示符进行编码。例如，编码模块210-a可以将的激发水平指示符和效价水平指示符编码为在1-10之间的范围上的整数。编码模块325还可以将代表用户经历所指示的激发水平和效价水平的时间段的时间指示符进行编码。发射机215可以向接收移动设备发送经编码的数据。
图4是示出可以接收情绪语境数据的第二移动设备115-b-2的一个示例的框图400。第二移动设备115-b-2可以在图1、2或3中示出的移动设备115的一个示例。设备115-b-2可以包括接收机220、分析模块225-a、以及响应生成模块230-a。接收机220可以从第一移动设备115-b-1接收经编码的数据。分析模块225-a可以分析经编码的数据，以确定第一用户的情绪状态。在一个配置中，分析模块225-a可以包括激发水平模块405、效价水平模块410、以及情绪状态模块415。激发水平模块405可以分析经编码的数据，以提取代表第一用户的激发水平的激发水平指示符。效价水平模块410可以分析该数据，以提取指示第一用户的效价水平的效价水平指示符。如先前所描述的，激发水平指示符和效价水平指示符可以是整数。作为示例，激发水平模块405可以提取代表激发水平指示符的整数“2”。效价水平模块410可以分析数据，以提取代表效价水平指示符的整数“1”。在该示例中，激动整数“2”可以指示第一用户在创建电子通信的同时，经历了较低的水平强烈度。价整数“1”可以指示用户在创建通信的同时，经历了较低水平的愉悦。情绪状态模块415可以基于激发水平指示符和效价水平指示符来确定第一用户的情绪状态。在一个示例中，模块415可以包括用于将特定的激动和效价水平指示符转换成情绪标签的查询表。在上文的示例中，情绪状态模块415可以将“2”的激动整数和“1”的价整数转换成代表用户的情绪状态的标签。对于该示例，上述标签可以是“悲伤”、“沮丧”等（例如较低的强烈度以及较低的愉悦）。
响应生成模块230-a可以包括偏好输入模块410、视觉响应生成模块420、音频响应生成模块425、以及触觉响应生成模块430。在一个配置中，响应生成模块230-a可以生成对所确定的第一用户的情绪状态进行指示的响应。可以经由第二移动设备115-b-2向第二用户提供所生成的响应。该响应可以与由第一用户创建的、并从第一设备115-b-1接收的电子通信一起进行提供。例如，视觉响应生成模块420可以针对某些类型的电子通信（例如，电子邮件、文本消息、视频消息等）生成指示第一用户的情绪状态的视觉响应。视觉响应的示例可以包括但不限于应用于电子通信的背景颜色、与通信一起显示的文本、与电子通信一起所包含的边界颜色、与电子通信一起所显示的图像、链接到电子通信的动画头像等。
音频响应生成模块425可以针对某些类型的电子通信生成指示第一用户的情绪状态的音频响应。音频响应的示例可以包括但不限于蜂鸣声、提示、声音文本等。音频响应可以被链接到第一用户创建的电子通信。触觉响应生成模块430可以生成代表第一用户的情绪状态的触觉响应。触觉响应的示例可以包括温度、振动、压力、敲击、质地等。第二用户可以与接收由第一用户创建的电子通信同时接收由模块230-a所生成的响应。从而，可以利用情绪语境来增强电子通信。电子通信的接收方可以更换地理解发送电子通信的一方的情绪状态。响应生成模块230-a还可以实时生成响应。从而，实时通信（例如，电话）的参与者在通信期间可以通过所生成的响应，知道另一方的实时情绪状态。
在一个实施例中，偏好输入模块410可以从第二用户接收输入。该输入可以包括第二用户的偏好，以针对不同类型的电子通信产生与第二用户有关的响应。例如，第二用户可能期望针对某些类型的电子通信（例如，电话、语音邮件等）生成基于触觉的响应以及针对其他类型的通信（例如，电子邮件、文本消息等）生成视觉响应。偏好输入模块410还可以允许第二用户选择是否针对电子通信生成多种类型的响应。例如，第二用户可以期望针对某些电子通信生成基于触觉的响应与音频响应的结合。偏好输入模块410还可以允许第二用户选择响应的类型，以基于移动设备115-b-2的位置生成在移动设备115-b-2处存在的背景噪声水平等。
响应生成模块230-a还可以生成并提供与电子通信同步的响应。通过使用由分析模块225-a提取的时间指示符可以实现同步。例如，第二移动设备115-b-2可以在第一时间段接收和存储语音邮件（或其他类型的电子通信）。分析模块225-a可以确定发送方在发起语音邮件时的情绪状态。可以将所确定的情绪状态链接到所存储的语音邮件。在第二时间段，接收方可以访问所存储的语音邮件。响应生成模块230-a可以生成代表先前确定的发送方的情绪状态的响应。在他/她倾听该语音邮件的同时，可以向接收方提供该响应。作为示例，该响应可以包括动画头像。在语音邮件的回复期间，可以使该头像变得有生气，以描绘语音邮件的发送方的情绪状态。作为另一示例，该响应可以是基于触觉的响应。例如，如果该语音邮件的发送方的情绪状态时“生气”，则第二移动设备115-b-2可以在语音邮件的回放期间升温。从而，接收方知道发送方在创建语音邮件时的情绪状态。在下面提供了各种类型的电子通信的另外的示例以及可以生成的可能的响应以及相关联的通信。下面的各种示例可以参考在图1、2、3或4中描述的移动设备的示例。处理下文所描述的电子通信，还利用利用现有的系统和方法使用其他类型的电子通信。
电话呼叫：所上文所描述的，移动设备115的用户可以进行实时电话呼叫。在一个配置中，第一移动设备115-b-1上的生理捕获模块315可以从第一用户捕获生理输入。例如，第一移动设备115-b-1上的生物传感器可以在呼叫期间监控第一用户的情绪语境。还可以利用生理输入捕获第一用户的另外的表情。例如，声音捕获模块305可以捕获声音表情并执行声音表情识别作为生理输入的第二输入。激动和效价水平指示符可以从所捕获的数据中识别出，并向第二移动设备115-b-2发送。
第二设备115-b-2的分析模块225-a可以分析激动和效价水平指示符，以确定第一用户的情绪状态。例如，可以通过触觉响应，向第二移动设备115-b-2的第二用户传送所确定的情绪语境。可以使用珀耳帖元件以热的形式提供响应。还可以使用其他形式的触觉响应，例如但不限于振动突发。还可以与触觉响应一起使用另外的响应。例如，可以生成声音指示。声音指示可以是在第一用户改变情况状态时进行指示的钟鸣。例如，如果第一用户不安或激动，则第二移动设备115-b-2可以开始发热。也可以提供特定频率、强度或持续时间的声音钟鸣，以传送第一用户的情绪语境。如果第一用户在打电话期间变得更平静，则第二设备115-b-2可以开始冷却。还可以提供较短的声音钟鸣来指示第一用户的情绪状态中的变化。如果基于触觉的响应包括振动，则振动强度、持续时间和频率可以根据第一用户的情绪状态变化。对应免提电话，可以提供视觉响应（例如，图像或背景颜色）来情境化第一用户的情绪状态。从而，第二用户（或接收方）通过触摸第二移动设备115-b-2、听声音指示、和/或观看代表第一用户的情绪状态的视觉响应，可以推断出第一用户（或发送方）的情绪状态。
写/读取文本消息：文本消息的示例可以包括电子邮件消息、短消息服务（SMS）消息、社交网络的一篇文章、即时消息传送（IM）消息等。例如，第一用户可以编制文本消息。可以通过面部捕获模块310来捕获第一用户的面部特征/表情。生理捕获模块315也可以捕获关于第一用户的生理信息。可以根据所捕获的表情来识别激动和效价水平指示符。例如，可以将指示符编码为整数，并向第二设备115-b-2发送。第二设备115-b-2可以根据经编码的整数来确定第一用户的情绪语境。响应生成响应模块230-a可以生成代表第一用户的情绪状态的响应。例如，视觉响应生成模块420可以生成与第一用户的情绪状态相对应的图像。该图像可以包括头像图像、针对该消息的背景颜色或针对该消息的边界颜色。可以在该文本消息被观看时，向第二用户提供该图像。
在另一示例中，当第一用户写消息时，可以实时捕获第一用户的面部表情。当该消息被观看时，可以向第二用户提供动画的头像。在另一示例中，动画的头像（或其他的抽象图像）可以在向第二用户读该消息时，与文本转语音系统同时移动。
录制/听语音邮件消息：当第一用户录制语音邮件消息时，可以使用声音表情识别（以及也许生物传感器数据）来捕获情绪状态信息。通过将这些信息编码为代表激动和效价水平的整数，可以将所捕获的信息压缩成激动和效价水平指示符。可以将编码信息发送至第二设备115-b-2。可以将指示第一用户的激动及效价水平的编码信息作为元数据，向第二用户的语音消息收件箱传送。当第二用户访问收件箱以听该消息时，可以将编码数据作为诸如热或振动之类的触觉响应在第二设备115-b-2上呈现。在录制语音消息的同时，还可以使用声音指示来向第二用户提供第一用户的情绪语境。
来电/消息通知：在一个示例中，当第一用户打电话时，可以捕获面部表情和/或生理数据以确定第一用户的情绪状态。可以向第二移动设备115-b-2发送代表第一用户的当前的和/或过去的情绪状态的元数据。响应生成模块230-a可以将元数据呈现为反应第一用户的情绪状态的视觉图像。视觉图像可以包括正在第二移动设备115-b-2的显示部分上显示的背景颜色、动画图像、用于传送第一用户的情绪状态的某一其他图像。例如，可以显示火图像来表示第一用户的“生气”情绪状态。还可以将元数据呈现为触觉响应/或音频响应。这些响应可以改变强度、频率、和/或持续时间，以针对第一用户的情绪状态向第二用户指示。当第二用户被通知有来自第一用户的设备的来电时，可以提供所生成的响应。第二用户可以使用上述响应来决定是否回答来自第一用户的来电或消息。
电话记录、消息、语音邮件：在一个示例中，第二用户可能错过来自第一用户的电话、消息或语音邮件。第二移动设备115-b-2可以记录所错过的电子通信。如上文所描述的，在一个配置中，可以由响应生成模块230-a来生成响应，并记录所错过的通信。例如，当进行呼叫或制作语音邮件时或当发送消息时，可以生成代表第一用户的情绪状态的静态图像。当第二用户访问关于该记录的通信的信息时，可以向第二用户提供响应。
实时状态：在一个配置中，第一用户可以佩有生物传感器，以产生实时流情绪状态。可以使用视觉图像、基于触觉的响应、和/或声音提示来呈现实时情绪语境，以增强电子信息。例如，可以利用第一用户的情绪状态来实时更新第一用户在社交网站上的简况。第一用户的简况的观看者可以通过所生成的响应实时地知道第一用户的情况状态。类似地，在电子通讯录中人们的简况也可以利用他们当前的情绪状态实时更新。从而，电子通讯录的主人可以实时地知道在他/她的电子通讯录中包含的个人的情绪状态。
联网游戏：联网游戏环境也可以传送参与用户的情绪状态，以增强在联网方之间的游戏性和通信。可以通过面部表情、生物传感器、和/或声音表情来确定基本的情绪状态。情绪状态可以被记录并被呈现为动画面部表情，以模仿提供该表情的用户。如上文所描述的，还可以生成其他的反应，以表示用户的情绪状态。
视频电话、视频聊天或视频会议：虽然在视频电话期间（例如，词语、声音表情、面部表情）通常存在第一用户的情境模式，以供第二用户观看，但是，可以使用另外的情绪语境来强调第一用户的情绪状态。例如，在视频电话期间，可以生成围绕第一用户的边界，该边界随着他/她的情绪状态同步地改变颜色。还可以生成基于触觉的响应，以指示第一用户的情绪状态。例如，当第二设备115-b-2包括相对较小的显示屏时，可以生成基于触觉的响应，上述相对较小的显示屏增加了第二用户在视频电话期间正确解释第一用户的面部表情的难度。
图5是示出触觉响应生成模块430-a的一个示例的框图500。模块430可以是图4中的模块430的示例。触觉响应生成模块430-a可以在图1、2、3、或4的移动设备115中实现。在一个配置中，模块430-a可以包括温度响应生成模块505、振动响应生成模块510、压力响应生成模块515、质地响应生成模块520、以及敲击响应生成模块525。可以使用各种模块来创建不同类型的基于触觉的响应，以表示用户的情绪状态。
在一个示例中，温度响应生成模块505可以生成使得移动设备115的温度基于用户的情绪状态改变的触觉响应。例如，随着第一用户的GSR水平（或GSR响应的速率）增加（如由第一移动设备115-b-1所检测到的），第二移动设备115-b-2的温度可以线性的增加。从而，在握住第二移动设备115-b-2时，第二用户可以觉察到设备115-b-2的温度的增加或降低。温度变化可以指示第一用户的相应的情绪状态。使用热电制冷器（TEC）或珀耳帖元件来转变第二移动设备115-b-2的、与第二用户的皮肤接触的后面和/或侧面的温度，可以生成基于温度的触觉响应。
在一个配置中，振动响应生成模块510可以使用在接收设备上呈现的振动来生成触觉响应。人类对振动的感知大约是在100Hz和大约1kHz之间。峰值感知大约是250Hz。根据第一用户的GSR水平或GSR响应的数量，模块510可以改变振动的属性（例如，幅度、频率和持续时间）。可以使用振动来指示由较短的振动突发而不是持续变化的振动所指示的情绪中的变化。模块510可以使用下面的致动器来产生基于振动的触觉响应：品质偏心旋转（ERM）、线性谐振器（LRA）、多功能致动器（MFA）和压电致动器。
随后的示例示出了可以有振动响应生成模块510生成的基于针对的响应的使用。例如，在电话通话期间，第一用户的激动和/或效价水平可能增加超过给定的阈值，如由第一移动设备115-b-1所检测到的。由第二用户使用的第二移动设备115-b-2可以利用接近峰值人类敏感度（250Hz）的较高幅度的振动来振动较短的突发，以指示第一用户的愤怒/激动。在另一方面，如果第一用户的激动和/或效价水平降低至低于给定的阈值，则第二移动设备115-b-2可以利用在频率上可能较高的较低幅度的振动来振动较短的突发，以指示第一用户的平静状态。
压力响应生成模块515可以使用压力技术来生成触觉响应。例如，模块515可以包括对用户的手/手指施加皮肤力量的电活性聚合物（EAP）致动器。可以以若干方式来使用致动器的材料。例如，可以将EAP放置在设备的背面和/或侧面。当第一用户的激动和/或效价水平增加时，致动器可以对握住设备的第二用户的皮肤呈现压力。致动器材料可以是可以对第二用户的手产生正常压力的单个较大的长片（例如，当第一用户的激动和/或效价水平增加/降低时，该材料可以扩大/收缩）。
在一个示例中，质地生成模块520可以生成基于质地的触觉响应。在不使用触觉扫描的情况下，人类可以感知大约2微米的变形，在使用触觉扫描的情况下，可以感知到低至大约0.07微米。人类通常利用指尖通过横向扫描来感知纹理。可以将EAP致动器用作在设备的背面和/或侧面上散布的一系列的小点，其分布扩张，以当激动和/或效价水平较高时，创造粗糙的纹理。当用户平静时，上述点可以变得光滑。还可以使用诸如结合到表面的压电元件之类的其他的用于呈现纹理的方法，上述压电元件可以通过根据输入电压所控制的元件的超声振动来改变表面的摩擦系数。可以将这样的元件放置在设备的侧面和/或背面。可以根据用户的情绪状态来改变控制致动器的摩擦力的系数。例如，随着改变的情绪状态，该设备可以变得更粗糙/更光滑。
敲击响应生成模块525可以用于基于敲击感觉来生成触觉响应。人类对敲击的感知低于大约20Hz。当激动和效价水平增加时，敲击可以在频率上增加（或在幅度上增加）。当激动和效价水平降低时，敲击可以变得更不频繁（或在幅度上降低）。可以通过使用在设备的侧面和/或背面上的EAP致动器来传递敲击的皮肤触觉致动，其中，EAP致动器根据用户的激动和价模式，使皮肤压力振荡。此外，可以在模块525中包括线性马达力反馈致动器，以传递更有力的动觉敲击响应。
现在参考图6，示出了用于利用情绪语境增强电子通信的方法600。可以利用图1、2、3或4中的移动设备来实现方法600。在一个示例中，可以利用接收机220、分析模块225和响应生成模块230来实现方法600。
在框605，可以从第一设备接收电子通信。例如，可以从第一移动设备115-b-1接收通信。通信可以包括电话、文本消息、语音邮件消息、视频消息、电子邮件等。在框610，可以接收基于所捕获的、第一设备115-b-1的第一用户的表情的数据。可以在第一移动设备115-b-1处捕获第一用户的表情。在一个配置中，在框615，可以生成基于所接收的数据的触觉响应。该触觉响应可以与所接收的电子通信相关联。在电子通信的回放过程中，可以提供触觉响应，以利用情绪语境增强通信。
从而，方法600允许移动设备115利用发起通信的用户的情绪状态信息来增强电子通信。应当注意的是，方法600只是一种实现，可以重新安排或修改方法600的操作，使得其他的实现是可行的。
图7是示出用于确定要生成的触觉响应的类型的方法700的一个示例的流程图。方法700可以由图1、2、3或4中的移动设备115来执行。在一个示例中，可以利用接收机220、分析模块225、以及响应生成模块230来执行该方法。
在框705，可以从第一移动设备115-b-1接收电子通信。在框710，可以接收基于所捕获的、第一设备的用户（第一用户）的表情的数据。可以在第一移动设备115-b-1处捕获该表情。在框715，可以关于是否应该生成定制的触觉响应进行确定。例如，可以分析用户偏好，以确定用户是否更喜欢某一类型的触觉响应。还可以分析该偏好，以基于从第一设备115-b-1接收的电子通信的类型，确定是否应该生成特定类型的响应。如果确定了是不要生成定制的触觉响应，则在框725，可以针对所接收的、基于所捕获的第一用户的表情的数据，生成缺省的触觉响应。但是，如果确定是要生成定制的触觉响应，则在框720，可以基于一个或多个用户偏好来生成响应。在生成缺省的或定制的触觉响应之后，方法700可以返回到从第一设备115-b-1接收通信。
从而，方法700通过利用特定的触觉响应增强通信，允许移动设备115利用发起通信的用户的情绪状态信息来增强电子通信。应当注意的是，方法700只是一种实现，可以重新安排或修改方法700的操作，使得其他的实现是可行的。
图8是示出用于利用情绪语境增强电子通信的方法800的另外的示例的流程图。方法800可以由图1、2、3或4中的移动设备115执行。在一个实施例中，可以利用接收机220、分析模块225以及响应生成模块230来实现该方法。
在框805，可以从第一移动设备115-b-1接收电子通信。在框810，可以接收基于所捕获的、第一设备的第一用户的表情的数据。可以在第一移动设备115-b-1处捕获该表情。在框815，可以分析所接收的数据，以提取代表第一用户的情绪状态的一个或多个指示符。上述指示符可以是指示第一用户的激发水平和效价水平的、在1-10之间的整数。可以基于所提取的一个或多个指示符来确定第一用户的情绪状态。
在框820，可以关于是否应该生成定制的触觉响应进行确定。如果确定了是不要生成定制的触觉响应，则在框825，可以生成缺省的触觉响应。但是，如果确定是要生成定制的触觉响应，则在框830，可以关于是否应该利用触觉响应生成另外的响应进行确定。如果确定不生成另外的响应，则在框835，可以基于一个或多个用户偏好生成触觉响应。但是，如果确定应该生成另外的响应，则在框840，可以生成另外的响应。另外的响应可以包括视觉响应和/或音频响应。在框845，可以生成触觉响应。在框850，可以向第二移动设备115-b-2的第二用户同时提供触觉响应和另外的响应。第二用户使用所生成的响应来知道与所接收的电子通信有关的第一用户的当前的和/或过去的情绪状态。在生成上述响应之后，方法800可以返回到从第一设备115-b-1接收通信。
从而，方法800使用代表用户的情绪状态的一个或多个响应，允许移动设备115利用用户的情绪状态信息来增强电子通信。应当注意的是，方法800只是一种实现，可以重新安排或修改方法800的操作，使得其他的实现是可行的。
现在参考图9，提供了方法900以基于用户的激发水平和效价水平来确定用户的情绪状态。可以利用图1、2、3或4中的移动设备来实现方法600。在一个配置中，可以利用接收机220、分析模块225和响应生成模块230来实现方法900。
在框905，可以从诸如第一移动设备115-b-1之类的第一设备接收电子通信。在框910，可以接收基于所捕获的、第一设备的第一用户的表情的数据。在框915，可以分析数据，以提取激发水平指示符和效价水平指示符。上述指示符可以是代表第一用户的激发水平和效价水平的整数。在框920，可以基于激发水平指示符和效价水平指示符来确定第一用户的情绪状态。在框925，可以基于所确定的第一用户的情绪状态来生成触觉响应。触觉响应可以与所接收的电子通信相关联或相链接。
从而，方法900基于用户的激发水平和效价水平，允许移动设备115确定用户的情绪状态。应当注意的是，方法900只是一种实现，可以重新安排或修改方法900的操作，使得其他的实现是可行的。
如上文所描述的，移动设备115可以捕获用户的表情，并根据表情识别某些特征，以确定用户的激发水平和效价水平。可以编码代表所确定的水平的指示符。在一个示例中，可以与电子通信一起向另一移动设备115发送指示符。另一指示符115可以分析指示符，以确定用户的情绪状态。当在另一个移动设备115上访问电子通信时，可以生成触觉响应，以代表所确定的情绪状态。从而，利用情绪语境电子通信可以变得被增强。这样的电子通信的接收方可以知道通信的发起方的准确的情绪状态。
上面结合附图提出的具体实施方式描述了示例性的实施例，其不代表可以实现的或在权利要求的保护范围内的仅有实施例。贯穿本说明书使用的词语“示例性的”意指“充当示例、示例或例证”，而不是“优选的”或“优于其他实施例的”。具体实施方式包括具体的细节，以提供对所描述的技术的理解。但是，这些技术，可以在没有这些具体细节的情况下实施。在一些实例中，以框图示出了公知的结构和设备，以避免对所描述的实施例的概念造成混淆。
信息和信号可以使用多种不同的技术和方法来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
用于执行本申请中所述功能的通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件部件或者其任意组合，可以用来实现或执行结合本申请所公开方面描述的各种示例性的框和模块。通用处理器可以是微处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。
本申请所述功能可以用硬件、由处理器执行的软件、固件或其任意组合的方式来实现。当使用由处理器执行的软件实现时，可以将这些功能存储在计算机可读介质上或者作为计算机可读介质上的一个或多个指令或代码进行传输。其他的示例和实现在本公开和所附权利要求书的保护范围和精神之内。例如，由于软件的本质，上面所描述的功能可以使用由处理器执行的软件、硬件、估计、硬接线、或这些的任意组合。实现功能的特征还可以物理地位于各个位置处，包括散布开，使得在不同的物理位置处实现部分功能。此外，如本申请中所使用的，包括在权利要求书中的，如由“至少一个”开始的项目列表中所使用的，“或”指示分离的列表，使得例如“A、B或C中的至少一个”指A或B或C或AB或AC或BC或ABC（即，A和B和C）。
计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。通过示例的方式而不是限制的方式，计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由通用或专用计算机、或通用或专用处理器进行存取的任何其它介质。此外，任何连接都可以被适当地称为计算机可读介质。例如，如果软件是使用同轴线缆、光纤线缆、双绞线、数字用户线（DSL）或者诸如红外线、无线和微波之类的无线技术从网站、服务器或其它远程源传输的，那么同轴线缆、光纤线缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所述介质的定义中。如本申请所使用的，磁盘和光盘包括压缩盘（CD）、激光盘、光盘、数字多功能光盘（DVD）、软盘和蓝光盘，其中磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
提供了本公开的以上描述，以使本领域的普通技术人员能够实现或使用本公开。对于本领域的普通技术人员来说，对本公开的各种修改都是显而易见的，并且本申请中定义的总体原理也可以在不脱离本公开的精神和保护范围的基础上应用于其它实施例。贯穿本公开的术语“示例”或“示例性的”指示了一个示例或实例，其并不隐含或需要针对所记录的示例的任何偏好。从而，本公开不受限于本申请中描述的示例和设计，而是与符合本申请中公开的原理和新颖性特征的最广范围相一致。

Claims (40)

1.一种用于利用情绪语境增强电子通信的方法，包括：
从第一设备接收包括基于在所述第一设备处捕获的用户的表情的数据的电子通信；以及
基于所捕获的表情，生成针对所接收的数据的触觉响应，所述触觉响应与所接收的电子通信相关联。
2.根据权利要求1所述的方法，还包括：
分析所接收的数据，以提取代表所述第一设备的所述用户的情绪状态的指示符；
基于所提取的指示符，确定所述第一设备的所述用户的所述情绪状态；以及
基于所确定的情绪状态，生成所述触觉响应。
3.根据权利要求2所述的方法，还包括：
分析所接收的数据，以提取代表所述第一设备的所述用户的实时情绪状态的时间指示符。
4.根据权利要求2所述的方法，还包括：
使用所述时间指示符，使所述触觉响应的生成与所接收的电子通信的回放同步。
5.根据权利要求2所述的方法，其中，所述指示符包括：
与所捕获的所述第一设备的所述用户的表情相关联的激发水平和效价水平。
6.根据权利要求5所述的方法，其中，
所述激发水平指示与所捕获的所述第一设备的所述用户的表情相关联的强烈度水平。
7.根据权利要求5所述的方法，其中，
所述效价水平指示与所捕获的所述第一设备的所述用户的物理表达相关联的愉悦水平。
8.根据权利要求1所述的方法，还包括：
分析所接收的数据以提取多个指示符，每个所提取的指示符代表所述第一设备的所述用户在多个不同的时间段中的每个时间段的情绪状态；
基于所提取的指示符中的每一个，确定所述第一设备的所述用户的情绪状态；以及
生成多个触觉响应，每个触觉响应代表所确定的情绪状态中的一个。
9.根据权利要求1所述的方法，还包括：
响应于所接收的基于所捕获的所述第一设备的所述用户的表情的数据生成图像；以及
将所生成的图像与所生成的触觉响应同时显示，所述图像和所述触觉响应代表所述第一设备的所述用户的情绪状态。
10.根据权利要求1所述的方法，还包括：
响应于所生成的基于所捕获的所述第一设备的所述用户的表情的数据生成音频提示；以及
将所生成的音频提示与所生成的触觉响应同时输出，所述音频提示和所述触觉响应代表所述第一设备的所述用户的情绪状态。
11.根据权利要求1所述的方法，还包括：
基于由用户所选择的偏好，生成所述触觉响应。
12.根据权利要求1所述的方法，还包括：
基于从所述第一设备接收的电子通信的类型，生成所述触觉响应。
13.根据权利要求1所述的方法，还包括：
基于位置信息，生成所述触觉响应。
14.根据权利要求1所述的方法，还包括：
基于接收的噪声的水平，生成所述触觉响应。
15.根据权利要求1所述的方法，其中，所捕获的所述用户的表情包括：
声音表情；
面部表情；或
生理数据。
16.根据权利要求1所述的方法，其中，所述触觉响应包括：
基于温度的触觉响应；
基于振动的触觉响应；
基于压力的触觉响应；
基于纹理的触觉响应；或
基于敲击的触觉响应。
17.一种用于利用情绪语境增强电子通信的设备，包括：
接收机，其配置为从第一设备接收包括基于在所述第一设备处捕获的用户的表情的数据的电子通信；以及
响应生成模块，其配置为基于所捕获的表情，生成针对所接收的数据的触觉响应，所述触觉响应与所接收的电子通信相关联。
18.根据权利要求17所述的设备，还包括：
分析模块，其配置为分析所接收的数据，以提取代表所述第一设备的所述用户的情绪状态的指示符；
所述分析模块还配置为基于所提取的指示符，确定所述第一设备的所述用户的所述情绪状态；以及
所述响应生成模块还配置为基于所确定的情绪状态，生成所述触觉响应。
19.根据权利要求18所述的设备，其中，
所述分析模块还配置为：分析所接收的数据，以提取代表所述第一设备的所述用户的实时情绪状态的时间指示符。
20.根据权利要求18所述的方法，其中，
所述响应生成模块还配置为：使用所述时间指示符，使所述触觉响应的生成与所接收的电子通信的回放同步。
21.根据权利要求18所述的设备，其中，所述指示符包括：
与所捕获的所述第一设备的所述用户的表情相关联的激发水平和效价水平。
22.根据权利要求21所述的设备，其中，
所述激发水平指示与所捕获的所述第一设备的所述用户的表情相关联的强烈度水平。
23.根据权利要求21所述的设备，其中，
所述效价水平指示与所捕获的所述第一设备的所述用户的物理表达相关联的愉悦水平。
24.根据权利要求17所述的设备，其中，
所述分析模块还配置为：
分析所接收的数据以提取多个指示符，每个所提取的指示符代表所述第一设备的所述用户在多个不同的时间段中的每个时间段的情绪状态；
基于所提取的指示符中的每一个，确定所述第一设备的所述用户的情绪状态；并且
所述响应生成模块还配置为：生成多个触觉响应，每个触觉响应代表所确定的情绪状态中的一个。
25.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：
响应于所接收的基于所捕获的所述第一设备的所述用户的表情的数据生成图像；以及
将所生成的图像与所生成的触觉响应同时显示，所述图像和所述触觉响应代表所述第一设备的所述用户的情绪状态。
26.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：
响应于所生成的基于所捕获的所述第一设备的所述用户的表情的数据生成音频提示；以及
将所生成的音频提示与所生成的触觉响应同时输出，所述音频提示和所述触觉响应代表所述第一设备的所述用户的情绪状态。
27.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：基于由用户所选择的偏好，生成所述触觉响应。
28.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：基于从所述第一设备接收的电子通信的类型，生成所述触觉响应。
29.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：基于位置信息，生成所述触觉响应。
30.根据权利要求17所述的设备，其中，
所述响应生成模块还配置为：基于接收的噪声的水平，生成所述触觉响应。
31.根据权利要求17所述的设备，其中，所捕获的所述用户的表情包括：
声音表情；
面部表情；或
生理数据。
32.根据权利要求17所述的设备，其中，所述触觉响应包括：
基于温度的触觉响应；
基于振动的触觉响应；
基于压力的触觉响应；
基于纹理的触觉响应；或
基于敲击的触觉响应。
33.一种用于利用情绪语境增强电子通信的系统，包括：
第一设备，其配置为：
捕获所述第一设备的用户的表情；
基于所捕获的所述用户的表情生成数据；
发送所生成的数据；
第二设备，其配置为：
接收所生成的基于所捕获的表情的数据；以及
基于所捕获的表情，生成针对所生成的数据的触觉响应。
34.根据权利要求33所述的系统，其中，基于所捕获的表情生成数据包括：
识别与所捕获的表情相关联的激发水平和效价水平，其中，所述激发水平和所述效价水平代表所述第一设备的所述用户的情绪状态；
识别代表所述第一设备的所述用户的实时情绪状态的时间指示符；以及
对代表所识别的激发水平、效价状态和时间指示符的数据进行编码。
35.根据权利要求34所述的系统，其中，
所述激发水平指示与所捕获的所述第一设备的所述用户的表情相关联的强烈度水平。
36.根据权利要求34所述的系统，其中，
所述效价水平指示与所捕获的所述第一设备的所述用户的表情相关联的愉悦水平。
37.根据权利要求33所述的系统，其中，基于所捕获的表情生成数据包括：
识别与在多个不同的时间段的每个时间段所捕获的表情相关联的激发水平和效价水平，其中，所述激发水平和所述效价水平代表所述第一设备的所述用户在所述多个不同的时间段的每个时间段的情绪状态；以及
对代表在所述多个不同的时间段的每个时间段所识别的激发水平和价状的数据进行编码。
38.一种用于利用情绪语境增强电子通信的系统，包括：
用于捕获第一设备的用户的表情的模块；
用于基于所捕获的所述用户的表情生成数据的模块；
用于发送所生成的数据的模块；
用于在第二设备处接收所生成的基于所捕获的表情的数据的模块；以及
用于在所述第二设备处基于所捕获的表情生成针对所生成的数据的触觉响应的模块。
39.根据权利要求38所述的系统，其中，所述用于基于所捕获的表情生成数据的模块包括：
用于识别与所捕获的表情相关联的激发水平和效价水平的模块，其中，所述激发水平和所述效价水平代表所述第一设备的所述用户的情绪状态；
用于识别代表所述第一设备的所述用户的实时情绪状态的时间指示符的模块；以及
用于对代表所识别的激发水平、效价状态和时间指示符的数据进行编码的模块。
40.一种包括非暂时性计算机可读介质的计算机程序产品，所述计算机可读介质包括：
用于从第一设备接收包括基于在所述第一设备处捕获的用户的表情的数据的电子通信的代码；以及
用于基于所捕获的表情，生成针对所接收的数据的触觉响应的代码，所述触觉响应与所接收的电子通信相关联。
CN201280043655.6A 2011-09-09 2012-09-07 将情绪传输为触觉反馈 Expired - Fee Related CN103782253B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/228,660 US9762719B2 (en) 2011-09-09 2011-09-09 Systems and methods to enhance electronic communications with emotional context
US13/228,660 2011-09-09
PCT/US2012/054257 WO2013058886A1 (en) 2011-09-09 2012-09-07 Transmission of emotions as haptic feedback

Publications (2)

Publication Number Publication Date
CN103782253A true CN103782253A (zh) 2014-05-07
CN103782253B CN103782253B (zh) 2017-10-17

Family

ID=46852418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280043655.6A Expired - Fee Related CN103782253B (zh) 2011-09-09 2012-09-07 将情绪传输为触觉反馈

Country Status (6)

Country Link
US (1) US9762719B2 (zh)
EP (1) EP2754007A1 (zh)
JP (2) JP2014526829A (zh)
KR (1) KR101639761B1 (zh)
CN (1) CN103782253B (zh)
WO (1) WO2013058886A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095069A (zh) * 2015-04-28 2016-11-09 意美森公司 触觉回放调节系统
CN106648100A (zh) * 2016-12-23 2017-05-10 深圳先进技术研究院 一种人机交互方法、装置和系统
CN108629311A (zh) * 2018-05-02 2018-10-09 尚谷科技（天津）有限公司 一种基于生物脉冲的动作识别方法
CN108830265A (zh) * 2018-08-29 2018-11-16 奇酷互联网络科技（深圳）有限公司 在网络交流中的情绪提醒的方法、通信终端和存储装置
CN108885555A (zh) * 2016-11-30 2018-11-23 微软技术许可有限责任公司 基于情绪的交互方法和装置
CN110312038A (zh) * 2019-06-28 2019-10-08 Oppo（重庆）智能科技有限公司 信息提示方法及装置、电子设备、计算机可读存储介质
CN112950398A (zh) * 2021-03-04 2021-06-11 深圳技术大学 基于情绪识别的在线社交方法、装置及存储介质

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151955A1 (en) * 2011-12-09 2013-06-13 Mechell Williams Physical effects for electronic books
US20140122086A1 (en) * 2012-10-26 2014-05-01 Microsoft Corporation Augmenting speech recognition with depth imaging
US9190058B2 (en) 2013-01-25 2015-11-17 Microsoft Technology Licensing, Llc Using visual cues to disambiguate speech inputs
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
WO2015107386A1 (en) * 2014-01-15 2015-07-23 Sony Corporation Haptic notification on wearables
US9665198B2 (en) 2014-05-06 2017-05-30 Qualcomm Incorporated System and method for optimizing haptic feedback
US9712680B2 (en) * 2014-05-14 2017-07-18 Mitel Networks Corporation Apparatus and method for categorizing voicemail
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
US9722965B2 (en) 2015-01-29 2017-08-01 International Business Machines Corporation Smartphone indicator for conversation nonproductivity
US9538000B1 (en) 2015-06-24 2017-01-03 Mast Mobile, Inc. Incoming call management in a communication environment with unified communication interfaces
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
US10587542B2 (en) * 2015-11-13 2020-03-10 Sony Corporation Communication system and storage medium for transmitting physical expression information
US10105608B1 (en) * 2015-12-18 2018-10-23 Amazon Technologies, Inc. Applying participant metrics in game environments
US10901945B2 (en) * 2016-01-05 2021-01-26 The grät Network, PBC Systems and methods concerning tracking models for digital interactions
US10157626B2 (en) * 2016-01-20 2018-12-18 Harman International Industries, Incorporated Voice affect modification
US10192551B2 (en) 2016-08-30 2019-01-29 Google Llc Using textual input and user state information to generate reply content to present in response to the textual input
US10135979B2 (en) * 2016-11-02 2018-11-20 International Business Machines Corporation System and method for monitoring and visualizing emotions in call center dialogs by call center supervisors
US10158758B2 (en) 2016-11-02 2018-12-18 International Business Machines Corporation System and method for monitoring and visualizing emotions in call center dialogs at call centers
US10884502B2 (en) * 2016-11-23 2021-01-05 Google Llc Providing mediated social interactions
GB201713301D0 (en) 2017-08-18 2017-10-04 Revolutioneyes Me Ltd Communication method
US10558758B2 (en) 2017-11-22 2020-02-11 International Business Machines Corporation Enhancing a computer to match emotion and tone in text with the emotion and tone depicted by the color in the theme of the page or its background
US10367931B1 (en) 2018-05-09 2019-07-30 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive communication assistant for enhancing ability and efficiency of users communicating comprehension
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
US10769829B2 (en) * 2018-10-01 2020-09-08 International Business Machines Corporation Adapting layers of an image for each recipient perspective
US10692606B2 (en) * 2018-10-23 2020-06-23 International Business Machines Corporation Stress level reduction using haptic feedback
US10834543B2 (en) * 2018-11-26 2020-11-10 International Business Machines Corporation Creating a social group with mobile phone vibration
TR201818738A2 (tr) * 2018-12-06 2019-02-21 Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi Aninda mesajlaşma uygulamalarinda gerçek zamanli duygu anali̇zi̇ gerçekleşti̇ri̇lmesi̇ni̇ sağlayan bi̇r si̇stem
US10978066B2 (en) * 2019-01-08 2021-04-13 International Business Machines Corporation Analyzing information to provide topic avoidance alerts
US11011158B2 (en) 2019-01-08 2021-05-18 International Business Machines Corporation Analyzing data to provide alerts to conversation participants
EP3726535A1 (en) * 2019-04-15 2020-10-21 Nokia Technologies Oy Non-verbal communication
WO2020235346A1 (ja) * 2019-05-20 2020-11-26 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、システム及び方法
US11429188B1 (en) 2021-06-21 2022-08-30 Sensie, LLC Measuring self awareness utilizing a mobile computing device
WO2023276130A1 (ja) * 2021-07-01 2023-01-05 日本電信電話株式会社 制御装置、感情伝達方法およびプログラム
WO2023286249A1 (ja) * 2021-07-15 2023-01-19 日本電信電話株式会社 コミュニケーション支援システム、コミュニケーション支援方法およびプログラム
WO2024004440A1 (ja) * 2022-06-30 2024-01-04 ソニーグループ株式会社 生成装置、生成方法、再生装置、及び再生方法
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1532926A1 (en) * 2003-11-20 2005-05-25 Sony Corporation Emotion calculation apparatus and method
US20050181827A1 (en) * 2004-02-13 2005-08-18 Nokia Corporation Touch for feel device for communicating with mobile wireless phone or terminal
CN1738218A (zh) * 2004-06-18 2006-02-22 Lg电子株式会社 用于传送和公开移动终端用户感觉的方法及其通信系统
US20060288137A1 (en) * 2002-12-08 2006-12-21 Grant Danny A Haptic messaging in handheld communication devices
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US20070066310A1 (en) * 2005-09-21 2007-03-22 Haar Rob V D Mobile communication terminal and method
US20080287147A1 (en) * 2007-05-18 2008-11-20 Immersion Corporation Haptically Enabled Messaging
EP2175647A1 (en) * 2008-10-08 2010-04-14 Samsung Electronics Co., Ltd. Apparatus and method for providing emotion expression service in mobile communication terminal
WO2010059513A2 (en) * 2008-11-19 2010-05-27 Immersion Corporation Method and apparatus for generating mood-based haptic feedback

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281117A (ja) 2001-03-16 2002-09-27 Nec Saitama Ltd 携帯電話機及び着信報知方法
JP4406811B2 (ja) 2001-03-16 2010-02-03 ソニー株式会社 配信システム
US20030054866A1 (en) 2001-09-20 2003-03-20 Byers Charles Calvin Method for automatically selecting the alert type for a mobile electronic device
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP3937982B2 (ja) 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
JP2005072743A (ja) 2003-08-21 2005-03-17 Aruze Corp 情報交信用端末
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US20050289582A1 (en) 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US20060014569A1 (en) * 2004-07-13 2006-01-19 Broadcom Corporation Mobile communication device with adaptive audible user notification
JP4794846B2 (ja) 2004-10-27 2011-10-19 キヤノン株式会社 推定装置、及び推定方法
WO2006106671A1 (ja) * 2005-03-31 2006-10-12 Pioneer Corporation 画像処理装置、画像表示装置、受信装置、送信装置、通信システム、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP2006330958A (ja) 2005-05-25 2006-12-07 Oki Electric Ind Co Ltd 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ
DE602006017707D1 (de) * 2005-08-02 2010-12-02 Koninkl Philips Electronics Nv Verbesserung der sprachverständlichkeit in einer mobilen kommunikationsvorrichtung durch steuern der funktion eines vibrators in abhängigkeit von dem hintergrundgeräusch
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
JP4568211B2 (ja) 2005-11-15 2010-10-27 日本電信電話株式会社 感覚通信装置及び感覚通信方法
JP2007251581A (ja) 2006-03-16 2007-09-27 Megachips Lsi Solutions Inc 音声送信端末および音声再生端末
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US20080242287A1 (en) * 2007-03-26 2008-10-02 Ericsson, Inc. Method, system and apparatus for cell phone noise reduction
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
ES2350514T3 (es) 2008-04-07 2011-01-24 Ntt Docomo, Inc. Sistema de mensajes con reconocimiento de emoción y servidor de almacenamiento de mensajes para el mismo.
EP3130983B1 (en) 2008-07-15 2018-11-14 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
WO2010027190A2 (ko) * 2008-09-05 2010-03-11 에스케이텔레콤 주식회사 진동 정보를 전달하는 이동통신 단말기 및 방법
GB2477252A (en) * 2008-10-24 2011-07-27 Wms Gaming Inc Controlling and presenting online wagering games
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR20100137175A (ko) 2009-06-22 2010-12-30 삼성전자주식회사 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법
US20110053577A1 (en) 2009-08-31 2011-03-03 Lee Changkee Methods and apparatus for communicating by vibrating or moving mobile devices
US20110082695A1 (en) 2009-10-02 2011-04-07 Sony Ericsson Mobile Communications Ab Methods, electronic devices, and computer program products for generating an indicium that represents a prevailing mood associated with a phone call
US20120188065A1 (en) * 2011-01-25 2012-07-26 Harris Corporation Methods and systems for indicating device status

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US20060288137A1 (en) * 2002-12-08 2006-12-21 Grant Danny A Haptic messaging in handheld communication devices
EP1532926A1 (en) * 2003-11-20 2005-05-25 Sony Corporation Emotion calculation apparatus and method
US20050181827A1 (en) * 2004-02-13 2005-08-18 Nokia Corporation Touch for feel device for communicating with mobile wireless phone or terminal
CN1738218A (zh) * 2004-06-18 2006-02-22 Lg电子株式会社 用于传送和公开移动终端用户感觉的方法及其通信系统
US20070066310A1 (en) * 2005-09-21 2007-03-22 Haar Rob V D Mobile communication terminal and method
US20080287147A1 (en) * 2007-05-18 2008-11-20 Immersion Corporation Haptically Enabled Messaging
EP2175647A1 (en) * 2008-10-08 2010-04-14 Samsung Electronics Co., Ltd. Apparatus and method for providing emotion expression service in mobile communication terminal
WO2010059513A2 (en) * 2008-11-19 2010-05-27 Immersion Corporation Method and apparatus for generating mood-based haptic feedback

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095069A (zh) * 2015-04-28 2016-11-09 意美森公司 触觉回放调节系统
CN106095069B (zh) * 2015-04-28 2021-05-28 意美森公司 触觉回放调节系统
CN108885555A (zh) * 2016-11-30 2018-11-23 微软技术许可有限责任公司 基于情绪的交互方法和装置
CN106648100A (zh) * 2016-12-23 2017-05-10 深圳先进技术研究院 一种人机交互方法、装置和系统
CN106648100B (zh) * 2016-12-23 2019-08-06 深圳先进技术研究院 一种人机交互方法、装置和系统
CN108629311A (zh) * 2018-05-02 2018-10-09 尚谷科技（天津）有限公司 一种基于生物脉冲的动作识别方法
CN108830265A (zh) * 2018-08-29 2018-11-16 奇酷互联网络科技（深圳）有限公司 在网络交流中的情绪提醒的方法、通信终端和存储装置
CN110312038A (zh) * 2019-06-28 2019-10-08 Oppo（重庆）智能科技有限公司 信息提示方法及装置、电子设备、计算机可读存储介质
CN110312038B (zh) * 2019-06-28 2020-10-02 Oppo（重庆）智能科技有限公司 信息提示方法及装置、电子设备、计算机可读存储介质
CN112950398A (zh) * 2021-03-04 2021-06-11 深圳技术大学 基于情绪识别的在线社交方法、装置及存储介质

Also Published As

Publication number Publication date
US20130063256A1 (en) 2013-03-14
JP2014526829A (ja) 2014-10-06
KR101639761B1 (ko) 2016-07-22
CN103782253B (zh) 2017-10-17
US9762719B2 (en) 2017-09-12
EP2754007A1 (en) 2014-07-16
JP2016167815A (ja) 2016-09-15
WO2013058886A1 (en) 2013-04-25
KR20140069122A (ko) 2014-06-09

Similar Documents

Publication Publication Date Title
CN103782253A (zh) 将情绪传输为触觉反馈
Heitmayer et al. Why are smartphones disruptive? An empirical study of smartphone use in real-life contexts
US10248850B2 (en) Generating actions based on a user's mood
KR102173479B1 (ko) 의사소통 시 정보 교환을 위한 방법, 사용자 단말 및 서버
KR102275700B1 (ko) 가변 햅틱 출력을 위한 시맨틱 프레임워크
CN101141611B (zh) 向用户通知其视线外的他人作出的姿势的方法与系统
CN103546503B (zh) 基于语音的云社交系统、方法及云分析服务器
WO2014102722A1 (en) Device, system, and method of controlling electronic devices via thought
US10754864B2 (en) Information processing system and information processing method to specify persons with good affinity toward each other
CN102597914A (zh) 用于语音到文本转换的触觉增加的系统和方法
CN103238311A (zh) 电子设备及电子设备的控制程序
CN108847214A (zh) 语音处理方法、客户端、装置、终端、服务器和存储介质
CN107222391A (zh) 群组提醒方法、装置及设备
US10437332B1 (en) System and method for emotional context communication
KR102353486B1 (ko) 이동 단말기 및 그 제어 방법
CN112749956A (zh) 信息处理方法、装置及设备
US20180249056A1 (en) Mobile terminal and method for controlling same
CN106649712A (zh) 输入表情信息的方法及装置
JP2018186326A (ja) ロボット装置及びプログラム
CN109547323B (zh) 信息处理方法、装置、服务器、终端及存储介质
CN112217939B (zh) 基于脑电波的信息处理方法、设备及即时通信客户端
CN110008357A (zh) 事件记录方法、装置、电子设备及存储介质
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
EP3799407A1 (en) Initiating communication between first and second users
CN112489619A (zh) 语音处理方法、终端设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171017

Termination date: 20180907