CN108509028A - 用于虚拟情感触摸的系统和方法 - Google Patents

Abstract

本申请涉及用于虚拟情感触摸的系统和方法。公开了用于虚拟情感触摸的系统和方法。本文描述的一个说明性系统包括：触摸屏显示器；触觉输出设备；以及处理器，该处理器被配置为：在触摸屏显示器上显示接收用户的视觉表示；从触摸屏显示器接收与发送用户的手势相关联的传感器信号；将与手势和视觉表示相关联的信号传送到接收设备；部分地基于接收用户的手势和视觉表示来确定触觉效果；以及将与触觉效果相关联的触觉信号传送到被配置为输出触觉效果的触觉输出设备。

Description

用于虚拟情感触摸的系统和方法

对相关申请的交叉引用

本申请是于2017年2月24日向中国知识产权局提交的标题为“Virtual AffectiveTouch”的国际申请No.PCT/CN2017/074784的部分继续申请并要求该国际申请的优先权，该国际申请的全部内容通过引用被结合于此。

技术领域

本申请涉及共享社交媒体应用/接口中的用户交互和通信，并且更具体地涉及用于一个或多个用户之间的触觉交互的系统和方法。

背景技术

启用触觉的设备如同启用触觉的环境一样变得越来越流行。例如，移动设备和其它设备可以被配置有触敏表面，使得用户可以通过触摸触敏显示器的部分来提供输入。可替代地，对启用触觉的设备或环境的手势输入和其它输入对于可穿戴设备、VR或AR设备、汽车、游戏、现场事件、团体事件和其它环境也变得流行。这些设备还包括提供触觉反馈的能力。可以在启用触觉的设备上创建、编辑、发送、接收、感受和显示视频、消息、贴纸、表情符号。这样的活动可以使用用户之间的常规的文本或消息传送惯例(convention)、共享的社交媒体惯例、团体事件、游戏或其它交互式应用。许多设备配备有触觉能力，并且用户还可以由于他们与设备的交互或另一个用户与他们的设备的交互而感受到触觉效果。

发明内容

在一个实施例中，根据本公开的系统包括：触摸屏显示器；触觉输出设备；以及处理器，该处理器被配置为：在触摸屏显示器上显示接收用户的视觉表示；从触摸屏显示器接收与发送用户的手势相关联的传感器信号；将与手势和视觉表示相关联的信号传送到接收设备；部分地基于接收用户的视觉表示和手势来确定触觉效果；以及将与触觉效果相关联的触觉信号传送到被配置为输出触觉效果的触觉输出设备。

在另一个实施例中，根据本公开的方法包括：在触摸屏显示器上显示接收用户的视觉表示；从触摸屏显示器接收与发送用户的手势相关联的传感器信号；将与手势和视觉表示相关联的信号传送到接收设备；部分地基于接收用户的视觉表示和手势来确定触觉效果；以及将与触觉效果相关联的触觉信号传送到被配置为输出触觉效果的触觉输出设备。

在又一个实施例中，一种计算机可读介质可以包括程序代码，该程序代码当由处理器执行时被配置为使处理器：在触摸屏显示器上显示接收用户的视觉表示；从触摸屏显示器接收与发送用户的手势相关联的传感器信号；将与手势和视觉表示相关联的信号传送到接收设备；部分地基于接收用户的视觉表示和手势来确定触觉效果；以及将与触觉效果相关联的触觉信号传送到被配置为输出触觉效果的触觉输出设备。

提到这些说明性实施例不是为了限制或限定本主题的界限，而是为了提供用于帮助对本主题的理解的示例。说明性实施例在具体实施方式中被讨论，并且在那里提供进一步的描述。通过审查本说明书和/或通过实践所要求保护的主题的一个或多个实施例，还可以理解由各种实施例提供的优点。

附图说明

在说明书的其余部分中更具体地阐述了完整且可实现的公开内容。本说明书参考以下附图。

图1A示出了根据本公开的一个实施例的用于虚拟情感触摸的说明性系统。

图1B示出了图1A中示出的系统的一个实施例的外部视图。

图1C示出了图1A中示出的系统的另一个实施例的外部视图。

图2A示出了根据本公开的一个实施例的用于虚拟情感触摸的示例实施例。

图2B示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。

图3A示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。

图3B示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。

图3C示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。

图4示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。

图5是根据本公开的一个实施例的用于虚拟情感触摸的方法步骤的流程图。

具体实施方式

现在将详细参考各种和可替代的说明性实施例以及附图。每个示例都以解释的方式提供，而不是作为限制。对于本领域技术人员来说将明显的是，可以进行修改和变化。例如，作为一个实施例的一部分被示出或描述的特征可以用在另一个实施例中以产生又一个实施例。因此，本公开旨在包括落入所附权利要求及其等价物的范围内的修改和变型。

虚拟情感触摸系统的说明性示例

本公开的一个说明性实施例包括电子设备，诸如平板电脑、电子阅读器、移动电话或诸如膝上型或桌上型计算机之类的计算机、或可穿戴设备。电子设备包括显示器(诸如触摸屏显示器)、存储器和与这些元件中的每个元件通信的处理器。在说明性实施例中，电子设备包括被配置为输出触觉效果的触觉输出设备。此外，说明性电子设备被配置为接收与常规接口设备(例如，鼠标、操纵杆、多功能控制器、触摸屏等中的一个或多个)的用户交互。

在说明性实施例中，电子设备被配置为经由网络连接(例如，经由Wi-Fi、蜂窝数据或本领域已知的另一个网络)向一个或多个远程电子设备发送数据以及从一个或多个远程电子设备接收数据。在说明性实施例中，电子设备包括消息传送应用。消息传送应用包括显示消息传送应用的其他用户的视觉表示的功能。因此，在说明性实施例中，第一用户可以参加与第二用户的消息传送会话。在消息传送会话期间，每个用户的电子设备将显示与另一个用户相关联的视觉表示。此外，在一些实施例中，消息传送会话可以在增强现实(AR)或虚拟现实(VR)中进行。

在一些实施例中，视觉表示可以包括接收用户的化身(avatar)。例如，化身可以包括由接收用户选择的图像、接收用户的图像或近似接收用户的外观的图像。例如，在一个实施例中，化身可以包括近似用户的外观(例如，近似高度、身材、头发颜色等)的动画人物。因此，在消息传送会话期间，用户将看到他们正在与其交换消息的其他用户的视觉表示。

在说明性实施例中，电子设备还包括触摸屏显示器。在说明性实施例中，用户可以(例如，通过触摸触摸屏显示器上的化身)与另一个用户的化身交互。当用户触摸化身时，化身将对触摸做出反应。例如，化身可以响应于手势而坐下、站立、躺下等。此外，在说明性实施例中，电子设备被配置为将与手势相关联的数据发送到远程电子设备。

在说明性实施例中，电子设备还包括被配置为接收触觉信号并且输出触觉效果(例如，振动、纹理、变形或其它基于触摸的效果)的一个或多个触觉输出设备。例如，说明性消息传送设备可以确定与和化身的交互相关联的触觉效果，并且将与这些触觉效果相关联的触觉信号输出到触觉输出设备。因此，当一个用户与另一个用户的化身交互时，该用户可以接收与交互相关联的触觉效果。这些触觉效果可以增强经由消息传送应用的交互的真实性。

此外，在一些实施例中，可以部分地基于关于手势的检测到的数据来确定触觉效果。例如，在一些实施例中，触摸屏显示器可以被配置为确定与化身的用户交互的压力，例如确定压力是重的、中等的还是轻的。在这样的实施例中，电子设备可以被配置为基于该信息确定触觉效果。例如，触觉效果可以包括对于重压力的强触觉效果、对于中等压力的中等强度效果和对于轻压力的弱触觉效果。在其它实施例中，可以基于用户交互的其它特性(例如，用户交互的速度、区域、方向或一些其它特性)来确定触觉效果。

给出这个说明性示例是为了向读者介绍本文讨论的一般主题，并且本公开不限于这个示例。以下部分描述了本公开的各种附加的非限制性示例。

用于虚拟情感触摸的说明性系统

图1A示出了用于虚拟情感触摸的说明性系统100。特别地，在这个示例中，系统100包括具有经由总线106与其它硬件对接的处理器102的计算设备101。可以包括任何合适的有形(和非暂时性)计算机可读介质(诸如RAM、ROM、EEPROM等)的存储器104实施配置计算设备101的操作的程序部件。在这个示例中，计算设备101还包括一个或多个网络接口设备110、输入/输出(I/O)接口部件112和附加的存储装置114。

网络设备110可以表示促进网络连接的任何部件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394之类的有线接口和/或诸如IEEE 802.11、蓝牙或用于接入蜂窝电话网络的无线电接口(例如，用于接入CDMA、GSM、UMTS或其它移动通信网络的收发器/天线)之类的无线接口。

I/O部件112可以用于促进到设备的连接，所述设备诸如一个或多个显示器、包括显示器的耳机、弯曲的显示器(例如，显示器包括可以在其上显示图像的、延伸到计算设备101的一侧或多侧上的有角度的表面)、键盘、鼠标、扬声器、麦克风、相机(例如，移动设备上的前置和/或后置相机)和/或用于输入数据或输出数据的其它硬件。存储装置114表示非易失性存储装置，诸如包括在设备101中的磁性存储介质、光学存储介质或其它存储介质。

(一个或多个)音频/视觉输出设备115包括被配置为从(一个或多个)处理器102接收信号并且向用户提供音频或视觉输出的一个或多个设备。例如，在一些实施例中，(一个或多个)音频/视觉输出设备115可以包括显示器，诸如触摸屏显示器、LCD显示器、等离子显示器、CRT显示器、投影显示器、包括用于每个眼睛的显示器的耳机(例如，用于在混合现实或虚拟现实中使用)、或本领域已知的一些其它显示器。此外，音频/视觉输出设备可以包括被配置为向用户输出音频的一个或多个扬声器。

系统100还包括触摸表面116，在这个示例中，触摸表面116被集成到设备101中。触摸表面116表示被配置为感测用户的触摸输入的任何表面。在一些实施例中，触摸表面116可以被配置为检测与触摸输入相关联的附加信息，例如，压力、移动的速度、移动的加速度、用户皮肤的温度、或者与触摸输入相关联的一些其它信息。一个或多个传感器108可以被配置为当对象接触触摸表面时检测触摸区域中的触摸并且提供用于由处理器102使用的适当数据。可以使用任何合适数量、类型或布置的传感器。例如，电阻式和/或电容式传感器可以嵌入到触摸表面116中并且用于确定触摸的位置和其它信息，诸如压力。作为另一个示例，可以使用具有触摸表面的视图的光学传感器来确定触摸位置。

此外，在一些实施例中，触摸表面116和/或(一个或多个)传感器108可以包括在不依赖于触摸传感器的情况下检测用户交互的传感器。例如，在一个实施例中，传感器可以包括被配置为使用肌电图(EMG)信号来检测用户对表面施加的压力的传感器。此外，在一些实施例中，传感器可以包括RGB或热成像相机并且使用由这些相机捕获的图像来估计用户正在对表面施加的压力的量。

在一些实施例中，传感器108和触摸表面116可以包括触摸屏显示器或触摸板。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在被配置为接收显示信号并且向用户输出图像的显示器之上的触摸屏。在其它实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器侧面上的LED手指检测器。在一些实施例中，处理器与单个传感器108通信，在其它实施例中，处理器与多个传感器108(例如，第一触摸屏和第二触摸屏)通信。

在一些实施例中，一个或多个传感器108还包括被配置为检测移动设备的移动的一个或多个传感器(例如，加速度计、陀螺仪、相机、GPS或其它传感器)。这些传感器可以被配置为检测在X、Y或Z平面中使设备移动的用户交互。传感器108被配置为检测用户交互，并且基于用户交互向处理器102传送信号。在一些实施例中，传感器108可以被配置为检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力，并且将该信息结合到接口信号中。此外，在一些实施例中，用户交互包括远离设备的多维用户交互。例如，在一些实施例中，与设备相关联的相机可以被配置为检测用户移动，例如，手、手指、身体、头部、眼睛或脚的运动或与另一个人或对象的交互。

在一些实施例中，输入可以包括手势。手势是传达含义或用户意图的身体的任何移动。一个或多个传感器108被配置为检测用户交互并将与该交互相关联的传感器信号传送到处理器102，处理器102被配置为确定用户交互是否包括一个或多个手势并且确定关于该一个或多个手势的信息。此外，在一些实施例中，处理器102可以确定诸如一个或多个手势的手势类型或压力、速度、区域、方向或一些其它特性之类的因素。

将认识到的是，简单的手势可以被组合以形成较复杂的手势。例如，使手指与触敏表面接触可以被称为“手指放上”手势，而从触敏表面移开手指可以被称为单独的“手指离开”手势。如果“手指放上”和“手指离开”手势之间的时间相对短，那么组合手势可以被称为“轻击”；如果“手指放上”和“手指离开”手势之间的时间相对长，那么组合手势可以被称为“长击”；如果“手指放上”和“手指离开”手势的二维(x，y)位置之间的距离相对大，那么组合手势可以被称为“滑动”；如果“手指放上”和“手指离开”手势的二维(x，y)位置之间的距离相对小，那么组合手势可以被称为“涂抹(smearing)”、“涂污(smudging)”或“轻拂(flicking)”。任何数量的二维或三维的简单或复杂的手势可以以任何方式组合以形成任何数量的其它手势，包括但不限于多手指接触、手掌或第一接触、或接近设备。手势还可以是由具有加速度计、陀螺仪或其它运动传感器的设备识别的并且被转换为电子信号的任何形式的手部移动。这样的电子信号可以激活动态效果(诸如摇动虚拟骰子)，其中传感器捕获生成动态效果的用户意图。

在这个示例中，与处理器102通信的触觉输出设备118耦接到触摸表面116。在一些实施例中，触觉输出设备118被配置为响应于触觉信号而输出模拟触摸表面的顺应性的触觉效果。附加地或可替代地，触觉输出设备118可以提供以受控方式移动触摸表面的振动触感触觉效果。一些触觉效果可以利用耦接到设备的外壳的致动器，并且一些触觉效果可以顺序地和/或一起使用多个致动器。例如，在一些实施例中，可以通过以不同频率振动表面来模拟表面纹理。在这样的实施例中，触觉输出设备118可以包括例如压电致动器、电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(ERM)或线性共振致动器(LRA)中的一个或多个。在一些实施例中，触觉输出设备118可以包括多个致动器，例如，ERM和LRA。在还有的其它实施例中，触觉输出设备118可以使用提供阻力的非致动触觉(例如，空气、流体或超声波输出)作为传达较粗糙表面的手段。

在一些实施例中，可以基于关于用户交互的其它感测到的信息(例如，虚拟环境中的手的相对位置、VR/AR环境中的对象位置、对象变形、GUI、UI、AR、VR中的相对对象交互等)来调整触觉效果。在还有的其它实施例中，产生触觉效果的方法包括短持续时间的效果的变化，其中效果的幅度根据感测到的信号值(例如，与用户交互相关联的信号值)而变化。在一些实施例中，当效果的频率可以变化时，可以选择固定的感知幅度，并且效果的频率可以根据感测到的信号值而变化。

例如，在一个实施例中，用户可以在真实空间中做出手势，例如手的移动。在移动期间，当用户的手从第一位置移动到第二位置时，用户的手可以被跟踪。触觉效果可以基于该手势来确定。此外，触觉效果可以根据用户的位置(例如，根据两点之间的距离或两点之间的用户位置)而变化。例如，在一个实施例中，处理器101可以部分地基于手势(例如，基于两点之间的距离和/或用户的手和两点中的一个点之间的距离)来修改触觉效果的频率、振幅、颗粒大小、颗粒幅度或颗粒密度中的一个或多个。此外，在一些实施例中，手势可以包括混合现实中的手势。因此，在一些实施例中，手势可以包括虚拟现实中的手势，并且可以包括在虚拟现实中的两点之间的移动。

虽然这里示出了单个触觉输出设备118，但是实施例可以使用相同或不同类型的多个触觉输出设备来输出触觉效果。例如，在一个实施例中，可以使用压电致动器(诸如在一些实施例中通过使用以大于20-25kHz的频率移动的致动器)来以超声频率垂直和/或水平地使触摸表面116中的一些或全部移位。在一些实施例中，多个致动器(诸如偏心旋转质量马达和线性共振致动器)可以被单独使用或一起使用以提供不同的纹理和其它触觉效果。

在还有的其它实施例中，触觉输出设备118可以使用静电力(例如通过使用静电表面致动器)来模拟触摸表面116的表面上的纹理。类似地，在一些实施例中，触觉输出设备118可以使用静电力来改变用户在触摸表面116的表面上感觉到的摩擦。例如，在一个实施例中，触觉输出设备118可以包括施加电压和电流而不是机械运动来生成触觉效果的静电显示器或者任何其它设备。在这样的实施例中，静电致动器可以包括导电层和绝缘层。在这样的实施例中，导电层可以是任何半导体或其它导电材料，诸如铜、铝、金或银。并且绝缘层可以是玻璃、塑料、聚合物或任何其它绝缘材料。

处理器102可以通过向导电层施加电信号来操作静电致动器。电信号可以是AC信号，在一些实施例中，AC信号将导电层与靠近或触摸触摸表面116的对象电容耦合。在一些实施例中，AC信号可以由高电压放大器生成。在其它实施例中，电容耦接可以模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可以是光滑的，但是电容耦合可以在靠近触摸表面116的表面的对象之间产生吸引力。在一些实施例中，改变对象和导电层之间的吸引水平可以改变在跨触摸表面116的表面移动的对象上的模拟纹理，或者改变当对象跨触摸表面116的表面移动时感觉到的摩擦系数。此外，在一些实施例中，静电致动器可以与传统致动器结合使用以改变触摸表面116的表面上的模拟纹理。例如，致动器可以振动以模拟触摸表面116的表面的纹理的变化，同时，静电致动器可以模拟在触摸表面116的表面或计算设备101的另一个部分(例如，计算设备101的外壳或另一个输入设备)上的不同的纹理或其它效果。

在一些实施例中，静电致动器可以用于通过刺激靠近或接触触摸表面116的身体部位来生成触觉效果。例如，在一些实施例中，静电致动器可以刺激用户手指的皮肤中的神经末梢或可以对静电致动器做出响应的触控笔中的部件。例如，皮肤中的神经末梢可以被刺激并将静电致动器(例如，电容耦合)感觉为振动或某种更特定的感觉。例如，在一个实施例中，静电致动器的导电层可以接收与用户手指的导电部分耦合的AC电压信号。当用户触摸触摸表面116并且在触摸表面上移动他或她的手指时，用户可以感觉到多刺、颗粒状、凹凸、粗糙、粘性的纹理或一些其它纹理。

转向存储器104，绘出了示例性程序部件124、126和128以示出在一些实施例中可以如何配置设备以提供虚拟情感触摸。在这个示例中，检测模块124将处理器102配置为经由传感器108监视触摸表面116以确定触摸，例如，触摸的位置和/或压力。例如，模块124可以对传感器108采样以便跟踪触摸的存在或不存在，并且如果存在触摸，那么跟踪触摸随时间的位置、路径、速度、加速度、压力和/或其它特性中的一个或多个。

触觉效果确定模块126表示分析关于触摸特性的数据以选择要生成的触觉效果的程序部件。例如，在一个实施例中，模块126包括基于触摸来确定要生成的触觉效果的代码。例如，模块126可以包括被配置为部分地基于触摸(例如，触摸的压力)来确定触觉信号的颗粒大小、颗粒密度、每周期的最大颗粒和/或颗粒幅度的程序代码。可替代地，在一些实施例中，触觉效果确定模块126可以包括一个或多个预加载的触觉效果，例如，与混合现实或虚拟现实环境中的特定对象相关联的触觉效果。这些触觉效果可以包括(一个或多个)触觉输出设备118能够生成的任何类型的触觉效果。此外，在一些实施例中，模块126可以包括被配置为操纵触觉效果的特性的程序代码，例如，效果的强度、频率、持续时间、占空比或与触觉效果相关联的任何其它特性。在一些实施例中，模块126可以包括允许用户例如经由图形用户界面来操纵这些特性的程序代码。

此外，在一些实施例中，模块126可以包括被配置为基于用户交互确定触觉效果的程序代码。例如，模块126可以被配置为监视触摸表面116上的用户输入或者监视被配置为检测移动设备的运动的其它传感器，诸如惯性传感器。模块126可以检测该输入并基于该输入生成触觉效果。例如，在一些实施例中，模块126可以被配置为确定被配置为模拟用户交互的触觉效果。

触觉效果生成模块128表示程序，该程序使得处理器102生成触觉信号并将触觉信号传送到触觉输出设备118，该触觉信号使得触觉输出设备118生成选定的触觉效果。例如，生成模块128可以访问存储的波形或命令以发送给触觉输出设备118。作为另一个示例，触觉效果生成模块128可以接收期望类型的效果并且利用信号处理算法来生成适当信号以发送到触觉输出设备118。作为另一个示例，可以与触觉效果的目标坐标一起指示期望的效果，并且将适当的波形发送到一个或多个致动器以生成表面(和/或其它设备部件)的适当位移从而提供触觉效果。一些实施例可以一起利用多个触觉输出设备以输出触觉效果。

取决于计算系统的特定配置，触摸表面可以覆盖(或以其它方式对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括组合设备的触摸表面和显示器的启用触摸的显示器116。触摸表面可以对应于显示器外部或实际显示器部件上方的一层或多层材料。

图1C示出了其中触摸表面不覆盖显示器的启用触摸的计算系统100C的另一个示例。在这个示例中，计算设备101以触摸表面116为特征，该触摸表面116可以被映射到在显示器122中提供的图形用户界面，显示器122被包括在与设备101对接的计算系统120中。例如，计算设备101可以包括鼠标、触控板或其它设备，而计算系统120可以包括桌上型或膝上型计算机、机顶盒(例如，DVD播放器、DVR、有线电视盒)或另一个计算系统。作为另一个示例，触摸表面116和显示器122可以布置在相同的设备中，诸如在以显示器122为特征的膝上型计算机中的启用触摸的触控板。无论是否与显示器集成，在本文的示例中对平面触摸表面的描绘并不意味着限制。其它实施例包括还被配置为提供触觉效果的弯曲的或不规则的启用触摸的表面。

图2A-图2B示出了用于虚拟情感触摸的设备的示例实施例。图2A是示出包括以启用触摸的显示器202为特征的计算设备201的系统200的外部视图的图。图2B示出了设备201的横截面图。虽然为了清楚起见，在这个视图中没有示出诸如处理器、存储器、传感器等之类的部件，但是设备201可以与图1A的设备101类似地被配置。

如在图2B中可以看到的，设备201以多个触觉输出设备218和附加的触觉输出设备222为特征。触觉输出设备218-1可以包括被配置为将垂直力传递给显示器202的致动器，而218-2可以横向移动显示器202。在这个示例中，触觉输出设备218、222直接耦接到显示器，但是应该理解的是，触觉输出设备218、222可以耦接到另一个触摸表面，诸如显示器202顶部上的材料层。此外，应当理解的是，如上面所讨论的，触觉输出设备218或222中的一个或多个可以包括静电致动器。此外，触觉输出设备222可以耦接到容纳设备201的部件的外壳。在图2A-图2B的示例中，显示器202的区域对应于触摸区域，但是原理可以应用到与显示器完全分离的触摸表面。

在一个实施例中，触觉输出设备218各自包括压电致动器，而附加的触觉输出设备222包括偏心旋转质量马达、线性共振致动器或另一个压电致动器。触觉输出设备222可以被配置为响应于来自处理器的触觉信号而提供振动触感触觉效果。振动触感触觉效果可以与基于表面的触觉效果结合使用和/或用于其它目的。

在一些实施例中，触觉输出设备218-1和218-2中的任一个或两者可以包括除了压电致动器之外的致动器。例如，致动器中的任何致动器可以包括压电致动器、电磁致动器、电活性聚合物、形状记忆合金、柔性复合压电致动器(例如，包括柔性材料的致动器)、静电致动器和/或磁致伸缩致动器。此外，虽然示出了触觉输出设备222，但是可以将多个其它触觉输出设备耦接到设备201的外壳和/或触觉输出设备222可以被耦接到其它地方。设备201也可以以在不同位置处耦接到触摸表面的多个触觉输出设备218-1/218-2为特征。

现在转向图3A，图3A示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。图3A示出了系统300。系统300包括移动设备302、显示器304和在显示器304中显示的视觉表示306。如图3A所示，系统300还被配置为检测用户交互。用户交互被示为在显示器304上做手势的手指308。移动设备302包括本领域已知的任何类型的移动设备，例如，智能电话、平板电脑、膝上型电脑或其它类型的设备。显示器304还可以包括触敏输入设备，例如，触摸屏。

如图3A所示，显示器304包括视觉表示306。视觉表示306表示远离移动设备302、正在参加与移动设备302的用户的消息传送会话的用户(“远程用户”)。在一些实施例中，视觉表示306可以包括与远程用户相关联的化身。在一些实施例中，化身可以包括近似远程用户的外观的动画人物，例如，化身可以包括远程用户的近似高度、身材、发型、头发颜色等。在其它实施例中，化身可以包括远程用户的图像和/或由远程用户选择的图像。

在图3A所示的实施例中，移动设备302的用户可以与视觉表示306交互。当移动设备302的用户与视觉表示306交互时，视觉表示306可以对交互做出响应。例如，移动设备302的用户的手势可以由一个或多个传感器检测。移动设备302的处理器从这些一个或多个传感器接收信号并且确定视觉表示306的动作。例如，手势可以使化身坐下、站立、躺下、挥手、转身、跳跃、做空翻或进行某个其它动作。

在一些实施例中，一个或多个传感器或显示器304可以被配置为确定与用户交互相关联的因素，例如，用户交互的压力、速度、区域、方向或一些其它特性。在这样的实施例中，移动设备302可以基于与用户交互相关联的因素来确定视觉表示306的不同动作。例如，高压力用户交互可以使视觉表示306坐下或向后倒。类似地，快速的用户交互可以使视觉表示306迅速地转动其头部。

此外，处理器可以将与手势相关联的信号传送到远程设备。远程设备可以基于手势确定触觉效果。因此，当移动设备302的用户与远程用户的视觉表示306交互时，远程用户的移动设备可以输出对应的触觉效果。该触觉效果可以增强移动设备302的用户与远程用户之间的交互的真实性。

在一些实施例中，移动设备302还可以确定触觉效果并且向被配置为输出触觉效果的一个或多个触觉输出设备输出触觉信号。因此，移动设备302的用户可以与远程设备的用户同时感受到触觉效果。在一些实施例中，移动设备302的处理器可以确定触觉效果并将与触觉效果相关联的信号传送到远程设备。此外，在一些实施例中，远程用户可以与在远程设备上显示的移动设备302的用户的视觉表示306进行交互。远程设备可以将与交互相关联的信号传送到移动设备302，移动设备302然后输出与交互相关联的触觉效果。

如上面所讨论的，在一些实施例中，一个或多个传感器或显示器304可以被配置为确定与用户交互相关联的因素，例如，用户交互的压力、速度、区域、方向或一些其它特性。在这样的实施例中，移动设备302可以基于因素来确定触觉效果。例如，触觉效果可以包括对于重压力的强触觉效果、对于中等压力的中等强度效果和对于轻压力的弱触觉效果。在其它实施例中，可以基于用户交互的其它特性(例如，用户交互的速度、区域、方向或一些其它特性)来确定触觉效果。

现在转向图3B，图3B示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。图3B示出了系统300的另一个视图。如图3B所示，手指308已经做出了与视觉表示306的头部相关联的手势。在一些实施例中，视觉表示306可以对手势做出响应。例如，在图3B所示的实施例中，视觉表示306已经转动了其头部。在其它实施例中，手势可以使视觉表示306坐下、站立、躺下、挥手、转身、跳跃、做空翻或进行某个其它动作。

现在转向图3C，图3C示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。图3C示出了系统300的另一个视图。在图3C中，视觉表示306已经响应于手指308的手势而坐下。在一些实施例中，手指308的附加手势可以导致视觉表示306的附加移动。

现在转向图4，图4示出了根据本公开的一个实施例的用于虚拟情感触摸的另一个示例实施例。图4示出视觉表示400。如图4所示，视觉表示400包括多个区域、01头部/脸部、02腹部、03肢体和04脚。在一些实施例中，与这些区域中的每个区域相关联的手势将触发视觉表示400的不同移动，并且将触发与视觉表示400相关联的移动设备输出不同的触觉效果。

在一个示例实施例中，用户可以与04脚交互。基于这样的交互，视觉表示400可以跳跃。此外，可以确定对应的触觉效果，例如，与视觉表示400跳跃和着陆相关联的撞击效果。此外，在另一个示例实施例中，用户可以与01头部/脸部交互。基于这样的交互，化身400可以左右转动其头部。此外，可以确定与该交互相关联的触觉效果，例如，模拟视觉表示400的头发的移动的软振动。

用于虚拟情感触摸的说明性方法

图5是根据一个实施例的用于执行用于虚拟情感触摸的方法的步骤的流程图。在一些实施例中，图5中的步骤可以在由处理器(例如，通用计算机、移动设备、虚拟现实控制系统或服务器中的处理器)执行的程序代码中实现。在一些实施例中，这些步骤可以由一组处理器来实现。在一些实施例中，图5中示出的一个或多个步骤可以被省略或者以不同的顺序执行。类似地，在一些实施例中，还可以执行图5中没有示出的附加步骤。参考上文关于图1A中示出的计算设备101所描述的部件来描述下面的步骤。

在步骤502处当处理器102显示视觉表示时方法500开始。视觉表示包括与远程设备的用户相关联的图像。在一些实施例中，如以上所讨论的，视觉表示可以包括远程用户的化身。

接下来，在步骤504处，处理器102从一个或多个传感器108接收传感器信号。如以上所解释的，一个或多个传感器108被配置为检测用户交互并将与该交互相关联的传感器信号传送到处理器102，处理器102被配置为确定用户交互是否包括一个或多个手势并且确定关于一个或多个手势的信息。在一些实施例中，手势包括与视觉表示相关联的手势。例如，手势可以包括与化身的一个或多个区域(例如，上文关于图4讨论的区域中的一个或多个区域)的交互。此外，在一些实施例中，处理器102可以确定诸如手势的类型或手势的压力、速度、区域、方向或一些其它特性之类的因素。

然后，在步骤506处，处理器102确定触觉效果。在一些实施例中，触觉效果可以被配置为模拟视觉表示的移动。此外，在一些实施例中，触觉效果可以被配置为增强与混合现实或虚拟现实接口相关联的特征。在一些实施例中，处理器102可以通过确定和/或修改一个或多个触觉输出设备118的操作的频率、振幅、调制或占空比来确定触觉效果。在一些实施例中，处理器102可以部分地基于关于手势所确定的特征(例如，手势的类型、手势的压力、速度、区域、方向或一些其它特性)来确定触觉效果。

在其它实施例中，处理器102可以基于用户选择来确定触觉效果。例如，用户可以选择可用的触觉效果。例如，计算设备101的数据存储库可以包括与触觉设计者或用户可以选择的多个触觉效果相关联的数据。此外，触觉设计者或用户可以调整与触觉效果相关联的特性。例如，触觉设计者可以修改与触觉效果相关联的持续时间、频率、强度或一些其它特性。在一些实施例中，处理器102可以自动选择触觉效果。例如，在一些实施例中，处理器102可以选择与在计算设备101的显示器的面上显示的视频内发生的事件相关联的触觉效果。此外，在一些实施例中，处理器102可以执行预先设计的算法来修改触觉效果的参数。

在步骤508处，处理器102传送触觉信号。在一些实施例中，处理器将触觉信号传送到输出触觉效果的一个或多个触觉输出设备118。可替代地或附加地，在一些实施例中，处理器将触觉信号传送到远程设备。在这样的实施例中，远程设备可以输出触觉效果，从而使得远程设备的用户能够接收与视觉表示所关联的手势相关联的触觉效果。此外，在一些实施例中，处理器102可以将与手势相关联的信号传送到远程设备，并且远程设备可以确定触觉效果。

在步骤510处，处理器102修改视觉表示。例如，处理器102可以响应于用户交互而使视觉表示坐下、站立、躺下、挥手、转身、跳跃、做空翻或进行某个其它移动。处理器102将显示信号输出到可以包括显示器的(一个或多个)音频视觉输出设备115。在一些实施例中，显示信号可以包括混合现实或虚拟现实接口中的人物和/或对象。对象或人物可以在输出触觉效果的同时对用户交互做出反应，从而进一步增加混合现实或虚拟现实体验的真实性。

存在虚拟情感触摸的许多优点。本文讨论的实施例引起更真实的混合现实或虚拟现实体验。因此，当与配备有本文描述的特征的设备和软件交互时，用户可以具有更大的乐趣和体验。因此，上面的示例中的每个示例都增加了用户满意度，并因此使得更多的用户采用本文所描述的技术。

一般性考虑

以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替代或添加各种过程或部件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加、省略和/或组合各个阶段。而且，针对某些配置描述的特征可以在各种其它配置中被组合。配置的不同方面和元件可以以类似的方式组合。而且，技术在发展，并且因此这些元件中的许多元件是示例并且不限制本公开或权利要求的范围。

在描述中给出具体细节以提供对示例配置(包括实现)的透彻理解。但是，可以在没有这些具体细节的情况下实践配置。例如，没有示出公知的电路、处理、算法、结构和技术的不必要的细节，以避免使配置模糊。本描述仅仅提供示例配置，并且不限制权利要求的范围、适用性或配置。而是，配置的先前描述将向本领域技术人员提供用于实现所描述的技术的使能性描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

而且，配置可以被描述为处理，该处理被描绘为流程图或框图。虽然每个都可以将操作描述为顺序处理，但是这些操作中的许多操作可以并行地或同时执行。此外，操作的顺序可以被重新布置。处理可以具有图中没有包括的附加步骤。此外，方法的示例可以由硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当用软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码片段可以被存储在诸如存储介质之类的非暂时性计算机可读介质中。处理器可以执行所描述的任务。

已经描述了若干示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等价物。例如，以上元件可以是较大系统的部件，其中其它规则可以优先于或以其它方式修改本公开的应用。而且，在考虑以上元件之前、期间或之后，可以进行多个步骤。因此，以上描述不限制权利要求的范围。

本文中“适于”或“被配置为”的使用意味着不排除适于或被配置为执行附加任务或步骤的设备的开放式和包含性语言。此外，“基于”的使用意味着是开放式的和包含性的，因为“基于”一个或多个记载的条件或值的处理、步骤、计算或其它动作实际上可以基于除了所记载的条件或值之外的附加条件或值。本文包括的标题、列表和编号仅仅是为了便于解释，并不意味着进行限制。

根据本主题的各方面的实施例可以用数字电子电路系统实现、用计算机硬件、固件、软件或用前述的组合来实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或可以访问计算机可读介质，诸如耦接到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行包括传感器采样例程、选择例程和其它例程的一个或多个计算机程序以执行上文描述的方法。

这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这样的处理器还可以包括可编程电子器件，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其它类似的设备。

这样的处理器可以包括介质(例如有形的计算机可读介质)或者可以与介质通信，该介质可以存储指令，这些指令当由处理器执行时可以使处理器执行如由处理器执行或协助的本文描述的步骤。计算机可读介质的实施例可以包括但不限于能够向处理器(诸如web服务器中的处理器)提供计算机可读指令的所有电子存储设备、光学存储设备、磁性存储设备或其它存储设备。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、经配置的处理器、所有光学介质、所有磁带或其它磁性介质、或计算机处理器可以从其读取的任何其它介质。而且，各种其它设备可以包括计算机可读介质，诸如路由器、专用或公共网络或其它传输设备。所描述的处理器和处理可以在一个或多个结构中，并且可以通过一个或多个结构散布。处理器可以包括用于执行本文描述的方法(或方法的部分)中的一个或多个的代码。

虽然已经关于本发明的特定实施例详细描述了本主题，但是将认识到的是，本领域技术人员在获得对前述内容的理解之后可以容易地产生对这些实施例的改变、变型和等价物。因此，应该理解的是，本公开是为了示例而非限制的目的而给出的，并且不排除包括如对本领域普通技术人员而言将明显的对本主题的这些修改、变型和/或附加。

Claims (20)

1.一种系统，包括：

触摸屏显示器；

触觉输出设备；以及

处理器，被配置为：

在所述触摸屏显示器上显示接收用户的视觉表示；

从所述触摸屏显示器接收与发送用户的手势相关联的传感器信号；

将与所述手势和所述视觉表示相关联的信号传送到接收设备；

部分地基于所述接收用户的所述视觉表示和所述手势来确定触觉效果；以及

将与所述触觉效果相关联的触觉信号传送到被配置为输出所述触觉效果的所述触觉输出设备。

2.如权利要求1所述的系统，其中所述处理器还被配置为：

将所述触觉信号传送到所述接收设备，并且其中所述接收设备包括被配置为输出所述触觉效果的第二触觉输出设备。

3.如权利要求1所述的系统，其中所述处理器还被配置为：

从所述接收设备接收第二传感器信号并且部分地基于所述第二传感器信号确定所述触觉效果。

4.如权利要求1所述的系统，其中所述处理器还被配置为：

从所述接收设备接收第二触觉信号并且部分地基于所述第二触觉信号输出触觉效果。

5.如权利要求1所述的系统，其中接收用户的所述视觉表示包括化身。

6.如权利要求5所述的系统，其中所述化身是由所述接收用户选择的。

7.如权利要求1所述的系统，其中确定触觉效果包括确定与所述手势相关联的压力并且利用与所述手势的压力对应的强度来确定触觉效果。

8.如权利要求1所述的系统，其中所述触摸屏显示器、所述触觉输出设备和所述处理器是手持式设备或可穿戴设备中的一者的全部部件。

9.如权利要求1所述的系统，其中所述触觉输出设备包括以下各项中的一个或多个：压电致动器、电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达、线性共振致动器或静电输出设备。

10.一种方法，包括：

在触摸屏显示器上显示接收用户的视觉表示；

从所述触摸屏显示器接收与发送用户的手势相关联的传感器信号；

将与所述手势和所述视觉表示相关联的信号传送到接收设备；

部分地基于所述接收用户的所述视觉表示和所述手势来确定触觉效果；以及

将与所述触觉效果相关联的触觉信号传送到被配置为输出所述触觉效果的触觉输出设备。

11.如权利要求10所述的方法，还包括将所述触觉信号传送到所述接收设备，并且其中所述接收设备包括被配置为输出所述触觉效果的第二触觉输出设备。

12.如权利要求10所述的方法，还包括从所述接收设备接收第二传感器信号并且部分地基于所述第二传感器信号输出触觉效果。

13.如权利要求10所述的方法，还包括从所述接收设备接收第二触觉信号并且部分地基于所述第二触觉信号输出触觉效果。

14.如权利要求10所述的方法，其中接收用户的所述视觉表示包括化身。

15.如权利要求14所述的方法，其中所述化身是由所述接收用户选择的。

16.如权利要求10所述的方法，其中确定触觉效果包括确定与所述手势相关联的压力并且利用与所述手势的压力对应的强度来确定触觉效果。

17.一种包括程序代码的非暂时性计算机可读介质，所述程序代码当由处理器执行时被配置为使所述处理器：

在触摸屏显示器上显示接收用户的视觉表示；

从所述触摸屏显示器接收与发送用户的手势相关联的传感器信号；

将与所述手势和所述视觉表示相关联的信号传送到接收设备；

部分地基于所述接收用户的所述视觉表示和所述手势来确定触觉效果；以及

将与所述触觉效果相关联的触觉信号传送到被配置为输出所述触觉效果的触觉输出设备。

18.如权利要求17所述的非暂时性计算机可读介质，还包括当由所述处理器执行时被配置为使所述处理器执行以下操作的程序代码：

将所述触觉信号传送到所述接收设备，并且其中所述接收设备包括被配置为输出所述触觉效果的第二触觉输出设备。

19.如权利要求17所述的非暂时性计算机可读介质，还包括当由所述处理器执行时被配置为使所述处理器执行以下操作的程序代码：

从所述接收设备接收第二传感器信号并且部分地基于所述第二传感器信号输出触觉效果。

20.如权利要求17所述的非暂时性计算机可读介质，还包括当由所述处理器执行时被配置为使所述处理器执行以下操作的程序代码：

从所述接收设备接收第二触觉信号并且部分地基于所述第二触觉信号输出触觉效果。