CN108431734B - 用于非触摸式表面交互的触觉反馈 - Google Patents

Abstract

在一些示例中，系统感测触笔或用户的手指相对于虚拟显示的对象的定位以确定虚拟触摸何时发生。在这样的确定之时或之后，系统可以生成向用户指示发生了虚拟触摸的触觉动作。触觉动作可以被定位在触觉设备的特定部分上，触觉设备可以是手持设备。该特定部分可以对应于虚拟显示的元素被虚拟触摸的定位。以这种方式，用户可以接收与虚拟显示的对象的虚拟触摸相关联的物理反馈。在一些示例中，虚拟显示的对象可以响应于虚拟触摸而改变，因此进一步向用户提供与虚拟显示的对象的虚拟触摸相关联的视觉和物理反馈。

Description

用于非触摸式表面交互的触觉反馈

背景技术

智能电话、平板计算机和许多类型的信息家电的普及推动了对用于便携式和功能电子设备的触摸屏和其他显示器的需求和接受。触摸屏和其他显示器在医疗领域和重工业以及自动取款机(ATM)以及诸如博物馆显示器或房间自动化等售票亭中被找到，其中键盘和鼠标系统不允许由用户与显示器的内容的适当的直观、快速或准确的交互。

发明内容

本申请描述了与一个或多个虚拟显示的元素的用户交互。因为当用户“触摸”虚拟显示的元素时不存在物理接触，所以用户无法感知这样的虚拟触摸何时发生。在一些示例中，系统感测用户的触笔或手指相对于虚拟显示的元素的定位，以确定虚拟触摸何时发生。在这样的确定之时或之后，系统可以生成向用户指示发生了虚拟触摸的触觉动作。触觉动作可以被定位在触觉设备的特定部分上，触觉设备可以是手持设备。该特定部分可以对应于虚拟显示的元素被虚拟触摸的定位。以这种方式，用户可以接收与虚拟显示的元素的虚拟触摸相关联的物理反馈。在一些示例中，虚拟显示的元素可以响应于虚拟触摸而改变，因此进一步向用户提供与虚拟显示的元素的虚拟触摸相关联的视觉反馈。

本发明内容被提供以按照简化的形式介绍在以下具体实施方式中被进一步描述的概念的选择。本发明内容并非旨在标识要求保护的主题内容的关键或基本特征，也并非旨在被用作确定要求保护的主题内容的范围时的辅助。术语“技术”例如可以指(多个)系统、(多个)方法、计算机可读指令、(多个)模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)，片上系统(SOC)，复杂可编程逻辑器件(CPLD))，和/或由以上和整个文档的上下文允许的其他技术。

附图说明

具体实施方式参考附图而被描述。在这些图中，附图标记的(多个)最左边的数字标识附图标记首次出现的数字。不同图中的相同附图标记指示相似或相同的项目。

图1是描绘在其中本文描述的技术可以被实现的示例环境的框图。

图2是示例电子设备的俯视图。

图3是示例电子显示设备的侧视图。

图4是显示3D显示元素的示例电子设备的透视图。

图5是与由示例3D显示元素限定的空间交互的对象的特写侧视图。

图6是与由多个示例3D显示元素限定的空间交互的对象的侧视图。

图7是显示2D显示元素的示例电子设备的透视图。

图8是与由示例3D显示元素限定的空间交互的对象的侧视图。

图9是示例触觉设备的俯视图。

图10是与由多个示例3D显示元素限定的空间交互的对象的侧视图。

图11和图12是用于响应于用户与由3D显示元素限定的空间交互而产生触觉反馈的示例过程的流程图。

具体实施方式

与其使用鼠标、触摸板或任何其他中间设备，一些显示设备可以使得用户能够直接与被显示的显示内容(例如，窗口、菜单、文本、绘图、图标、图像等)交互。在一些示例中，显示设备可以包括触摸屏，该触摸屏可以在显示设备的显示器上感测和定位对象(例如，(多个)手指、(多个)触笔等)的物理触摸。在其他示例中，不需要是显示器的设备可以被配置为在没有表面的物理接触的情况中感测对象(例如，手指、触笔等)。例如，这样的设备可以感测由虚拟显示元素“占用”的空间的一部分中的手指，该虚拟显示元素可以由虚拟现实系统产生。

通常，触觉使得人们能够平滑、快速、准确地在物理上操纵对象。触觉在与对象的物理交互过程中被广泛使用。触摸屏提供用于操纵由触摸屏显示的元素的这样的交互。然而，虚拟显示元素不包括允许物理触摸的物理或真实表面。因此，对于没有触觉的人来操纵这样的虚拟元素或与这样的虚拟元素交互可能是有挑战性的。

在各种示例中，三维(3D)显示元素可以被绘制(render)以虚拟地占据真实空间的一部分。这种情况在本文被称为“由显示元素占据的空间”。3D显示元素可以包括虚拟现实(VR)系统或增强现实(AR)系统的产品，和/或能够创建3D图像而不需要用户佩戴3D眼镜的显示器，其中即使3D显示元素是物理上不存在的虚拟显示元素，用户也可以看到3D显示元素。因此，尽管没有物理触摸发生，用户也可以感知触摸这样的虚拟显示元素，这里被称为“虚拟触摸”的动作。本文中，“虚拟显示元素”可以被用于描述2D或3D显示元素。

在其中在表面(例如，触摸屏显示器表面)上的物理触摸发生的情况中，触摸的检测通常是直接地。此外，用户(例如，执行触摸的人)可能因为用户能够感觉到触摸表面而接收到发生了这样的触摸的即时反馈。然而，在其中虚拟触摸发生的情况中，触摸的检测通常较不直接。此外，用户可能需要诸如本文描述的那些的系统以向用户提供用户已经虚拟地触摸了虚拟显示元素的信息。

在一些示例中，系统可以被配置为感测不与真实表面处于物理接触的一个或多个触笔/笔、一个或多个手指、一个或多个手和/或其他身体部位和/或对象。换言之，与显示器或其他表面的物理接触不被涉及。在下文中，一个或多个触笔/笔、一个或多个手套、一个或多个手指、一个或多个手或其他身体部位或对象在下文中被称为对象(例如，在这个上下文中的“对象”是包括可以与远离物理表面的空间的一部分交互的任何事物的全面的短语)。

在一些示例中，术语“悬停”(有时被称为“3D触摸”)被用于描述其中对象被定位在显示器的前表面(或者其他类型的表面)的前方但不与显示器的前表面(或者其他类型的表面)物理接触的情况。相应地，悬停对象可以被定义为被定位在计算设备的显示器前方但是并不实际上接触显示器的前表面的对象。然而，这样的对象可以与占据显示器的前表面上方的虚拟空间的虚拟显示的元素交互。

显示器(例如，触敏的和/或悬停感测的)可以在诸如游戏控制台、个人计算机、平板计算机、智能电话等的设备中被使用。显示器可以被附接到(多个)计算机或被用作用于网络的客户端设备(例如，作为终端)。显示器可以被集成在数字家电设备(诸如个人数字助理(PDA)、全球定位系统(GPS)导航设备、移动电话、视频游戏、电子图书(电子书)，等等)的设计中。

各种示例描述了用于系统的技术和体系结构，该系统能够(除其他之外)关于由3D显示元素占据的空间来检测和定位对象。例如，与显示器相关联的系统可以确定3D正交坐标系(例如，X、Y和Z轴)中的对象相对于3D显示元素的定位。在其他示例中，系统能够(除其他之外)关于由2D显示元素占据的空间来检测和定位对象。例如，被显示在屏幕上的这样的2D显示元素可以包括相关联的深度信息，其定义2D显示元素从屏幕向外延伸的虚拟距离。在更多其他示例中，系统可以多于一次地确定对象相对于2D或3D显示元素的定位，并且因此能够确定对象相对于2D或3D显示元素的速度或速率。

在各种配置中，“系统”可以被认为包括事物的任何组合。例如，在一些配置中，系统可以被认为是显示器和处理器。在其他示例中，系统可以包括存储器、图像处理器模块、显示器和触觉设备，如下所述。在更多其他示例中，系统可以包括投影仪、护目镜、耳机、隐形眼镜等。要求保护的主题内容在这方面不受限制。

在一些示例配置中，系统的动作可以至少部分地基于对一个或多个对象的定位或速度/速率或取向的确定。例如，系统可以预测或确定虚拟显示元素(例如，2D或3D)的对象的虚拟触摸(例如，其定时和/或其定位)。响应于这样的预测和/或定位，系统可以因此修改由显示器(例如，系统的任何显示器，包括除了对象可以被定位在其上的显示器之外的显示器)显示的至少一个虚拟显示元素的外观。本文中，短语“修改至少一个虚拟显示元素的外观”是指显示器改变显示器显示该元素或显示背景的什么(例如，窗口、菜单、图标、图形对象、文本等)或者显示器如何(例如，触摸屏的特定部分的亮度和/或对比度)显示该元素或显示背景，但要求保护的主题内容在这方面不受限制。本文中，显示器可以包括多种类型的显示器中的任何类型，包括像素化LCD显示器、触摸屏、投影仪、护目镜、耳机、隐形眼镜等等。在一些示例中，系统可以使用关于(多个)对象相对于虚拟显示元素的定位的信息来修改与显示器相关联的用户接口的行为。可以被修改的这样的行为包括程序执行(例如，将执行从一组代码转移到另一组代码(子例程))、显示元素(如上所述)以及生成触觉输出(例如，到与虚拟现实的用户接触的元素)，仅列举几个示例。

在一些示例中，一个或多个虚拟显示元素可以由用户观察到在显示器上方浮动，并且在这样的情况中，触觉反馈仅当虚拟显示元素被按压以触摸显示器时才可以被感觉到。

一些示例实现方式可以使用多种技术中的任何技术来感测和定位对象，这些技术诸如电容感测、由一个或多个相机捕获的图像的图像处理、一个或多个深度相机、对指点设备、识别笔(wand)和/或控制器的使用，等等。

在一些示例配置中，与两个不同的显示器相关联的两个虚拟对象例如可以导致产生触觉反馈的系统。对于特定示例，(例如，智能电话的)第一显示器可以显示具有深度的虚拟对象，如通过本文中的示例被说明的。(例如，另一智能电话的)第二显示器可以显示具有深度的第二虚拟对象。如果两个显示器(例如，两个智能电话)被移动为彼此相对接近，从而使得每个虚拟对象的深度重叠，则系统可以基于两个显示器的相对运动或位置而产生触觉反馈、视觉反馈，和/或可以修改代码的执行。

各种示例关于图1至图12被进一步描述。

如下所述的环境构成一个示例，并且并非旨在将权利要求限制到任何一个特定操作环境。其他环境在不脱离要求保护的主题内容的精神和范围的情况中可以被使用。

在本文的示例中，虽然诸如悬停对象、手指、相机、处理器等的元素可以按照单数形式被陈述，但要求保护的主题内容不限于此。因此，例如，除非另有说明，否则这样的元素中的多于一个元素可以被暗示。

图1示出了在其中如本文所述的示例过程可以操作的示例环境100。在一些示例中，环境100的各种设备和/或组件包括各种计算设备102。通过示例而非限制，计算设备102可以包括设备102a-102f。尽管被示出为多种设备类型，但是计算设备102可以是其他设备类型并且不限于所示出的设备类型。计算设备102可以包括具有(例如，经由总线110)被可操作地连接到输入/输出接口106和存储器108的一个或多个处理器104的任何类型的设备。计算设备102可以包括个人计算机，诸如例如台式计算机102a、膝上型计算机102b、平板计算机102c、电信设备102d、个人数字助理(PDA)102e、显示器102f、电子书阅读器、可穿戴计算机、汽车计算机、游戏设备、测量设备、电视机、机顶盒、护目镜、头盔(例如，头戴式显示器)等等。计算设备102还可以包括面向商业或零售的设备，诸如例如服务器计算机、瘦客户机、终端和/或工作站。在一些示例中，计算设备102可以包括例如用于集成到计算设备、家电设备或其他种类的设备中的组件。

本文中，除非被具体地相反指出，否则“处理器”可以包括一个或多个处理器。处理器104例如可以被用于操作显示器102f。例如，处理器104可以执行代码以允许显示器102f显示由也可以由处理器104执行的多个应用中的任何应用生成的对象。处理器104可访问的、可以是本地(例如，在显示器102f和处理器104的封装中硬连线的)或远程(例如，在有线或无线计算机网络中)的存储器108可以存储这样的可执行代码或应用。

在一些示例中，被描述为由计算设备102执行的功能中的一些或全部功能可以由一个或多个远程对等计算设备、一个或多个远程服务器或者云计算资源实现。

在一些示例中，如关于显示器102f所示，存储器108可以存储由处理器104可执行的指令，处理器104包括操作系统(OS)112、图像处理器114以及由处理器104可加载和可执行的程序或应用116。一个或多个处理器104可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、视频缓冲处理器等等。在一些实现方式中，图像处理器114包括可执行代码，可执行代码被存储在存储器108中并且由处理器104可执行以经由输入/输出106由计算设备102在本地或远程地收集信息。该信息可以与应用116中的一个或多个应用相关联。图像处理器114可以选择性地应用例如颜色、光学纹理、图像和图案的许多示例中的任何示例，这些示例被存储在存储器108中以应用于输入数据(例如，捕获的图像)。例如，图像处理可以在涉及处理器104至少部分地基于被存储在存储器108中的信息来解释或确定对象的图像的过程中被涉及。

在一些示例中，AR系统或VR系统118可以与显示器102f相关联。例如，VR系统118可以至少部分地响应于触摸或不触摸显示器102f的对象。虚拟对象(例如，2D或3D)可以由显示器102f绘制，但是虚拟对象不需要关于显示器102f的定位而被定位在任何特定位置。例如，显示器102f可以包括头戴式眼镜，其可以使虚拟对象(将被佩戴者感知)与显示器的佩戴者相对较远。在一些示例中，触觉生成器120可以与显示器102f相关联。例如，触觉生成器120可以至少部分地响应于与虚拟显示的元素交互的对象来生成触觉活动或虚拟力。通常，与虚拟对象交互的对象可以包括其中对象通过遇到由虚拟对象定义的空间的表面(或者至少部分地被定位在其内部)来虚拟地触摸虚拟对象的情况。

虽然某些模块已被描述为执行各种操作，但这些模块仅仅是示例，并且相同或相似的功能可以通过更多或更少数量的模块而被执行。此外，由描绘的模块执行的功能不一定是由单个设备在本地执行的。相反，某些操作可以由远程设备(例如，对等设备、服务器、云等)执行。

备选地或附加地，本文描述的功能中的一些或全部功能可以至少部分地由一个或多个硬件逻辑组件执行。例如，但不限于，可以被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)等。

在一些示例中，计算设备102可以与深度相机相关联，深度相机可以被用于测量从相机到由相机捕获的图像的各个部分的距离。在一些情况中，图像的各个像素可以具有关联的距离数据，该距离数据指定从相机到对应于相应像素的图像的部分的距离。在一些示例中，计算设备102可以与能够捕获图像和/或视频的相机和/或能够捕获音频的麦克风相关联。例如，输入/输出模块106可以并入这样的相机和/或麦克风。对象的捕获的图像例如可以被与被存储在存储器108中的各种对象和/或材料的数据库中的图像比较，并且这样的比较可以部分地被使用以标识对象。存储器108可以包括计算机可读介质中的一个计算机可读介质或组合。

计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质包括在用于诸如计算机可读指令、数据结构、程序模块或其他数据的信息的存储的任何方法或技术中被实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储装置、磁带盒、磁带、磁盘存储器或其他磁性存储设备，或者可以被用于存储供计算设备访问的信息的任何其他非传输介质。

相反，通信介质体现计算机可读指令、数据结构、程序模块或调制的数据信号(诸如载波)中的其他数据或其他传输机制。如本文定义的，计算机存储介质不包括通信介质。在各种示例中，存储器108是存储计算机可执行指令的计算机存储介质的示例。当由处理器104执行时，计算机可执行指令配置处理器104以在一些示例中生成显示元素和关于由显示元素占据的空间的相关联的信息，指令显示器绘制(例如，显示)显示元素，至少部分地基于对象相对于由显示元素占据的空间的位置(例如，速度、速率或取向)来选择特定触觉动作，以及驱动触觉生成器以产生特定触觉动作。

在各种示例中，输入/输出(I/O)接口106的输入设备可以是间接输入设备(例如，一个或多个鼠标、(多个)键盘、一个或多个相机或(多个)相机阵列、(多个)深度相机等)和/或另一类型的非触觉设备(诸如音频输入设备)。

计算设备102还可以包括一个或多个输入/输出(I/O)接口106以允许计算设备102与其他设备通信。输入/输出(I/O)接口106可以包括一个或多个网络接口，以实现计算设备102和其他联网设备(诸如(多个)其他设备102)之间的通信。输入/输出(I/O)接口106可以允许设备102与其他设备通信，这些其他设备诸如用户输入外围设备(例如，一个或多个鼠标、(多个)键盘、一个或多个笔、一个或多个游戏控制器、一个或多个语音输入设备、一个或多个触摸输入设备、(多个)姿势输入设备等)和/或输出外围设备(例如，一个或多个显示器、一个或多个打印机、音频扬声器、一个或多个触觉输出等)。

在一些实现方式中，多个计算设备102中的任何计算设备可以经由网络122被互连。例如，这样的网络可以包括存储和/或处理从计算设备102接收和/或被传输给计算设备102的信息(例如，数据)的一个或多个数据中心。

图2是包括显示器202、相机204和电容器传感器模块206的示例显示设备200的前视图或俯视图。在一些示例中，附加的一个或多个相机208可以被定位在各个定位以从各种有利位置捕获对象的图像。相机和/或电容器传感器模块与可以被用于测量对象的物理定位的多种技术中的一些技术相关联。这样的定位可以相对于显示设备的表面，或者可以相对于AR或VR系统或其他设备的一部分。例如，相机204和/或电容器传感器模块206可以在用来测量或确定对象相对于由虚拟对象占据的空间的定位和/或取向的技术中被使用，如下所述。例如，电容传感器可以生成与用于感测悬停的单元的网格的高度对应的热图。以这种方式，取向(例如，俯仰、偏航、滚转)可以针对诸如手指的(多个)对象而被确定。

相机204和相机208可以向例如与显示设备200相关联的处理器(诸如处理器104)提供图像。这样的图像也可以(或替代地)被提供给图像处理器，诸如图像处理器114。响应于远离(例如，不触摸)显示器202的表面的对象，电容器传感器模块206可以提供对定位敏感的电容的测量。

图2包括正交坐标系，该正交坐标系包括X、Y和Z轴的，其中X轴和Y轴描述与显示器202平行的平面，并且Z轴垂直于显示器(例如，在从图“突出”的方向中)，如由圆圈点210所示。

相机204可以与可以在诸如智能电话、平板计算机等的多种类型的显示设备中的任何显示设备上被找到的前置相机相似或相同。箭头212指示相机204的视图的方向。例如，相机204可以被配置为在显示器202上方的区域中(诸如与X-Y平面基本平行的方向)捕获图像(或诸如用于视频的多个图像)。如下面进一步说明的，由相机204捕获的图像中的对象的位置或定位可以相对容易地沿着X轴和Z轴检测到。换言之，对象的位置可以在与相机204的视图的方向(例如，Y轴)垂直的方向中相对可辨别。另一方面，由相机204捕获的图像中的对象的位置或定位可能相对难以沿着Y轴检测到。因此，例如，点214处的对象与点216处的对象之间的定位差异可以相对容易地在捕获的图像中检测到，因为定位差异基本上沿着垂直相机204的视图的方向(Y轴)的方向(X轴)。相反，点216处的对象与点218处的对象之间的定位差异可能在捕获的图像中相对难以检测到，因为定位差异基本上沿着平行于相机204的视图的方向(Y轴)的方向(Y轴)。因此，相机208，面对由箭头220指示的方向，也可以被用于检测沿Y轴和/或Z轴的对象的位置或定位。当然，相机的这样的细节及其相对定位仅仅是示例，并且要求保护的主题内容不限于此。

图3是上面针对图2描述的示例显示设备200的侧视图。该侧视图示出了显示设备200的背部302。相机204可以从显示设备200的前表面突出，以便具有显示器202上方的区域的视图212。在一些配置中，例如，相机204可以包括弹出选项，其中相机204可以能够旋转到突出取向(例如，如图所示)或旋转到与显示设备200的表面齐平的取向。

图4是显示虚拟显示元素的示例电子设备400的透视图。显示轴X、Y和Z被示出并且对应于图2和图3的那些轴。虚拟显示元素可以包括多种形状或尺寸中的任何形状或尺寸。例如，虚拟显示元素402和404包括不同尺寸的圆柱形体积，并且虚拟显示元素406包括球形体积。在一些示例中，虚拟显示元素可以由不需要包括电子设备400的系统的一部分绘制。例如，AR或VR系统可以包括眼睛，该眼睛将虚拟显示元素绘制给佩戴者从而使得虚拟显示元素可以看起来被定位在任何定位处，包括在电子显示器400(例如，即使电子显示器400不是绘制虚拟显示元素的实体)的正上方、正下方、侧面或其上的定位。在其他示例中，虚拟显示元素可以由电子设备400的显示器408绘制。例如，观察显示器408的人可以佩戴特定类型的眼镜，其产生光学效果，其中由显示器408显示的元素看起来从显示器向外突出。在其他示例中，眼镜是不需要的。

图4描绘了正在接近虚拟显示元素402的对象410(在这种情况中是手指)。详细地，对象410是正在接近虚拟地占据空间的量的虚拟显示元素(相对而言，虚拟显示元素可以正在接近对象，或者虚拟显示元素和对象可以正在彼此靠近)的真实对象。这样的空间可以由AR或VR系统定义。使用多种技术中的任何技术，如以上针对图2所描述的，例如，系统可以检测对象410相对于系统正在为虚拟显示元素绘制的虚拟定位的位置。以这种方式，系统可以检测对象410是否具有虚拟显示元素402或者虚拟地触摸虚拟显示元素402。此外，如下文所说明的，系统可以检测对象410是否虚拟地在虚拟显示元素402的内部(其体积)，并且如果是，则检测多少。

在一些示例中，电子设备400可以是由用户的手412持有的手持设备，但要求保护的主题内容在这方面不受限制。如下所述，在一些示例中，电子设备400可以包括一个或多个触觉换能器，其可以将多种类型的触觉动作中的任何触觉动作传递给手412。

图5是与由示例虚拟显示元素504定义的空间502交互的对象500的特写侧视图。尽管虚拟显示元素504可以虚拟地被定位在多个定位中的任何定位，但是其被示为被定位在表面506附近。在一些示例中，系统可以将触觉动作传递给可以由用户的手(例如，412)握持的表面506。这样的触觉动作可以响应于对象500与虚拟显示元素504之间的特定类型的交互。如所描绘的，对象500部分地被定位在虚拟显示元素504内部，从而使得对象500的远端部分深入虚拟显示元素504内部的距离为距离508。在一些示例中，系统可以产生具有特定特性的触觉动作，取决于对象500是否(i)接近虚拟显示元素504的表面，(ii)接触(但不超出)虚拟显示元素504的表面，(iii)以一个特定量深入虚拟显示元素504内部，或(iv)以另一个特定量深入虚拟显示元素504内部。这样的触觉动作特性可以包括振动频率、强度、脉动和持续时间，仅列举几个示例。例如，响应于仅触摸虚拟显示元素504的表面的对象500的触觉动作可以是具有特定强度的触觉动作。在一些实现方式中，触觉动作特性可以是使得用户可以感觉到纹理的感觉(例如，触觉频率相对较大)。随着对象500进一步穿透虚拟显示元素504的虚拟空间，触觉动作的强度可以增加，对应于空间穿透的增加。在一些情况中，如上所述，虚拟硬度可以通过响应于对象穿透虚拟显示元素的量而由触觉生成器而被绘制。例如，与用于以较小距离510穿透虚拟显示元素504的对象500的触觉动作相比，用于以距离508穿透虚拟显示元素504的对象500的触觉动作的强度可能更大。这样的强度(和/或频率)差异可以为接收触觉动作的人提供虚拟显示元素504的纹理或硬度的感觉。在一些示例中，这样的强度差异可以为接收触觉动作的人提供可能对校正对象500的轨迹有用的信息或感觉。

图6是与由多个示例虚拟显示元素602和604限定的空间交互的对象的侧视图。在所示的特定示例中，用户的手606可以包括可以与虚拟显示元素交互的第一手指608和第二手指610(本文中，拇指被称为手指，除非另有说明)。尽管虚拟显示元素602和604可以虚拟地被定位在多个定位中的任何定位处并且具有任何尺寸、取向或形状，它们也被示为被定位在设备的表面612附近。在一些示例中，系统可以将触觉动作传递给设备，该设备可以由用户的另一只手(例如，与手606相反的手)持有。这样的触觉动作可以响应于第一手指608、第二手指610、显示元素602和显示元素604之间或之中的特定类型的交互。

在一些示例中，系统可以产生具有特定特性的触觉动作，取决于第一手指608或第二手指610是否(i)接触(但不超出)虚拟显示元素602或604的表面，(ii)以一个特定量在虚拟显示元素602或604内部，或(iii)以另一特定量在虚拟显示元素602或604内部。这样的触觉动作特性可以包括振动频率、强度、脉动和持续时间，仅列举几个示例。例如，响应于仅触摸虚拟显示元素604的表面的手指610的触觉动作可以是具有特定强度的触觉动作。响应于仅触摸虚拟显示元素602的表面的同一个手指610的触觉动作可以是具有不同特定强度的触觉动作。针对不同显示元素的触觉动作中的这样的差异可以允许用户感知显示元素之间的特性中的差异。例如，系统可以经由触觉动作向用户描绘诸如显示元素的纹理、硬度、定位和类型之类的特征。例如，通过生成用于与显示元素602交互的触觉动作(与用于与显示元素604交互的触觉动作相比，其具有更大的强度)，与显示元素604相比，系统可以将显示元素602描绘为包括更具弹性(虚拟)的材料。

在一些示例中，系统可以响应于与对象的交互来改变显示元素。改变显示元素可以包括振动(例如，摆动)显示元素的图像、改变其颜色或纹理以及注释显示元素，仅列举几个示例。在一个实例中，如果用户利用对象608和/或对象610“触摸”这些元素，则系统可以摆动虚拟显示元素(例如，602和/或604)。用户在持有设备400时可以感受到触觉，该触觉可以是类似于例如用弹簧夹住一块平木片(或其他材料)的感觉，因为对弹簧的触摸使得它们摆动。改变显示元素可以向用户提供用户(例如，其对象)具有显示元素或正在与显示元素交互的反馈。例如，响应于手指608或手指610触摸显示元素，系统可以振动或摇动显示元素602的外观。在某些实例中，这样的振动或摇动可能会与触觉反馈的振动频率同步振动。同时，未被触摸的其他显示元素的外观可以保持不变。在另一示例中，系统可以改变(例如，永久地或暂时地)触摸的显示元素的颜色。在多个显示元素中，至少部分地取决于关于对象(例如，手指608、610)相对于各个显示元素的定位的特定情况，每个显示元素可以具有不同量的振动或摇动。

图7是显示2D显示元素的示例电子设备700的透视图。显示轴X、Y和Z被示出并且对应于图2和图3中的那些轴。2D显示元素可以包括多种形状或尺寸中的任何形状或尺寸。例如，2D显示元素702和704包括不同尺寸的圆，并且2D显示元素706包括正方形。在一些示例中，2D显示元素可以由不需要包括电子设备700的系统的一部分绘制。例如，AR或VR系统可以包括眼镜，该眼镜将2D显示元素绘制给佩戴者的眼镜，从而使得2D显示元素可以看起来被定位在任何定位，包括在电子显示器400(例如，即使电子显示器400不是绘制2D显示元素的实体)的正上方或其上的定位。在其他示例中，2D显示元素可以由电子设备700的显示器708绘制。例如，观察显示器708的人可以佩戴特定类型的眼镜，其产生光学效果，其中由显示器708显示的元素看起来从显示器浮动或向外突出(例如，2D对象通过用户佩戴3D眼镜变成3D对象)。在另一示例中，2D显示元素可以由显示器708作为透视图绘制以描绘三个维度。在更多其他示例中，2D显示元素可以包括关于由显示元素占据的空间的相关联的信息。例如，2D显示元素可以与指定或限定2D显示对象通过其在显示器708上方延伸的虚拟高度的数据相关联。在这种情况中，这样的数据可以利用定义对应的2D显示元素的数据而被存储在存储器(例如，108)中。

图7描绘了接近2D显示元素702的对象710(在这种情况中是手指)。在一个示例中，对象710是接近显示元素的真实对象，该显示元素虚拟地占据由显示元素的区域定义的空间的体积以及指定显示708上方的虚拟高度或扩展的相关联的信息。使用多种技术中的任何技术，如以上针对图2描述的，例如，系统可以检测对象710相对于系统正在为2D显示元素绘制的虚拟高度的位置。以这种方式，系统可以检测对象710是否具有2D显示元素702或者虚拟地触摸2D显示元素702。此外，系统可以检测对象710是否在显示元素702的虚拟高度下方，并且如果是，则检测低多少。

在一些示例中，电子设备700可以是由用户的手持有的手持设备，但要求保护的主题内容在此方面不受限制。在一些示例中，电子设备700可以包括一个或多个触觉换能器，其可以将多种类型的触觉动作中的任何触觉动作传递给手。

图8是与由示例虚拟(例如，2D或3D)显示元素804定义的空间(由虚线描绘)交互的对象802的侧视图。尽管显示元素804可以虚拟地被定位在多个定位中的任何定位，但是其被示为被定位在触觉设备808的表面806附近。本文中，触觉设备是包括能够生成触觉动作或虚拟力的一个或多个换能器的电子设备。手持设备或智能电话例如可以是触觉设备。

在一些示例中，系统可以经由触觉设备808将虚拟力施加到用户的手810上。这样的虚拟力可以响应于对象802和虚拟显示元素804之间的特定类型的交互。虚拟力可以由基于人类虚幻感觉来诱发虚拟力的机制产生。例如，不对称信号可以被施加到包括电磁线圈、金属重物和弹簧的触觉致动器，从而使得用户感觉到该设备正被按照特定方向拉动(或推动)，尽管该设备不受与其他对象或地面的任何机械连接支持。这样的触觉设备可以具有小的形状因子，其允许该设备在诸如手持式显示器、智能电话、AR或VR系统等的电子设备中被实现。

在一些示例中，虚拟力可以由具有被附接到由弹簧支撑的金属片的电磁线圈的结构生成。金属片可以被放置在两个永磁体之间。当波形信号被传输到电磁线圈时，金属片振动以响应。在信号停止之后，例如，振动可以在诸如50毫秒的相对较短的时间段内由弹簧和磁体暂停。短的悬浮时间有助于触觉的准确性和清新感。尽管这样的结构可能作为触觉设备有效，但通常其不产生净力。然而，被传输到电磁体线圈的不对称信号可能导致虚拟力，从而使得用户感觉好像有不可见的力在将设备按照特定方向拉动，或者按照相反方向推动设备。在这种情况中，信号可以在短时间段(例如，2毫秒)内被施加到电磁线圈以在一个方向中移动质量块，并且然后被暂停。当该质量块返回到原始位置(其可能需要大约6毫秒)时，信号可能会再次被施加到电磁线圈，并且该过程被重复。作为结果，该质量块的运动变得不对称(例如，由电磁线圈引起的运动很快，并且由弹簧引起的运动很慢)。各种不对称信号模式可以在两个相反的方向中创建虚拟力。用户通常感觉这样的虚拟力是因为人类力感知的非线性：在由电磁线圈和由弹簧导致的质量块的运动中的加速度中的差异未被抵消。因此，用户可以感觉到一个方向中的(虚拟)力。通过改变信号的占空比，用户也可以感受到相反方向中的力。在一个示例中，虚拟力可以使用2毫秒打开和8毫秒关闭的周期而被产生。由于不存在将设备连接到地面或其他固体块的机械组件，所以不存在实际的力被感知。相反，用户感知到的力是一种感觉错觉。当然，可能存在用于产生虚拟力的其他技术，并且要求保护的主题内容不限于上述示例。

如所描绘的，对象802虚拟地触摸虚拟显示元素804，其具有可以被认为是在虚拟显示元素804上推动(如箭头812所示)的运动。在一些示例中，系统可以产生具有(多个)定位和特定特性的虚拟力814(例如，“推回”)，取决于对象802是否(i)接触(但不超出)显示元素804的表面，(ii)以一个特定量在显示元素804内部，或(iii)以另一特定量在显示元素804内部。虚拟力814可以经由与触觉设备808接触的一个或多个区域被传递给用户的手或其他部分。这样的虚拟力特性可以包括强度、脉动和持续时间，仅列举几个示例。例如，响应于仅接触显示元素804的表面的对象802的虚拟力可以是具有特定强度的虚拟力814。随着对象802进一步穿透显示元素804的虚拟空间，虚拟力可以增加强度，对应于空间渗透的增加。在某些情况中，虚拟硬度可以通过虚拟力响应于对象穿透虚拟显示元素的量而被描绘。例如，与用于以较小距离穿透显示元素804的对象802的虚拟力814相比，用于以特定距离穿透显示元素804的对象802的虚拟力814的强度可能更大。这样的强度差异可以为接收虚拟力的人提供显示元素804的纹理感或硬度感。在一些示例中，虚拟力814可以至少部分地取决于对象802的速度/速率和/或轨迹(例如，与在显示元素804上推动相比，在显示元素804上的快速敲击)。

图9是示例触觉设备900的俯视图。显示轴X、Y和Z被示出并且对应于图2和图3的那些轴。如上所述，触觉设备是包括能够生成触觉动作或虚拟力的一个或多个换能器的电子设备。例如，触觉设备900包括换能器902、904和906。在一些示例中，换能器的组合可以被操作、定位和/或配置为在触觉设备900的选择的目标部分中转移触觉动作或虚拟力。例如，通过激活换能器902和904(例如，维持换能器906处于“关闭”状态)，触觉动作或虚拟力可以在部分908处被转移，并且由持有触觉设备900或以其他方式与触觉设备900接触的用户感知。类似地，通过激活换能器904和906(例如，维持换能器902处于“关闭”状态)，触觉动作或虚拟力可以在部分910处被转移。附加的定位处的附加的换能器可以允许更好地控制触觉动作或虚拟力定位。要求保护的主题内容在这方面不受限制。

在一些示例中，换能器的组合可以被操作、定位和/或配置为转移在沿着触觉设备900的选择的方向中移动的触觉动作或虚拟力。例如，通过以时间依赖的方式激活换能器902和904(例如，换能器902的强度可以随着换能器904的强度减小而增加)，触觉动作或虚拟力可以跨过(或通过)触觉设备900移动，并且由在改变的定位处持有触觉设备900或以其他方式与触觉设备900接触的用户感知。附加的定位处的附加的换能器可以允许更好地控制触觉动作或虚拟力的运动。要求保护的主题内容在这方面不受限制。

图10是与由多个示例虚拟显示元素1002和1004定义的空间交互的对象1000的侧视图。尽管虚拟显示元素1002和1004可以虚拟地被定位在多个定位中的任何定位处，但是它们被示为被定位在与触觉设备1008的表面1006相邻。在一些示例中，系统可以将触觉动作或虚拟力传递给可以由用户的手1010持有的触觉设备1008的特定目标(例如，选择的)部分。这样的触觉动作或虚拟力的定位可以至少部分地基于对象1000与虚拟显示元素1002和1004之间的交互的定位而被选择。例如，区域1012中的对象1000与虚拟显示元素1002之间的交互可以导致区域1012处或附近的触觉动作或虚拟力1014。类似地，区域1016中的对象1000与虚拟显示元素1004之间的交互可以导致区域1016处或附近的触觉动作或虚拟力1018。此外，如上所述，触觉动作或虚拟力1014和1018可以从一个区域移动(例如，改变方向和/或强度)到另一区域。这样的移动可以至少部分地基于对象1000和虚拟显示元素之间的交互的移动。

如上所述，虚拟力可以由基于人类虚幻感觉来诱发虚拟力的机制产生。相应地，通过选择触觉动作或虚拟力的特定定位，系统可以响应于用户正在与虚拟显示元素1002和1004交互的定位和方向来允许用户感觉描绘了触觉设备1008在特定方向中被拉动(或推动)的效果。在一些实现方式中，例如，触觉反馈可以在不需要用户接触任何设备的情况中被提供，诸如在一股空气被引导至用户的情况中。

图11是用于响应于用户与由虚拟显示元素定义的空间交互来产生触觉反馈的示例过程1100的流程图。例如，过程1100可以由处理器执行。例如，过程1100可以由计算设备102执行，如图1所示。在框1102处，处理器可以生成显示元素和定义显示元素的虚拟表面的信息。在框1104处，处理器可以显示显示元素。在框1106处，处理器可以接收关于对象相对于显示元素的位置的位置信息。在框1108处，处理器可以响应于对象接触显示元素的虚拟表面来在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于对象的位置而被选择。在框1110处，处理器可以将对象相对于由显示元素占据的空间的位置与对象的先前确定的位置比较以推断对象的新位置、运动方向或速度。在框1112处，处理器可以至少部分地基于对象相对于由显示元素占据的空间的运动方向或速度来产生特定触觉动作。在框1114处，处理器可以响应于对象相对于由显示元素占据的体积的位置的变化来改变颜色和/或调制显示元素的位置。在一些实现方式中，处理器可以改变显示元素，从而使得响应于对象触摸显示元素，显示元素看起来变形、分离或其他视觉或声学增强。

图12是用于响应于用户与由虚拟显示元素定义的空间交互来产生触觉反馈的示例过程1200的流程图。例如，过程1200可以由处理器执行。例如，过程1200可以由计算设备102执行，如图1所示。在框1202处，处理器可以显示显示字段和具有虚拟深度(或形状)和虚拟表面的虚拟对象。在框1204处，处理器可以感测真实对象相对于虚拟对象的虚拟表面的位置。在框1206处，处理器可以至少部分地基于真实对象相对于虚拟表面的位置来在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于虚拟对象相对于显示字段的定位而被选择。在框1208处，处理器可以在显示字段中显示第二虚拟对象，第二虚拟对象具有第二虚拟深度和第二虚拟表面。在框1210处，处理器可以感测真实对象相对于第二虚拟对象的第二虚拟表面的位置。在框1212处，处理器可以在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于第二虚拟对象相对于显示字段的定位而被选择。在框1214处，处理器可以利用至少部分地基于真实对象相对于虚拟表面的定位的强度来在触觉设备的特定部分处生成触觉动作。

图11和图12中所示的操作的流程被图示为表示可以在硬件、软件、固件或其组合中被实现的操作的序列的框和/或箭头的集合。在其中框被描述的顺序并不旨在被解释为限制，并且任何数量的描述的操作可以按照任何顺序被组合以实现一个或多个方法或备选方法。附加地，单独的操作可以在不脱离本文描述的主题内容的精神和范围的情况中，从操作流程被省略。在软件的上下文中，框表示当由一个或多个处理器执行时，配置处理器以执行所列举的操作的计算机可读指令。在硬件的上下文中，框可以表示被配置为执行所列举的操作的一个或多个电路(例如，FPGAs、专用集成电路-ASIC等)。

图11和图12中所示的操作流程中的任何例程说明、元素或框可以表示包括用于实现例程中的具体逻辑功能或元素的一个或多个可执行指令的代码的模块，段或部分。

示例条款

A.一种系统，包括：显示器，该显示器由一个或多个处理器可操作的；位置传感器，该位置传感器被配置为感测三维(3D)空间中的对象的位置；触觉生成器，该触觉生成器被配置为产生触觉动作；以及存储器，该存储器存储指令，该指令在由一个或多个处理器执行时，使得一个或多个处理器执行操作，该操作包括：生成显示元素和/或关于由显示元素占据的空间的相关联的信息；指令显示器绘制显示元素；至少部分地基于对象相对于由显示元素占据的空间的位置来选择特定触觉动作；以及提示触觉生成器产生特定触觉动作。

B.根据段落A所述的系统，其中显示元素包括3D显示元素，并且由3D显示元素占据的空间包括虚拟空间。

C.根据段落A所述的系统，其中显示元素包括2D显示元素，并且由2D显示元素占据的空间包括显示器上的区域和虚拟形状，其中关于由显示元素占据的空间的信息包括虚拟形状。

D.根据段落A所述的系统，其中显示器包括头戴式虚拟显示设备。

E.根据段落A所述的系统，其中特定触觉动作包括在相对于显示器的特定定位处的触觉动作，其中特定定位至少部分地基于由显示元素占据的空间的虚拟位置。

F.根据段落A所述的系统，其中对象包括第一虚拟对象，并且显示元素包括第二虚拟对象，并且进一步包括：

提示触觉生成器至少部分地基于第一虚拟对象和第二虚拟对象的相对位置来产生特定触觉动作。

G.根据段落A所述的系统，其中触觉生成器包括被布置在显示器的局部区域中的两个或更多个触觉换能器，以通过调整两个或更多个触觉换能器的触觉动作的相对量来在相对于显示器的特定定位处产生特定触觉动作。

H.根据段落A所述的系统，其中触觉生成器和显示器被并置在手持设备中。

I.根据段落A所述的系统，其中位置传感器被配置为感测的对象包括用户的手指或触笔。

J.根据段落A所述的系统，其中关于由显示元素占据的空间的信息进一步包括关于显示元素的虚拟硬度的信息，并且操作进一步包括：至少部分地基于显示元素的虚拟硬度来产生特定触觉动作。

K.根据段落A所述的系统，其中操作进一步包括：

将对象相对于由显示元素占据的空间的位置与对象的先前确定的位置比较，以推断对象的运动方向或速度；以及至少部分地基于对象相对于由显示元素占据的空间的运动方向或速度来产生特定触觉动作。

L.根据段落A所述的系统，其中操作进一步包括：

响应于对象相对于由显示元素占据的体积的定位的位置的变化来改变颜色和/或调制显示元素的位置。

M.一种方法，包括：显示显示字段和具有虚拟形状和虚拟表面的虚拟对象；感测真实对象相对于虚拟对象的虚拟表面的位置；以及至少部分地基于真实对象相对于虚拟表面的位置，在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于虚拟对象相对于显示字段的定位而被选择。

N.根据段落M所述的方法，进一步包括：在显示字段中显示第二虚拟对象，第二虚拟对象具有第二虚拟深度和第二虚拟表面；感测真实对象相对于第二虚拟对象的第二虚拟表面的位置；以及在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于第二虚拟对象相对于显示字段的定位而被选择。

O.根据段落M所述的方法，进一步包括：利用至少部分地基于真实对象相对于虚拟表面的定位的强度来在触觉设备的特定部分处生成触觉动作。

P.根据段落M所述的方法，其中触觉动作包括移动触觉动作，该移动触觉动作响应于感测到真实对象相对于虚拟对象的虚拟表面的位置的移动而从触觉设备的一部分移动到触觉设备的另一部分。

Q.一个或多个计算机可读介质，该计算机可读介质存储计算机可执行指令，该计算机可执行指令当在一个或多个处理器上被执行时，配置计算机以执行动作，该动作包括：生成显示元素和定义显示元素的虚拟表面的信息；显示显示元素；接收关于对象相对于显示元素的位置的位置信息；以及响应于对象接触显示元素的虚拟表面，在触觉设备的特定部分处生成触觉动作，其中特定部分至少部分地基于对象相对于显示元素的位置而被选择。

R.根据段落Q所述的计算机可读介质，其中动作进一步包括：通过调整被定位在触觉设备中的两个或更多个触觉换能器的触觉生成的相对量来在特定定位处产生特定类型的触觉动作。

S.根据段落Q所述的计算机可读介质，其中显示元素包括透视二维显示元素。

T.根据段落Q所述的计算机可读介质，其中定义显示元素的虚拟表面的信息进一步包括关于显示元素的硬度的信息，并且其中这些动作进一步包括：至少部分地基于显示元素的硬度来产生特定类型的触觉动作。

虽然这些技术已经用专用于结构特征和/或方法动作的语言而被描述，但是应当理解，所附权利要求不一定限于描述的特征或动作。相反，特征和动作被描述为这样的技术的示例实现方式。

除非另有说明，否则上述方法和过程中的所有方法和过程可以全部或部分地体现在由一个或多个通用计算机或处理器执行的软件代码模块中。代码模块可以被存储在任何类型的计算机可读存储介质和/或其他计算机存储设备中。方法中的一些或全部方法备选地可以全部或部分地由专用计算机硬件(诸如FPGA，ASIC等)实现。

除非另有特别说明，否则诸如“能够”、“可能”、“也许能”或“可以”的条件语言被用于指示某些示例包括，而其他示例不包括所述特征、元素和/或步骤。因此，除非另外指出，否则这样的条件性语言并不意味着特征、元素和/或步骤对一个或多个示例是以任何方式必需的，或者一个或多个示例必然包括用于在具有或不具有用户输入的情况中决定的逻辑，或提示这些特征、元素和/或步骤是否被包括在任何特定示例中或将在任何特定示例中被执行。

除非另有特别说明，诸如短语“X、Y或Z中的至少一个”的连接语言应被理解为表示项目、项等可以是X、Y或Z，或者是它们的组合。

许多变化和修改可以对上述示例而被做出，其要素将被理解为是在其他可接受的示例之中。所有这些修改和变化旨在被包括在本公开的范围内。

Claims (11)

1.一种电子系统，包括：

显示器，所述显示器由一个或多个处理器可操作；

位置传感器，所述位置传感器被配置为感测三维3D环境中的对象的位置；

触觉生成器，所述触觉生成器被配置为产生一个或多个触觉动作；以及

存储器，所述存储器存储指令，所述指令在由所述一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：

在所述存储器中生成显示元素的表示；

在所述显示器上绘制在3D空间中的所述显示元素的虚拟表示，所述虚拟表示包括所述显示元素的虚拟硬度，所述虚拟硬度对应于所述显示元素对由所述对象的穿透的响应能力；

至少部分地基于所述对象相对于由所述3D空间中的所述显示元素的所述虚拟表示占据的空间的位置来选择第一触觉动作；以及

至少部分地基于所述显示元素的所述虚拟硬度来提示所述触觉生成器产生所述第一触觉动作。

2.根据权利要求1所述的系统，其中所述显示元素包括3D显示元素，并且由所述3D显示元素占据的空间包括所述3D空间内的虚拟空间。

3.根据权利要求1所述的系统，其中所述显示元素包括二维（2D）显示元素，并且由所述2D显示元素占据的所述空间包括所述显示器上的区域和形状，其中将由所述显示元素占据的所述空间在所述显示器上的表示包括所述形状。

4.根据权利要求1所述的系统，其中所述显示器包括头戴式虚拟显示设备。

5.根据权利要求1所述的系统，其中所述第一触觉动作在相对于所述显示器的第一定位处被执行，其中所述第一定位至少部分地基于由所述显示元素占据的区域。

6.根据权利要求1所述的系统，其中所述对象包括第一虚拟对象，并且所述显示元素包括第二虚拟对象，并且进一步包括：

提示所述触觉生成器至少部分地基于所述第一虚拟对象和所述第二虚拟对象的相对定位来产生所述第一触觉动作。

7.根据权利要求1所述的系统，其中所述触觉生成器包括被布置在所述显示器的区域中的两个或更多个触觉换能器，以通过调整所述两个或更多个触觉换能器的触觉活动的相对量来在相对于所述显示器的第一定位处产生所述第一触觉动作。

8.根据权利要求1所述的系统，其中所述触觉生成器和所述显示器被并置在手持设备中。

9.根据权利要求1所述的系统，其中所述位置传感器被配置为感测的所述对象包括手指或触笔。

10.根据权利要求1所述的系统，所述操作进一步包括：

将所述对象相对于由所述显示元素占据的所述空间的所述位置与所述对象的先前确定的位置比较，以推断所述对象的速率；以及

至少部分地基于所述对象相对于由所述显示元素占据的所述空间的所述速率来产生所述第一触觉动作。

11.根据权利要求1所述的系统，所述操作进一步包括：

响应于所述对象的所述位置的变化来改变由所述显示元素占据的所述空间的颜色或者移动由所述显示元素占据的所述空间。

Images