CN111065987B - 增强现实系统、增强现实输入设备和计算机可读存储介质 - Google Patents

增强现实系统、增强现实输入设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111065987B
CN111065987B CN201780094269.2A CN201780094269A CN111065987B CN 111065987 B CN111065987 B CN 111065987B CN 201780094269 A CN201780094269 A CN 201780094269A CN 111065987 B CN111065987 B CN 111065987B
Authority
CN
China
Prior art keywords
arm
virtual
input device
arms
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780094269.2A
Other languages
English (en)
Other versions
CN111065987A (zh
Inventor
A·塞耶
I·N·鲁滨孙
堀井裕司
J·杨
R·巴拉加斯
葛宁
C·P·萨耶斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN111065987A publication Critical patent/CN111065987A/zh
Application granted granted Critical
Publication of CN111065987B publication Critical patent/CN111065987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种增强现实系统，在示例中，增强现实系统包括输入设备，输入设备包括被配置成要由用户握持在一起的第一臂和第二臂；传感器，用于至少感测第一臂的至少一部分与第二臂的至少一部分的相对位置；其中，至少感测第一臂与第二臂的相对位置包括触觉重定向过程，触觉重定向过程将第一臂的末端和第二臂的末端的接触模拟至在增强型现实环境中呈现的虚拟对象的外表面。

Description

增强现实系统、增强现实输入设备和计算机可读存储介质
技术领域
本申请涉及增强现实领域，尤其涉及增强现实系统、用于增强现实的输入设备和非暂态计算机可读存储介质。
背景技术
增强现实、虚拟现实和混合现实都涉及用户与工具的交互，以便操纵经由视觉输出设备呈现给用户的虚拟对象。用户可以实时操纵在虚拟环境中呈现的虚拟对象，从而产生操纵真实对象的错觉。
发明内容
根据本公开的第一方面，提供了一种增强现实系统，包括：输入设备，输入设备被形成为筷子或镊子，输入设备包括要一起被握持在用户的手中的第一臂和第二臂，第一臂和第二臂是细长构件并且能通过用户的手相对于彼此操纵；传感器，传感器用于至少感测第一臂的至少一部分与第二臂的至少一部分的相对位置；其中，至少感测第一臂与第二臂的相对位置包括触觉重定向过程，触觉重定向过程将第一臂的末端和第二臂的末端的接触模拟至在增强型现实环境中呈现的虚拟对象的外表面，其中，在触觉重定向过程期间第一臂和第二臂的会聚移动被转化为在增强型现实环境中表示的一对虚拟臂的更慢的会聚移动。
根据本公开的第二方面，提供了一种用于增强现实的输入设备，包括：第一臂；第二臂，第一臂和第二臂是细长构件并且能通过用户的手相对于彼此操纵；传感器，传感器用于检测第一臂与第二臂的相对位置；以及介入止动构件，介入止动构件置于第一臂与第二臂之间，以通过将止动力施加于第一臂与第二臂之间来模拟第一臂和第二臂对增强型虚拟环境中表示的虚拟对象的抓握，其中，在增强型虚拟环境中表示的第一臂的虚拟表示和第二臂的虚拟表示的会聚速率分别比物理的第一臂和第二臂的会聚速率相对更慢。
根据本公开的第三方面，提供了一种对物理三维空间与虚拟三维空间进行映射的计算机程序产品，计算机程序产品包括：计算机可读存储介质，包括体现在其中的计算机可用程序代码，计算机可用程序代码在由处理器执行时用于进行以下操作：接收至少描述第一臂与第二臂的相对位置的输入，第一臂和第二臂是细长构件并且能通过用户的手相对于彼此操纵；接收描述要由用户操纵的虚拟对象的输入；当第一臂的末端和第二臂的末端会聚时，进行重定向过程，重定向过程模拟在增强型虚拟环境中表示的虚拟对象的外表面的接触，其中，在重定向过程期间，在增强型虚拟环境中表示的第一臂的虚拟表示和第二臂的虚拟表示的会聚速率分别比物理的第一臂和第二臂的会聚速率相对更慢。
本公开还提供了其他方面。
附图说明
附图图示了本文所描述原理的不同示例并且是本说明书的一部分。所图示的示例仅出于说明的目的给出，而不限制权利要求的范围。
图1是根据本文所描述原理的示例的增强现实系统的框图。
图2是根据本文所描述原理的示例的输入设备的框图。
图3是示出了根据本文所描述原理的示例的对物理3D空间与虚拟3D空间进行映射的方法的流程图。
图4是根据本文所描述原理的示例的增强现实系统的简图。
图5A是示出了根据本文所描述原理的示例的输入设备的简图。
图5B是示出了根据本文所描述原理的示例的输入设备的简图。
图5C是示出了根据本文所描述原理的示例的输入设备的简图。
图5D是示出了根据本文所描述原理的示例的输入设备的简图。
图5E是示出了根据本文所描述原理的示例的输入设备的一部分的简图。
图5F是示出了根据本文所描述原理的示例的输入设备的简图。
图6是示出了根据本文所描述原理的示例的对物理3D空间与虚拟3D空间进行映射的方法的流程图。
在整个附图中，相同的附图标记指代相似但不一定相同的元件。附图不一定成比例，并且可以放大一些零件的尺寸以更清楚地图示所示的示例。此外，附图提供了与描述一致的示例和/或实施方式；然而，描述不限于附图中提供的示例和/或实施方式。
具体实施方式
虚拟现实、增强现实以及混合现实系统和设备用于操纵经由输出设备视觉地呈现给用户的虚拟对象。虚拟现实系统和设备是使用虚拟现实(VR)头戴式设备来生成逼真的图像、声音和其他人类可辨别的感觉来模拟用户在头戴式设备中所呈现的虚拟环境中的物理存在的系统和设备，在一些示例中，VR系统和/或设备包括物理空间和/或多投影环境。增强现实系统和设备可以包括实施物理真实世界环境的实况的、直接和/或间接视图的那些系统和设备，所述视图的元素通过比如声音、视频、图形和/或GPS数据等计算机生成的感觉输入来增强。混合现实系统和设备包括真实世界和虚拟世界的融合，以产生物理对象和数字对象实时共存和交互的新的环境和可视化。仅出于描述简单起见，虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统和设备被称为增强型现实(ER)系统和/或设备。
这些ER系统和设备通常包括用户用于与增强型现实环境进行交互的物理输入设备。在本文呈现的示例中，输入设备是一对细长构件。在示例中，这些细长构件可以被类似地塑造成一双筷子的形状。为了便于描述，这些细长构件将被称为“筷子”。本文所描述的这些筷子可以向用户提供操纵经由ER系统和设备向用户表示的虚拟对象的能力。尽管本说明书将细长构件描述为筷子，但是也可以存在其他形式的细长构件，包括例如一对镊子、钳子和夹具等。
使用工具控制ER环境中的虚拟对象通常已实现作用力反馈，以便向用户提供逼真的感觉。然而，这样的实施方式成本高昂，并且实施起来相对复杂。
本说明书描述了一种增强现实系统，在示例中，所述增强现实系统包括：输入设备，所述输入设备包括要由用户握持在一起的第一臂和第二臂；跟踪系统，所述跟踪系统用于至少跟踪所述第一臂和所述第二臂的三维(3D)位置，其中，至少感测所述第一臂与所述第二臂的相对位置包括触觉重定向过程，所述触觉重定向过程将所述第一臂的末端和所述第二臂的末端的接触模拟为所述增强型现实环境中呈现的虚拟对象的外表面的接触。因此，增强现实系统的用户在臂之间具有真实对象的物理感觉，即使在示例中，只是在现实世界中使一个臂与另一臂相抵触。
本说明书进一步描述了一种输入设备，在示例中，所述输入设备包括第一臂、第二臂、跟踪系统和触觉重定向模块，所述跟踪系统用于检测第一臂和第二臂中的每一个在物理3D空间内的位置，所述触觉重定向模块用于调整在增强型现实环境中显示的第一虚拟臂与第二虚拟臂之间的间距，使得通过彼此接触的所述第一臂和所述第二臂来向用户提供的触觉反馈转化为所述第一虚拟臂和所述第二虚拟臂的末端分别与在所述增强型虚拟环境中表示的虚拟对象上的第一表面点和第二表面点的虚拟接触。
本说明书还描述了一种用于对物理3D空间与虚拟3D空间进行映射的计算机程序产品，在示例中，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质包括与其一起实施的计算机可用程序代码，所述计算机可用程序代码当由处理器执行时用于进行以下操作：接收描述第一臂与第二臂的物理3D位置的输入；接收描述要被操纵的虚拟对象的输入；当所述第一臂的末端和所述第二臂的末端接触时，进行重定向过程，所述重定向过程模拟增强型虚拟环境中表示的虚拟对象的外表面的接触。
如本说明书和所附权利要求中所使用的，术语“触觉”旨在被理解为与这样的设备的任何形式的交互：用户通过触摸所述设备而感觉到输出。
同样，如本说明书和所附权利要求中所使用的，术语“虚拟对象”旨在被理解为在增强型现实环境内表示的并且可由增强现实系统的用户查看的对象，但是所述对象在物理世界中没有物理对应物。
在以下说明中，出于解释的目的，阐述了许多特定细节以便提供对本系统和方法的透彻理解，然而，本领域技术人员将理解的是，可以在没有这些特定细节的情况下实践本装置、系统和方法。说明书中对“示例”或类似语言的引用意味着结合该示例描述的具体特征、结构或特性如所描述被包括在内，但是可以包括或不包括在其他示例中。
现在转到附图，图1是根据本文所描述原理的示例的增强现实系统(100)的框图。增强现实系统(100)包括输入设备(105)和传感器(120)。
输入设备(105)包括第一臂(110)和第二臂(115)。第一臂(110)和第二臂(115)都可以是细长构件。在示例中，这些细长构件可以被类似地塑造成一双筷子的形状。因此，在此示例中，第一臂(110)和第二臂(115)可以由用户握持，类似于用户握持一双筷子的方式。附加的结构特征可以耦接或形成到第一臂(110)和/或第二臂(115)中以支持其操作。这些附加的结构特征将在本文中更详细地描述。
在示例中，输入设备(105)可以在虚拟环境中被虚拟地表示。在示例中，在虚拟世界中可以以相同的方式来表示输入设备(105)的形状和特征。在示例中，可以以不同的方式来表示输入设备(105)在虚拟世界中的虚拟表示。作为示例，输入设备(105)通常可以包括第一臂(110)和第二臂(115)，但是所述输入设备可以在虚拟环境中被表示为一双筷子、镊子、钳子或具有第一臂(110)和第二臂(115)的任何其他类似类型的设备，在此示例中，用户可以经由图形用户界面来选择虚拟环境中虚拟地表示的设备的类型，而不管实际真实世界中输入设备(105)的外观如何。
传感器(120)可以包括可以提供关于第一臂(110)与第二臂(115)的相对位置的信息的任何设备或设备的组合。在示例中，传感器(120)感测至少第一臂(110)的远端与第二臂(115)的远端的相对位置。在示例中，传感器(120)可以进一步能够跟踪第一臂(110)和/或第二臂(115)的真实世界的三维(3D)位置和/或取向。尽管本文所描述的一些示例传感器(120)可以检测第一臂(110)和/或第二臂(115)的绝对3D位置和取向，但是在一些示例中，传感器(120)的输出可以包括第一臂(110)与第二臂(115)的相对位置和取向。
另外，在本文所描述的可以检测第一臂(110)的远端与第二臂(115)的远端的相对位置的任何示例传感器(120)中，传感器(120)可以被置于第一臂(110)或第二臂(115)之一上、或第一臂(110)和第二臂(115)两者上、或第一臂(110)和第二臂(115)两者的外部。因此，本说明书设想了使用在相对于第一臂(110)和第二臂(115)中的任何一个或在第一臂(110)和第二臂(115)中的任何一个上的多个或单个位置处的多个设备位置。
根据本说明书，任何示例传感器(120)或示例传感器(120)的元件可以与任何其他示例传感器(120)或示例传感器(120)的元件组合，以便至少确定第一臂(110)的至少一部分相对于第二臂(115)的至少一部分的相对位置。
在示例中，传感器(120)可以包括外部相机，以检测第一臂(110)和/或第二臂(115)的3D位置和取向。为了帮助相机检测第一臂(110)和/或第二臂(115)，第一臂(110)和/或第二臂(115)可以进一步包括在其上的可跟踪指示器。置于第一臂(110)和/或第二臂(115)上和/或第一臂(110)和/或第二臂(115)中的可跟踪指示器的示例可以包括反光带、有色涂料和发光二极管(LED)等。在此示例中，相机可以通信地耦接至处理器，所述处理器执行计算机可读程序代码来分析相机提供的图像并确定第一臂(110)和/或第二臂(115)的3D位置和取向。
相机还可以测量握持输入设备(105)的用户的手的位置和/或取向。这样的测量可以单独使用或结合本文所描述的其他传感器(120)使用，以推断第一臂(110)和第二臂(115)的位置和/或取向。
相机还可以测量第一臂(110)和第二臂(115)之一的位置和/或取向。此测量可以用于使用本文所描述的传感器(120)中的一个或多个来推断第一臂(110)和第二臂(115)中的另一个的位置。
对第一臂(110)和第二臂(115)在真实世界内的3D位置的跟踪向增强现实系统(100)提供了信息。此信息包括第一臂(110)和第二臂(115)的绝对位置和/或取向以及其他3D相关信息。此信息被提供给增强现实系统(100)，以便示出第一臂(110)和第二臂(115)在虚拟环境中的位置。可以通过使用本文所描述的传感器(120)中的任何一个或组合来完成对第一臂(110)和第二臂(115)的跟踪。
在示例中，传感器(120)可以包括应变仪。应变仪可以包括在第一臂(110)和/或第二臂(115)中。在此示例中，应变仪可以检测置于第一臂(110)和/或第二臂(115)中的至少一个上的弯曲力。施加于第一臂(110)和第二臂(115)中的任一者上的弯曲力可以向处理器指示由用户提供的在第一臂(110)和/或第二臂(115)上所施加的抓握压力。此抓握压力可以例如经由蓝牙无线地传输到处理器，或者所述抓握压力可以例如经由对相机可见的、臂之一上的LED显示器来视觉地传输。抓握压力可以基于如由应变仪测量的第一臂(110)和/或第二臂(115)的变形向处理器指示所表示的虚拟对象将如何变形(如果要变形的话)。
在示例中，传感器(120)可以直接测量两个臂(110、115)的远端之间的距离。传感器(120)可以是一个臂上的查看另一臂上的基准标记的相机、或一个臂上的测量与另一臂上的磁体的接近度的霍尔效应传感器、或一个臂上的测量从第二臂反射的光的光和光传感器。传感器可以通信地耦接至处理器。处理器可以接收由传感器提供的信号，以便至少确定第一臂(110)和/或第二臂(115)之一的至少一部分与臂(110、115)中的另一个的至少一部分的相对接近度。
在示例中，传感器(120)可以由置于第一臂(110)和第二臂(115)中的任一者或两者的杆内的电池供电。电池可以向置于第一臂(110)和/或第二臂(115)内或上的任何设备和/或传感器(120)提供电力。因此，在任何示例中，在电力可以被与第一臂(110)和/或第二臂(115)相关联的设备使用的情况下，电池可以提供这种电力。这些电池可以是可更换和/或可充电的。
在示例中，传感器(120)可以包括选择性地可耦接至第一臂(110)和/或第二臂(115)的可耦接的、增强型现实(ER)系统特定的跟踪设备。在此示例中，可耦接跟踪设备可以包括可以检测第一臂(110)和/或第二臂(115)的3D位置的可耦接跟踪设备自己的传感器，所述传感器与用于跟踪其他部件(例如，手控器)在ER系统中的位置的传感器类似。可以提供可耦接跟踪设备与第一臂(110)和/或第二臂(115)之间的电接口，使得可耦接跟踪设备可以接收关于第一臂(110)和/或第二臂(115)与可耦接跟踪设备的相对位置的信息。可耦接跟踪设备可以将此信息与其自己的传感器数据组合，并且无线地或有线地向处理器发送指示第一臂(110)与第二臂(115)的相对位置、和/或第一臂(110)和/或第二臂(115)的3D位置的信息。将可耦接跟踪设备耦接至第一臂(110)和/或第二臂(115)的电接口可以向可耦接跟踪设备提供源自耦接至第一臂(110)和/或第二臂(115)的传感器的附加信息。作为示例，霍尔效应传感器和/或应变仪可以经由电接口将其各自的信号提供给可耦接跟踪设备。在示例中，可耦接跟踪设备可以包括处理器，所述处理器用于处理从第一臂(110)和/或第二臂(115)接收的任何数据，并将该信息传达至与增强现实系统的显示器相关联的另一处理器，以这种方式，至少第一臂(110)和/或第二臂(115)的物理取向可以被转化为虚拟环境。
在示例中，第一臂(110)可以使用系绳物理地连接到第二臂(115)。系绳可以耦接至第一臂(110)和第二臂(115)，以便在第一臂(110)与第二臂(115)之间提供相当于与使用筷子类似的方式使用这两个臂的运动程度，但保持两个臂(110、115)连接。这可以防止一个或一对臂(110、115)的意外丢失。另外，系绳可以提供电连接可以通过的结构管道。在此示例中，电线可以允许各个传感器或设备(即，电池)通信地和/或电地耦接在一起。
在示例中，第一臂(110)的近端和第二臂(115)的近端可以在结构上耦接在一起，以允许在单个平面内相对于彼此移动。在示例中，可以使用允许第一臂(110)的远端和第二臂(115)的远端移动到一起的铰链系统来完成结构耦接，在此示例中，传感器(120)可以是被添加到耦接至第一臂(110)与第二臂(115)之间的铰链上的电位计、光学编码器、相机、压缩传感器、霍尔效应传感器、或旋转位置编码器，以确定在输入设备(105)的第一臂(110)与第二臂(115)之间创建的开度角。确定在第一臂(110)与第二臂(115)之间创建的开度角提供了关于第一臂(110)相对于第二臂(115)的位置的信息。在示例中，还可以添加维持输入设备(105)处于打开位置(即，第一臂(110)的远端和第二臂(115)的远端彼此相距最远)的弹簧，以便对在第一臂(110)和第二臂(115)中的至少一个上实施用户力以将其闭合，在示例中，本文所描述的应变仪、相机或其他传感器(120)还可以用于确定挠曲距离，并且因此还确定了施加于虚拟对象上的力。在此示例中，铰链的角度还可以指示第一臂(110)和第二臂(115)已经相对于彼此应变的程度。此信息被转化为由用户施加在输入设备(105)上的力，所述力可以在虚拟世界中用于指示虚拟对象被抓握得有多紧或虚拟对象变形的程度。
在示例中，可以使用耦接至第一臂(110)或第二臂(115)之一的多个物理介入止动构件来更改第一臂(110)和/或第二臂(115)的几何形状。可以将多个物理介入止动构件固定到第一臂(110)或第二臂(115)中的至少一个的远端。当用户与虚拟环境中的虚拟对象交互时，可以将多个物理介入止动构件置于第一臂(110)与第二臂(115)之间，以便通过将止动力施加于第一臂(110)与第二臂(115)之间来模拟第一臂(110)和第二臂(115)对虚拟对象的抓握。在示例中，多个物理介入止动构件可以耦接至第一臂(110)和第二臂(115)之一，使得围绕第一臂(110)和第二臂(115)之一的旋转可以选择性地将所述多个物理介入止动构件中的至少一个置于第一臂(110)与第二臂(115)之间。在一些示例中，可以基于用户选择的虚拟对象的类型来选择多个物理介入止动构件中的每一个的长度、顺应性(compliance)和/或弹性。作为示例，用户要选择的虚拟对象具有相对较软的外表面。在此示例中，增强现实系统(100)检测到用户将要选择该对象，并且使多个物理介入止动构件之一置于限定第一臂(110)和第二臂(115)接触在一起的点的平面中。所选物理介入止动构件的长度可以取决于虚拟对象的尺寸，使得当所选介入止动构件阻止了第一臂(110)与第二臂(115)接触时，与虚拟对象进行接口连接的用户感觉该接触已经完成。止动构件的长度与所抓握的虚拟对象的实际尺寸之间的任何差异都可以使用触觉重定向方法解决。
在示例中，可以更改第一臂(110)和/或第二臂(115)中的任一者的顺应性来向用户提供触觉反馈以模拟握持或多或少具有顺应性的虚拟对象。在示例中，所选物理介入止动构件可以相对地或多或少具有顺应性的，以便向用户提供虚拟对象相对地或多或少具有顺应性的触觉反馈。在一个示例中，通过使用比如橡胶等顺应性材料来提供顺应性。在另一个示例中，使用磁体来模拟顺应性材料。在另一个示例中，使用电磁体来模拟顺应性材料，在这些示例中，经由物理设备，使用户相信虚拟对象的属性实际上可以被感觉到。这使得用户对增强现实系统(100)有了相对更好的体验。
第一臂(110)和/或第二臂(115)在使用期间并结合本文所描述的触觉重定向过程向用户提供触觉反馈。在一些示例中，触觉反馈设备提供了现实世界的感觉，该感觉表示以下情况：即使使用触觉重定向过程，使用输入设备抓握虚拟对象也可能无法使用户信服。在一些示例中，可以使用本文所描述的触觉反馈设备来更改第一臂(110)或第二臂(115)中的至少一个的几何形状。在此示例中，触觉重定向过程仍可以用于通过容纳置于第一臂(110)与第二臂(115)之间的触觉反馈设备的物理空间来模拟增强型虚拟环境内任意尺寸的虚拟对象。
在示例中，可以在输入设备(105)的操作期间更改臂(110、115)的远端的重量。在此示例中，可膨胀袋耦接至第一臂(110)和第二臂(115)中的至少一个的远端。可以使用流体使可膨胀袋膨胀，使得可以模仿虚拟对象的重量。当第一臂(110)和第二臂(115)用于抬起虚拟对象时，可以使用流体来填充可膨胀袋以模拟被抬起对象的重量。可以通过经由多根软管流体地耦接至可膨胀袋的贮存器将流体提供至可膨胀袋。当增强现实系统(100)确定用户正选择与之交互的虚拟对象时，可以使用重物或活塞按压流体使其通过软管至可膨胀袋。
尽管本文已经描述了示例触觉反馈设备，但是这些触觉反馈设备旨在被视为示例而非旨在指限制本公开。相反，本说明书设想了使用要与第一臂(110)和/或第二臂(115)结合使用的许多其他触觉反馈设备。触觉反馈设备的其他示例可以包括振动设备、气味提供设备、以及加热和冷却设备等。
如本文所描述的，增强现实系统(100)还包括处理器，所述处理器用于接收来自输入设备(105)及其在第一臂(110)和/或第二臂(115)上或结合到所述第一臂和/或所述第二臂的相关联传感器的输入。处理器还执行计算机可读程序代码以向用户显示虚拟环境。虚拟环境可以向用户显示如本文所描述的多个虚拟对象。虚拟环境还可以经由执行计算机可读程序代码来显示包括其第一臂(110)和第二臂(115)或其一部分的真实世界输入设备(105)的虚拟表示。可以将任何数量的视觉表示呈现给用户以显示输入设备(105)，并且在一些示例中，所述任何数量的视觉表示可以包括一点透视图、二点透视图、三点透视图、四点透视图和/或零点透视图。在示例中，视觉表示是3点透视图。因此，在增强现实系统(100)的操作期间，传感器(120)可以使用输入设备(105)的任意点透视图将输入设备(105)的真实世界3D位置转化为虚拟环境中的虚拟3D位置。这允许用户看到访问或操纵虚拟对象的输入设备(105)的虚拟表示。另外，可以实时地完成对虚拟对象的操纵和所表示的输入设备(105)在虚拟环境中的转化，从而增加了用户实际上正在操纵真实世界对象的错觉。
增强现实系统(100)的一个或多个处理器可以进一步检测用户旨在与多个虚拟对象中的哪个虚拟对象进行交互。作为示例，输入设备(105)可以用于基于输入设备(105)及其第一臂(110)和/或第二臂(115)中的至少一个的位置真实世界3D位置，通过使用指向特征来指示要与哪个虚拟对象进行交互。在示例中，可以实施多个阈值，使得当输入设备(105)的3D位置在虚拟对象的阈值距离内时，选择虚拟对象以与虚拟表示的输入设备(105)进行接口连接。在示例中，可以实施多个阈值，使得当输入设备(105)的3D位置正指向阈值距离内的虚拟对象时，选择虚拟对象以与虚拟表示的输入设备(105)进行接口连接。可以使用其他方法来选择虚拟对象以进行操纵，并且本说明书设想了那些方法的使用。例如，可以选择与在筷子的远端的尖端之间绘制的线相交的任何对象。系统可以包括经由突出显示例如任何当前所选对象的GUI向用户的反馈。
所描述的触觉重定向过程或无根据的触觉重定向可以专注于在操作输入设备(105)时的力反馈。为了提供输入设备(105)的力反馈，可以识别两个力反馈源：有根据的(grounded)和无根据的(ungrounded)。
有根据的力反馈意味着力反馈基于外部对象。例如，当用户使用输入设备(105)在桌子上戳时，桌子的反作用力对输入设备(105)提供力反馈。这种力反馈与手上的触摸反馈具有类似特性，因此它们都可以通过重新映射空间位置并将由物理触觉设备提供的力用作力反馈来实现。在此示例中，在本说明书中设想了触觉错觉的任何形式的触摸反馈，并且可以应用所述触觉反馈来提供有根据的力反馈。
在示例中，触觉错觉可以用于提供无根据的力反馈。在无根据的力反馈的情况下，反作用力来自由同一输入设备的另一部分所施加的力。该力反馈不基于外部对象，因此被称为无根据的。
增强现实系统(100)的一个或多个处理器可以进一步发起触觉重定向过程或无根据的触觉重定向过程。触觉重定向过程在虚拟环境中重定向第一臂(110)和第二臂(115)两者的真实世界3D位置。通过此实施方式，重定向第一臂(110)和第二臂(115)相对于例如铰链的这两个旋转角度使得第一臂(110)和第二臂(115)两者同时与虚拟对象接触，并且因此，没有有根据的力或基于如地面等外部对象的力被实现。还可以在输入设备(105)中不存在铰链的情况下，实现此触觉重定向过程。
针对第一臂(110)和/或第二臂(115)设想的可能状态包括打开、闭合和握持虚拟对象。当第一臂(110)和第二臂(115)被打开或闭合时，第一臂(110)和第二臂(115)两者可以在虚拟世界中处于与现实世界中相同的取向。当第一臂(110)和第二臂(115)正在握持虚拟对象时，第一臂(110)和第二臂(115)要与第一虚拟臂(110)与第二虚拟臂(115)之间的最近的(根据两个臂(110、115)之间的角距离之和)虚拟对象的表面接触。开度角用于确定过渡过程。当输入设备(105)处于打开状态时，第一臂(110)和第二臂(115)应被完全打开。因此，在输入设备(105)要被完全闭合时，第一臂(110)和第二臂(115)处于闭合状态或握持对象状态。
利用此信息，可以执行计算机可读程序代码以计算转移状态，并渲染具有其第一臂(110)和第二臂(115)的输入设备(105)的虚拟模型。一旦输入设备(105)达到“握持对象”状态，还可以实施脚本以使置于第一虚拟臂(110)与第二虚拟臂(115)之间的虚拟对象与输入设备(105)一起移动。当由例如本文所描述的可耦接跟踪设备捕获释放速度时，可以实施附加脚本以正确地计算虚拟对象的释放速度，在示例中，这可以给予可耦接跟踪设备拾取和释放虚拟对象的能力。
通过利用视觉优于触觉反馈的优势，可以将输入设备(105)的虚拟状态重新映射为相应的物理状态，可以提供触觉反馈而无需使用任何外部物理道具。在第一臂(110)与第二臂(115)的情况下，可以重新映射第一臂(110)和第二臂(115)的开度角，使得当用户在虚拟环境中在视觉上感知到握持对象时，第一臂(110)和第二臂(115)彼此物理地接触，从而仿效力反馈，就好像在第一臂(110)与第二臂(115)之间存在对象一样。
重新映射输入设备(105)的所有状态与重新映射空间位置是完全不同的，在示例中，输入设备(105)在某些点处应处于适当的物理状态，并且转移应是平滑的，以便其不破坏错觉，在示例中，可以在显示设备中使用多个帧来稳定输入设备(105)的所有移动，并且然后填充中间的帧以完成动画。在此示例中，可以使用称为关键状态映射的解决方案来解决状态映射问题。在关键状态映射中，定义了以下三个概念：状态、关键状态和转移状态。状态由输入设备(105)在精确时刻的状态定义，类似于动画中帧的概念。状态既包含物理状态，又包含经由显示设备呈现给用户的内容。关键状态是用于维持触觉错觉的一些状态，并且由输入设备(105)设计者在创建输入设备(105)时指定。关键状态包含关于输入设备(105)状态的图形和物理描述。类似于中间的帧的状态的转移状态是除关键状态之外的所有其他状态。这些转移状态是通过内插两个关键状态来生成的，以保持整个交互平滑。例如，对于输入设备(105)，可以定义以下三种关键状态：闭合、打开以及握持对象。当输入设备(105)闭合或握持对象时，应物理地闭合输入设备(105)以给出适当量的触觉反馈，而当输入设备(105)处于打开状态时，所述输入设备应看起来处于相同的最大开度角处。所有其他状态(转移状态)均可以被定义为在打开与闭合之间的状态或在打开与握持对象之间的状态。
为了生成所有转移状态，可以指定脚本以确定控制器当前正在经历的是哪种关键状态转移以及该转移的进度的如何。利用该信息，在示例中，在每个帧中，识别输入设备(105)当前所处的状态转移，计算从控制器所处的物理状态起的当前进度，并且将在转移进度前后的两个相关关键状态的虚拟状态作为当前转移状态的视觉表示进行内插。例如，在输入设备(105)的第一臂(110)与第二臂(115)之间是否存在对象可以是判定转移当前是在握持对象与打开之间还是在闭合与打开之间的一种方式。另外，随着转移之间的进度变化的物理开度角可以是确定因素。然后，将当前进度前后的这些关键状态之间的视觉开度角作为此次转移状态的视觉开度角进行内插。这可以用以下等式表示：
S＝Lerp(KA，KB，pA→B) Eq.1
其中，S是当前转移状态；KA和KB是输入设备(105)处于关键状态A与关键状态B之间的过渡中的指示；PA→B是从A过渡为B的进度；并且Lerp是指线性插值函数。
在示例中，用户可以从输入设备(105)的第一臂(110)和第二臂(115)的中间有一个对象开始这两个臂的闭合，但最终将输入设备(105)移动到其他位置以使第一臂(110)和第二臂(115)完全地闭合并且不抓握任何虚拟对象。在某点处，执行的脚本可以确定输入设备(105)的第一臂(110)和第二臂(115)未处于打开与握持对象之间的过渡中，而是在打开与完全闭合之间的过渡中。在这一点上，由于执行的计算机可读程序代码将开始使用另一对关键状态来计算由第一臂(110)和第二臂(115)形成的视觉开度角，因此输入设备(105)的开度角将突然改变。然而，用户可能根本没有改变第一臂(110)和第二臂(115)的物理开度角。输入设备(105)的第一臂(110)和第二臂(115)的物理移动与虚拟环境内实现的虚拟移动之间的这种失配可能破坏呈现给用户的触觉错觉。为了解决这个问题，一旦输入设备(105)达到关键状态，执行的计算机可读程序代码可以维持类似于用户物理移动的视觉移动模式，同时保持输入设备(105)的视觉状态与物理状态之间的映射。因此，可以使用以下等式：
在此示例中，最后一帧的状态用作参考。如果在物理上，用户朝着关键状态A移动，则视觉表示将以用户在该帧中进行的进度除以剩余总进度成比例地移动。根据等式2，如果当对象处于第一臂(110)与第二臂(115)之间或因为在第i帧和第i+1帧中的进度是相同的所以虚拟对象移出输入设备(105)时，用户维持由输入设备105的第一臂(110)和第二臂(115)产生的物理角度，则输入设备(105)将不移动，这与用户期望相匹配。总而言之，利用本文所描述的关键状态重新映射，使用间接触觉反馈来实施新输入设备(105)的接口包括提供一些关键状态、用于识别状态转移的脚本、以及用于测量每个转移的进度的脚本。可以在后台执行计算机可读程序代码以提供状态重新映射。这确保了状态之间的过渡是平滑的，并且还确保了间接触觉重定向过程对于用户而言是不可觉察的。
通常，增强现实系统(100)可以实施电子设备。电子设备的示例包括服务器、台式计算机、膝上型计算机、个人数字助理(PDA)、移动设备、智能电话、游戏系统、和平板计算机、以及其他电子设备。
增强现实系统(100)可以用于任何数据处理场景，包括独立式硬件、移动应用、通过计算网络或其组合。进一步地，增强现实系统(100)可以用于计算网络、公共云网络、私有云网络、混合云网络、其他形式的网络、或其组合。在另一个示例中，由增强现实系统(100)提供的方法由本地管理员执行。
为了实现其期望的功能，增强现实系统(100)可以进一步包括各种硬件部件。在这些硬件部件中，可以是多个处理器、多个数据存储设备、多个外围设备适配器和多个网络适配器。这些硬件部件可以通过使用多个总线和/或网络连接来互连。在一个示例中，处理器、数据存储设备、外围设备适配器和网络适配器可以经由总线通信地耦接。
处理器可以包括用于从数据存储设备中检索可执行代码并执行所述可执行代码的硬件架构。可执行代码在由处理器执行时可以使处理器至少实施以下功能：根据本文所描述的本说明书的方法，将第一臂(110)的末端和/或第二臂(115)的末端的接触模拟为接触增强型现实环境中呈现的虚拟对象的外表面上的至少两个位置。在执行代码的过程中，处理器可以从多个其余硬件单元接收输入并向其提供输出。
数据存储设备可以存储比如由处理器或其他处理设备执行的可执行程序代码等数据。如将讨论的，数据存储设备可以具体地存储表示多个应用的由处理器执行以至少实施本文所描述的功能的计算机代码。
数据存储设备可以包括各种类型的存储器模块，包括易失性存储器和非易失性存储器。例如，本示例的数据存储设备包括随机存取存储器(RAM)、只读存储器(ROM)和硬盘驱动器(HDD)存储器。还可以利用许多其他类型的存储器，并且本说明书设想在数据存储设备中使用可能适合本文所描述原理的特定应用的许多不同类型的存储器。在某些示例中，数据存储设备中的不同类型的存储器可以用于不同的数据存储需要。例如，在某些示例中，处理器可以从只读存储器(ROM)启动，维护硬盘驱动器(HDD)存储器中的非易失性存储内容，并执行存储在随机存取存储器(RAM)中的程序代码。
通常，数据存储设备可以包括计算机可读介质、计算机可读存储介质或非暂态计算机可读介质等。例如，数据存储设备可以是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例可以包括例如以下内容：具有多个电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或前述的任何合适的组合，在本文档的上下文中，计算机可读存储介质可以是可以包含或存储计算机可使用程序代码以供指令执行系统、装置或设备使用或与之结合使用的任何有形介质。在另一个示例中，计算机可读存储介质可以是包含或存储用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何非暂态介质。
增强现实系统(100)中的硬件适配器使得处理器能够与包括输入设备(105)的增强现实系统(100)的外部和内部的各种其他硬件元件接口连接。例如，外围设备适配器可以提供到比如例如输入设备(105)、显示设备、鼠标或键盘等输入/输出设备的接口。外围设备适配器还可以提供对其他外部设备的访问，所述外部设备比如外部存储设备、多个网络设备(例如服务器、交换机和路由器、客户端设备)、其他类型的计算设备、及其组合。
如本文所描述的，可以提供显示设备以允许增强现实系统(100)的用户与增强现实系统(100)进行交互并实施其功能。具体地，显示设备可以向用户提供虚拟环境的视觉渲染。外围设备适配器还可以在处理器与显示设备、打印机或其他媒体输出设备之间创建接口。网络适配器可以向例如网络内的其他计算设备提供接口，由此实现增强现实系统(100)与位于网络内的其他设备之间的数据传输。
增强现实系统(100)可以在由处理器执行时，在显示设备上显示多个图形用户界面(GUI)，所述显示设备与表示存储在数据存储设备上的多个应用的可执行程序代码相关联。另外，通过经由输入设备(105)在显示设备的GUI上做出多个交互手势，用户可以与虚拟环境中表示的任何数量的虚拟对象进行交互。显示设备的示例包括计算机屏幕、膝上型计算机屏幕、移动设备屏幕、个人数字助理(PDA)屏幕和平板计算机屏幕、虚拟现实头戴式设备、增强现实眼镜、任何增强型现实显示设备、以及其他显示设备。
增强现实系统(100)进一步包括在如本文所描述的触觉重定向过程或无根据的触觉重定向过程的实施方式中使用的多个模块。增强现实系统(100)内的各种模块包括可以单独执行的可执行程序代码。在此示例中，各种模块可以被存储为单独的计算机程序产品。在另一个示例中，增强现实系统(100)内的各种模块可以被组合在多个计算机程序产品内；每个计算机程序产品包括多个模块。
图2是根据本文所描述原理的示例的输入设备(200)的框图。输入设备(200)可以包括第一臂(205)、第二臂(210)、传感器(215)和触觉重定向模块(220)。
如本文所描述的，第一臂(205)和第二臂(210)可以采取细长构件的形式类似于看到的一双筷子那样的形式，在一些示例中，第一臂(205)和第二臂(210)可以使用铰接设备在近端处耦接在一起。传感器(215)可以耦接至铰链，以便确定至少第一臂(205)的远端与第二臂(210)的远端的相对位置，并且由此确定至少第一臂(205)的远端与第二臂(210)的远端之间的相对距离。传感器(215)可以是电位计、光学编码器、相机、压缩传感器、霍尔效应传感器或旋转位置编码器。此信息可以被提供给与输入设备(105)相关联的处理器，以根据本文所描述的过程和方法来计算虚拟环境中的一对虚拟的第一臂(205)的远端和第二臂(210)的远端之间的距离。
传感器(215)可以进一步包括多个设备，这些设备可以确定输入设备(105)的第一臂(205)和第二臂(210)的3D真实世界位置和取向以及第一臂(205)和第二臂(210)相对于彼此的相对位置。在一些示例中，可以使用多个跟踪设备，并且可以单独地或组合地使用源自这些跟踪系统(120)和设备的信号来确定第一臂(205)和第二臂(210)的真实世界3D位置。
在示例中，传感器(215)可以包括在一个臂上的查看另一臂上的基准标记的相机、或者在一个臂上的测量与另一臂上的磁体的接近度的霍尔效应传感器、或者在一个臂上的测量从第二臂反射的光的光传感器。
在示例中，传感器(215)可以包括可耦接跟踪设备，在此示例中，可耦接跟踪设备可以包括与用于跟踪其他部件(例如，手控器)在ER系统中的位置的传感器类似的传感器，这些传感器通常用于基于可耦接跟踪设备与第一臂(205)和第二臂(210)和/或输入设备(200)的位置关系来检测第一臂(205)和/或第二臂(210)和输入设备(200)的位置。
输入设备(200)可以进一步包括触觉重定向模块(220)。触觉重定向模块(220)可以实施如本文所描述的触觉重定向过程或无根据的触觉重定向过程。在示例中，触觉重定向模块(220)可以包括计算机可读程序代码，所述计算机可读程序代码当由与输入设备(200)相关联的处理器执行时，将第一臂(205)的末端和/或第二臂(210)的末端的接触模拟为接触在增强型现实环境中呈现的虚拟对象的外表面上的至少两个位置。在示例中，处理器可以利用本文所描述的等式1和2，以便向用户呈现输入设备(200)的物理操作导致与在虚拟环境中向用户呈现的虚拟对象进行虚拟接口连接的感觉。
图3是示出了根据本文所描述原理的示例的对物理3D空间与虚拟3D空间进行映射的方法(300)的流程图。方法(300)可以开始于接收(305)来自传感器(120)的输入，所述输入至少描述第一臂的远端与第二臂的远端之间的距离。
方法(300)可以继续接收(310)描述要操纵的虚拟对象的输入。在示例中，增强现实系统(100)包括屏幕，用户可以在操纵所述屏幕上呈现的虚拟环境中表示的虚拟对象的同时查看所述屏幕，增强现实系统(100)可以经由实施输入设备(105)的用户的指示来选择要操纵的特定虚拟对象。选择过程可以包括使用如本文所描述的多个阈值距离以便选择虚拟对象。然后，通过与增强现实系统(100)相关联的处理器接收对虚拟对象的选择。
方法(300)可以继续进行(315)重定向过程，所述重定向过程在第一臂(110)的末端和第二臂(115)的末端会聚时模拟增强型虚拟环境中表示的虚拟对象的外表面的接触。重定向过程可以包括如本文所描述的触觉重定向过程或无根据的触觉重定向过程的一些或全部特征。在示例中，与输入设备相关联的处理器(105)可以进行如本文所描述的触觉重定向过程或无根据的触觉重定向过程。在示例中，与增强现实系统(100)相关联的处理器通常可以进行如本文所描述的触觉重定向过程或无根据的触觉重定向过程。
图4是根据本文所描述原理的示例的增强现实系统(400)的简图。增强现实系统(400)可以包括要由增强现实系统(400)的用户使用的输入设备(405)、和至少一个视觉输出设备(410-1、410-2、410-3)、以及与输入设备(405)和视觉输出设备(410-1、410-2、410-3)两者相关联的处理器(415)。
如本文所描述的，输入设备(405)可以包括制成一双筷子的形式的第一臂(420)和第二臂(425)。因此，在此示例中，第一臂(420)和第二臂(425)可以以类似于用户握持筷子的方式被握持在用户的手中。在其他示例中，第一臂(420)和第二臂(425)可以包括铰链，所述铰链位于第一臂(420)和第二臂(425)的与第一臂(420)和第二臂(425)的远端(435)相对的近端(430)处。
在一些示例中，用户可以相对于第二臂(425)移动第一臂(420)、相对于第一臂(420)移动第二臂(425)、和/或相对于彼此移动第一臂(420)和第二臂(425)两者，以便与经由视觉输出设备(410-1、410-2、410-3)呈现给用户的虚拟对象进行虚拟地接口连接。
如本文所描述的，视觉输出设备(410-1、410-2、410-3)可以是可以在视觉上向用户渲染虚拟环境的任何类型的视觉输出设备。因此，增强现实系统(400)的视觉输出设备(410-1、410-2、410-3)可以是平板计算机设备(410-1)、台式计算设备(410-2)和/或虚拟头戴式设备(410-3)等。尽管已经结合图4示出了视觉输出设备(410-1、410-2、410-3)的三个示例，但是可以在本增强现实系统(400)的操作期间使用任何附加类型或数量的视觉输出设备(410-1、410-2、410-3)，并且本说明书设想了这种使用。
在一些示例中，为了向用户提供触觉反馈，输入设备(405)的第一臂(420)和第二臂(425)可以包括附加元件。图5A、图5B和图5F示出了可以用于跟踪第一臂(420)和第二臂(425)的位置和/或取向、确定其之间的相对距离、和/或检测其之间的接触的多个设备。另外，图5C至图5E示出了可以在输入设备(405)的操作期间使用的多个元件。在一些示例中，这些设备向用户提供触觉反馈和/或向输入设备(405)提供附加功能。应注意的是，结合图5A至图5F示出和描述的附加元件可以单独或以任何组合地使用。
图5A是示出了根据本文所描述原理的示例的输入设备(405)的简图。在此示例中，输入设备(405)包括应变仪(440)、无线链路(445)和电池(450)。在示例中，输入设备(405)可以由相机(455)来监视，所述相机跟踪置于输入设备(405)的第一臂(420)和第二臂(425)中的至少一个上的多个标记(460)。
应变仪可以检测施于第一臂(420)和/或第二臂(425)中的至少一个上的弯曲力，并且可以被结合到第一臂(420)和第二臂(425)中的任一者或两者中。可以将来自应变仪(440)的信号发送到无线链路(445)，所述无线链路可以将信号无线地发送给与如本文所描述的增强现实系统(400)相关联的处理器(415)。应变仪(440)可以由电池(450)供电。
图5B是示出了根据本文所描述原理的示例的输入设备(405)的简图。在图5B所示的示例中，输入设备(405)可以包括多个磁体(465)和多个霍尔效应传感器(470)。所述多个磁体(465)和所述多个霍尔效应感传感器(470)可以包括在第一臂(420)和第二臂(425)中的一者或两者内。如本文所描述的，霍尔效应传感器(470)可以感测磁体(465)的存在并提供表示第一臂(420)与第二臂(425)的相对距离的信号。这些信号可以由与如本文所描述的增强现实系统(400)相关联的处理器(415)来处理。
图5C是示出了根据本文所描述原理的示例的输入设备(405)的简图。图5C示出了在使用期间第一臂(420)和第二臂(425)的几何形状被改变的示例。如本文所描述的，可以使用任何数量的设备在离散步骤中改变第一臂(420)和第二臂(425)中的至少一个的物理几何形状以便向用户提供某一水平的触觉反馈，以及在启动触觉重定向过程时向用户提供触觉反馈，因此，本说明书设想了这些触觉反馈设备以及用于给用户一种利用输入设备(405)实际操纵虚拟对象的感觉的其他设备的组合。这些设备进一步允许用户使用输入设备(405)来操纵任意尺寸的虚拟对象。作为示例，可以改变第一臂(420)和第二臂(425)的几何形状以在第一臂(420)与第二臂(425)之间创建大于或小于虚拟对象的尺寸的空间。在这种情况下，本文所描述的触觉重定向过程可以适应现实世界与虚拟世界中的尺寸差异。在这些示例中，可以使用用于更改第一臂(420)和第二臂(425)的几何形状的任何无源或有源设备。
在图5C所示的示例中，输入设备(405)包括铰链(475)和多个介入止动构件(480)。铰链(475)可以在某一点处将第一臂(420)和第二臂(425)耦接在一起。在示例中，铰链(475)在与第一臂(420)和第二臂(425)的远端(435)相比更靠近第一臂(420)和第二臂(425)中的每一个的近端(430)的位置处将第一臂(420)与第二臂(425)耦接。铰链约束臂的运动，使得所述两个臂在所选止动构件上闭合。铰链(475)还可以为如果铰链(475)不存在则可能不知道或不能操作输入设备(405)的用户提供易用性。铰链(475)还可以防止第一臂(420)和第二臂(425)的物理分离，使得第一臂(420)和第二臂(425)之一不会丢失。铰链(475)还可以形成导管，通过所述导管可以形成电连接，由此在第一臂(420)与第二臂(425)两者之间提供信号和/或电力。
介入止动构件(480)可以围绕第一臂(420)和第二臂(425)中的至少一个的纵轴形成。如本文所讨论的，多个介入止动构件(480)可以固定到第一臂(420)和第二臂(425)中的至少一个的远端。当用户与虚拟环境中的虚拟对象交互时，可以将介入止动构件(480)置于第一臂(420)与第二臂(425)之间，以通过将止动力施加于第一臂(420)与第二臂(425)之间来模拟第一臂(420)和第二臂(425)对虚拟对象的抓握。在示例中，介入止动构件(480)可以耦接至第一臂(420)和第二臂(425)中的一者或两者，使得围绕第一臂(420)和第二臂(425)之一的旋转可以选择性地将多个物理介入止动构件中的至少一个置于第一臂(420)与第二臂(425)之间。在一些示例中，可以基于用户选择的虚拟对象的类型来选择多个物理介入止动构件中的每一个的长度和顺应性。在一些示例中，一个臂上的止动构件的长度可以不同，而另一臂上的止动构件的顺应性不同。作为示例，用户要选择的虚拟对象很小。在此示例中，增强现实系统(400)检测到用户将要选择该对象，并且使介入止动构件(480)之一置于第一臂(420)与第二臂(425)之间。由于虚拟对象很小，因此所选物理介入止动构件很短，使得当所选交叉止动构件阻止了第一臂(420)与第二臂(425)接触时，与虚拟对象进行接口连接的用户已经或多或少地感觉接触已经完成。
另外，至少一个臂的材料属性可以用于仿照虚拟对象的物理特性。可以使用较软的表面、弹簧、磁体、电磁体、可膨胀囊状物以及类似的设备来更改顺应性。在示例中，所选介入止动构件(480)可以相对或多或少具有顺应性的，以便向用户提供虚拟对象相对或多或少具有顺应性的触觉反馈。在这些示例中，经由输入设备(405)，使用户相信虚拟对象的属性实际上可以被感觉到。这使得用户对增强现实系统(405)有了相对更好的体验。
在示例中，可以选择特定的介入止动构件(480)，并将其置于第一臂(420)与第二臂(425)之间，使用马达旋转所述一组介入止动构件(480)旋转。马达可以按箭头方向(485)旋转介入止动构件(480)。在示例中，交叉止动构件(480)可以具有螺旋形状，使得可以基于在第一臂(420)与第二臂(425)之间插入的螺旋的厚度来设置第一臂(420)与第二臂(425)之间的止动距离。
图5D是示出了根据本文所描述原理的示例的输入设备(405)的简图，在图5D所示的示例中，输入设备(405)包括多个可膨胀袋(485)。可膨胀袋(485)还可以用于通过选择性地增加第一臂(420)和第二臂(425)的远端的重量来模仿抓握虚拟对象的感觉。如所示的，可以经由沿第一臂(420)和第二臂(425)延伸的或在所述第一臂和所述第二臂内的多根软管将可膨胀袋(485)流体地耦接至流体贮存器(488)。可以使用流体使可膨胀袋膨胀，使得可以模仿虚拟对象的重量。当第一臂(420)和第二臂(425)升高时，使用流体来填充可膨胀袋(485)以在现实生活中模仿虚拟对象的重量。
图5E是示出了根据本文所描述原理的示例的输入设备的一部分的简图。所示出的输入设备(405)的一部分是第一臂(420)和第二臂(425)的远端(435)。在此示例中，多个电磁体(490)已经形成到第一臂(420)和第二臂(425)的远端(435)的表面中。这些电磁体(490)可以用于通过调整由电磁体(490)产生的排斥力和/或吸引力来模仿虚拟对象的表面磁导率(surface permeability)。任何数量的电磁体(490)可以形成到第一臂(420)和第二臂(425)的远端(435)中，并且电池(450)可以为电磁体(490)提供电源。控制电路(492)还可以电耦接至电磁体(490)以控制由每个电磁体(490)产生的磁力。比如应变仪(440)等力反馈设备也可以耦接至控制电路(492)，以便确定电磁体(490)对第一臂(420)和第二臂(425)产生的应力或力。因此，用户可以在现实世界中体验所感知到的、在虚拟环境中表示的虚拟对象的硬度或柔软度。
图5F是示出了根据本文所描述原理的示例的输入设备(405)的简图。在此示例中，输入设备(405)可以包括可耦接跟踪设备(494)和将可耦接跟踪设备(494)耦接至第一臂(420)和第二臂(425)的电互连件(496)。在此示例中，可耦接跟踪设备(494)可以包括其自己的传感器，所述传感器可以检测可耦接跟踪设备(494)的3D位置，并且进而检测第一臂(420)和第二臂(425)的3D位置。利用此信息，可耦接跟踪设备(494)可以无线地或有线地向处理器(415)发送指示第一臂(420)和/或第二臂(425)的3D位置的信息。将可耦接跟踪设备(494)耦接至第一臂(420)和第二臂(425)的电互连件(496)可以向可耦接跟踪设备(494)提供源自耦接至第一臂(420)和第二臂(425)的传感器的附加信息。作为示例，霍尔效应传感器(470)和/或应变仪(440)可以经由电接口将其各自的信号提供给可耦接跟踪设备(494)。在示例中，可耦接跟踪设备(494)可以包括处理器(415)，所述处理器用于处理从第一臂(420)和第二臂(425)接收的任何数据，并将该信息传达给与增强现实系统(400)的显示器(410-1、410-2、410-3)相关联的另一处理器(415)。以这种方式，至少第一臂(420)和第二臂(425)的物理取向可以被转化到虚拟环境。
图6是示出了根据本文所描述原理的示例的对物理3D空间与虚拟3D空间进行映射的方法(600)的流程图。方法(600)可以开始于接收(605)描述第一臂(420)和第二臂(425)的物理3D位置的输入。随后，方法(600)接收(310)描述要操纵的虚拟对象的输入。然后，方法(600)可以进行接收关于第一臂(420)和第二臂(425)的移动方向的输入。进一步地，方法(600)进行(620)重定向过程，所述重定向过程在第一臂(420)和第二臂(425)的远端(435)会聚时模拟增强型虚拟环境中表示的虚拟对象的外表面的接触。然后，方法(600)包括使用从第一臂(420)和第二臂(425)接收的输入来表示(625)第一臂(420)和第二臂(425)在虚拟环境中的输入和输出。所述方法可以进一步包括记录(630)描述虚拟环境内的交互的数据。
本文参考根据本文所述原理的实例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图描述了本系统和方法的各方面。流程图图示和框图的每个框、以及流程图图示和框图中的框的组合可以由计算机可使用程序代码来实施。计算机可使用程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生一种机器，使得计算机可用程序代码在经由例如增强现实系统(400)的处理器(415)或其他可编程数据处理装置执行时实施流程图和/或框图的一个或多个框中指定的功能或动作。在一个示例中，计算机可使用程序代码可以实施在计算机可读存储介质内；计算机可读存储介质是计算机程序产品的一部分。在一个示例中，计算机可读存储介质是非暂态计算机可读介质。
说明书和附图描述了一种增强现实系统，所述增强现实系统实施触觉重定向过程，以便模仿对在虚拟环境中表示的虚拟对象的接口连接和操纵。所述系统进一步包括提供反馈的多个传感器和其他设备，这些反馈描述了输入设备的第一臂和第二臂的3D位置、施加于第一臂和第二臂中的任一者上的应力等其他特性。
呈现前述说明以图示和描述所描述原理的示例。此说明不旨在是穷尽性的或将这些原理限制为所公开的任何精确形式。鉴于以上教导，许多修改和变型都是可能的。

Claims (13)

1.一种增强现实系统，包括：
输入设备，所述输入设备被形成为筷子或镊子，所述输入设备包括要一起被握持在用户的手中的第一臂和第二臂，所述第一臂和所述第二臂是细长构件并且能通过所述用户的手相对于彼此操纵；
传感器，所述传感器用于至少感测所述第一臂的至少一部分与所述第二臂的至少一部分的相对位置；
其中，至少感测所述第一臂与所述第二臂的所述相对位置包括触觉重定向过程，所述触觉重定向过程将所述第一臂的末端和所述第二臂的末端的接触模拟至在增强型现实环境中呈现的虚拟对象的外表面，
其中，在所述触觉重定向过程期间所述第一臂和所述第二臂的会聚移动被转化为在所述增强型现实环境中表示的一对虚拟臂的更慢的会聚移动。
2.如权利要求1所述的增强现实系统，进一步包括：跟踪系统，所述跟踪系统用于跟踪所述第一臂和所述第二臂的三维（3D）位置，并且其中，在进行所述触觉重定向过程之前，所述跟踪系统检测对所述虚拟对象的选择。
3.如权利要求2所述的增强现实系统，其中，所述跟踪系统包括相机，所述相机用于至少检测所述第一臂和所述第二臂的三维位置。
4.如权利要求3所述的增强现实系统，其中，所述相机进一步检测下述各项之一或组合：所述第一臂和所述第二臂的取向、所述第一臂相对于所述第二臂的位置、所述第一臂相对于所述第二臂的取向。
5.如权利要求1所述的增强现实系统，其中，所述传感器测量连接所述第一臂和所述第二臂的接头的旋转。
6.如权利要求1所述的增强现实系统，进一步包括：物理地耦接至所述第一臂和所述第二臂的对象跟踪器，所述对象跟踪器检测所述第一臂和所述第二臂中的每一个在三维物理空间内的位置和取向、以及所述第一臂和所述第二臂相对于彼此的位置。
7.一种用于增强现实的输入设备，包括：
第一臂；
第二臂，所述第一臂和所述第二臂是细长构件并且能通过用户的手相对于彼此操纵；
传感器，所述传感器用于检测所述第一臂与所述第二臂的相对位置；以及
介入止动构件，所述介入止动构件置于所述第一臂与所述第二臂之间，以通过将止动力施加于所述第一臂与所述第二臂之间来模拟所述第一臂和所述第二臂对增强型虚拟环境中表示的虚拟对象的抓握，
其中，在所述增强型虚拟环境中表示的所述第一臂的虚拟表示和所述第二臂的虚拟表示的会聚速率分别比物理的所述第一臂和所述第二臂的会聚速率相对更慢。
8.如权利要求7所述的输入设备，其中，所述传感器包括相机，所述相机用于至少检测所述第一臂与所述第二臂的相对位置。
9.如权利要求8所述的输入设备，进一步包括触觉重定向模块，所述触觉重定向模块用于将所述第一臂和所述第二臂的物理位置分别重新配置为增强型虚拟环境中的第一虚拟臂和第二虚拟臂的虚拟位置，使得由所述第一臂和所述第二臂向用户提供的触觉反馈转化为所述第一虚拟臂的末端和所述第二虚拟臂的末端分别与在所述虚拟对象上的第一表面点和第二表面点的虚拟接触。
10.如权利要求9所述的输入设备，其中，所述介入止动构件包括围绕所述第一臂和所述第二臂中的至少一个旋转的多个介入止动构件，并且其中，所述多个介入止动构件中的每一个具有不同的长度和顺应性属性。
11.如权利要求7所述的输入设备，其中，能够基于置于所述第一臂与所述第二臂之间的触觉反馈设备的物理空间来更改所述第一臂和所述第二臂中的至少一个的几何形状。
12.如权利要求9所述的输入设备，其中，所述触觉重定向模块重新配置所述第一臂和所述第二臂的物理位置，以针对任意尺寸的虚拟对象重定向所述第一虚拟臂和所述第二虚拟臂的虚拟位置。
13.一种非暂态计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令在由一个或多个处理器执行时致使所述一个或多个处理器执行包括以下各项的操作：
接收至少描述第一臂与第二臂的相对位置的输入，所述第一臂和所述第二臂是细长构件并且能通过用户的手相对于彼此操纵；
接收描述要由所述用户操纵的虚拟对象的输入；
当所述第一臂的末端和所述第二臂的末端会聚时，进行重定向过程，所述重定向过程模拟在增强型虚拟环境中表示的虚拟对象的外表面的接触，
其中，在所述重定向过程期间，在所述增强型虚拟环境中表示的所述第一臂的虚拟表示和所述第二臂的虚拟表示的会聚速率分别比物理的所述第一臂和所述第二臂的会聚速率相对更慢。
CN201780094269.2A 2017-09-25 2017-09-25 增强现实系统、增强现实输入设备和计算机可读存储介质 Active CN111065987B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/053175 WO2019059938A1 (en) 2017-09-25 2017-09-25 ENHANCED REALITY SYSTEM HAPTICALLY RECIBLING

Publications (2)

Publication Number Publication Date
CN111065987A CN111065987A (zh) 2020-04-24
CN111065987B true CN111065987B (zh) 2023-07-28

Family

ID=65811498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094269.2A Active CN111065987B (zh) 2017-09-25 2017-09-25 增强现实系统、增强现实输入设备和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11226674B2 (zh)
CN (1) CN111065987B (zh)
WO (1) WO2019059938A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019075134A1 (en) * 2017-10-10 2019-04-18 Baudisch, Patrick HAPTIC DEVICE FOR BLIND USERS TO REAL-TIME INTERACTION IN VIRTUAL WORLDS
JP7452430B2 (ja) * 2018-10-19 2024-03-19 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
CN112083803B (zh) * 2020-08-28 2023-11-28 西交利物浦大学 一种虚拟现实环境下模拟重量和重心的设备和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN106951098A (zh) * 2017-05-22 2017-07-14 杨怀宁 一种vr系统触感手套装置及其实现方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233223A1 (en) * 2003-05-22 2004-11-25 Steven Schkolne Physical/digital input methodologies for spatial manipulations and entertainment
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9921712B2 (en) * 2010-12-29 2018-03-20 Mako Surgical Corp. System and method for providing substantially stable control of a surgical tool
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10275025B2 (en) * 2015-06-14 2019-04-30 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with HMD systems
US10324530B2 (en) * 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
DE102016125222B4 (de) * 2016-12-21 2021-03-18 Preh Gmbh Eingabegerät mit magnetischem haptischem Feedback und Justieroption

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN106951098A (zh) * 2017-05-22 2017-07-14 杨怀宁 一种vr系统触感手套装置及其实现方法

Also Published As

Publication number Publication date
CN111065987A (zh) 2020-04-24
US20200233484A1 (en) 2020-07-23
US11226674B2 (en) 2022-01-18
WO2019059938A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
CN111065987B (zh) 增强现实系统、增强现实输入设备和计算机可读存储介质
US8760393B2 (en) Method, apparatus, and article for force feedback based on tension control and tracking through cables
CN103192398B (zh) 机器人手的控制方法
CN110603510B (zh) 虚拟现实系统中虚拟控制器的位置和取向跟踪
JP4463120B2 (ja) 身まねロボットシステムとその身まね動作制御方法
WO2008070584A2 (en) Haptic systems employing force feedback
US20190377412A1 (en) Force Rendering Haptic Glove
CN107272908B (zh) 一种手势识别装置、系统及手势识别方法
CN111338287A (zh) 机器人运动控制方法、装置、系统、机器人及存储介质
CN108020223B (zh) 一种基于惯性测量装置的力反馈设备手柄的姿态测量方法
Delrieu et al. Precise and realistic grasping and manipulation in virtual reality without force feedback
KR102438347B1 (ko) 스마트 웨어러블 장치와 스마트 웨어러블 장비
Akahane et al. Two-handed multi-finger string-based haptic interface SPIDAR-8
WO2005101169A1 (en) Methods and systems for interacting with virtual objects
Liu et al. Virtual reality based tactile sensing enhancements for bilateral teleoperation system with in-hand manipulation
KR100221335B1 (ko) 가상 현실 시스템에서 글러브 센서값 전송 시스템 및 그 방법
JP6386781B2 (ja) 触力覚提示装置
Trute et al. Development of a robotic surgery training system
Cugini et al. Geodesic Haptic Device for Surface Rendering.
Parent et al. Usability of a large-scale force-feedback device in different immersive environments
Halabi et al. Five fingers haptic interface robot hiro: Design, rendering, and applications
JP2014092906A (ja) 触力覚提示装置
KR20150014127A (ko) 수술 시뮬레이팅 장치
Alhalabi et al. Haptic interaction rendering technique for HIRO: An opposite human hand haptic interface robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant