CN115298640A - 可展开控制器 - Google Patents

Abstract

本概念与可以采用可展开控制器的设备有关。在一个示例中，该设备可以包括基座组件，该基座组件被配置为将该设备固着到用户的非手部身体部位。该示例还可以包括接合组件，该接合组件被配置为从用户的手接收触觉输入或将触觉输出传递到用户的手。该设备还可以包括展开组件，该展开组件从基部组件延伸到接合组件，并且被配置为将接合组件从靠近基部组件的存放定向展开到靠近用户的手的展开定向。

Description

可展开控制器

背景技术

在现实生活中，人类倾向于用手与对象互动。他们倾向于伸手去拿这些对象，触摸、抓握、操纵和释放它们。然而，在增强现实(AR)和/或虚拟现实(VR)中，如今这种与虚拟对象的细粒度交互通常是不可能的。例如，AR/VR头戴式装置可以跟踪用户手的位置，但不能向他/她的手提供触觉反馈。

已经针对AR和VR场景开发了手持控制器，以模拟现实世界的交互(例如，针对用户的手提供位置信息和/或提供触觉反馈)。手持控制器有多种形状，可以执行一系列功能。虽然它们中的大多数都跟踪三维(3D)运动，但简单的控制器仅设计用于移动和基于按钮的输入。更高级的控制器可以包括复杂的控件并向用户提供输出。虽然大多数商业设备仅提供振动触觉反馈，但研究人员已经展示了多种手持控制器，可呈现用于双手使用的质感、形状、抓握和挤压反馈、移动重量以及触觉行为。虽然这些控制器的功能可以有所不同，但不幸的共性是用户基本上必须一直握住它们或中断AR/VR体验以在不需要时放下它们并在需要时拿起它们。

因此，手持控制器的一个问题是用户必须不断地抓握它们，从而阻碍了对物理世界中其他对象的自然使用。特别是在VR中，虚拟环境取代了人们对现实世界的看法，用户必须经常使用控制器进行所有虚拟交互。当现实世界侵入时，反复拿起和放下控制器既慢又麻烦。

另一套流行的控制器包括手套式控制器，但由于这些是佩戴的，用户不能轻易地脱离控制器。手套式控制器通常会提供灵巧的反馈，包括对用户指尖的压力和振动。然而，手套式控制器仍然会限制运动并阻碍使用真实世界工具或快速切换到传统输入设备(如键盘)的灵活性。本概念可以解决任何这些和/或其他问题。

附图说明

附图图示了本概念的实施方式。通过参考以下描述并结合附图可以更容易地理解所示实施方式的特征。在可行的情况下，在各种附图中使用相同的附图标号来指示相同的元件。在某些情况下，在附图标号之后使用括号来区分相似的元素。没有相关括号的附图标号的使用对元素是通用的。附图不一定按比例绘制。在附图中，附图标号的最左边的数字标识附图标号首先出现的附图。在描述和附图中的不同实例中使用相似的附图标号可以指示相似或相同的项目。

图1A和图12示出了可以采用与本概念的一些实施方式一致的可展开控制器概念的示例系统。

图1B、图1C、图2A、图2B、图3A至图3G、图4A至图4B、图5A至图5C、图6A至图6B、图7A至图7C、图8A至图8B、图9A至图9D、图10A至图10B和图11A至图11D示出了与本概念的一些实施方式一致的示例可展开控制器的透视图。

图13示出了与本概念的一些实施方式一致的示例性可展开控制器相关的示意图。

图14示出了与本概念的一些实施方式一致的示例控制器展开方法的流程图。

具体实施方式

本概念涉及包括可展开控制器的设备，该可展开控制器可以由用户在各种场景(包括AR和VR场景等)中使用。可展开控制器可以允许用户用他们的手触觉地接触虚拟对象。该设备可以固定到用户手旁边的身体部位，诸如前臂。当需要接合时，可展开控制器可以从存放或收起定向展开到接合定向，并在接合停止时返回。将设备固定到前臂可以允许可展开控制器固着，以施加严格的手持控制器无法施加的力。此外，存放可展开控制器可以允许用户在不使用可展开控制器时以正常的不受阻碍的方式使用他/她的手。

图1A示出了与本概念的一些实施方式一致的系统100。图1A至图1C共同描述了图1中介绍的方面。为了解释的目的，系统100是相对于虚拟现实使用案例场景被解释的，但是可以可选地或附加地在其他使用案例场景中被实现。系统100可以包括基站102。在一些配置中，基站102可以包括用于生成和执行虚拟现实世界的硬件和/或软件，生成和执行虚拟现实世界包括接收和处理来自用户104的输入，以及生成反馈并将其输出到用户104。基站102可以是任何计算设备，包括个人计算机(PC)、服务器、游戏控制台、智能手机、平板电脑、笔记本电脑、汽车、模拟器等。

在一些实施方式中，系统100可以包括头戴式装置106。头戴式装置106可以是例如头戴式显示器(HMD)，其可以接收与虚拟现实、现实世界(例如，场景)、和/或用户相关的信息。在一些实施方式中，头戴式装置106可以包括一个或多个传感器(图1A中未示出)，用于向基站102和/或头戴式装置106提供输入。传感器可以包括例如加速度计、陀螺仪、相机、麦克风等。因此，头戴式装置106能够检测用户周围的对象、用户头部的位置、用户头部朝向的方向、用户的眼睛是睁开还是闭上、用户的眼睛注视哪个方向、用户身体部位(诸如手108等)的位置。头戴式装置可以具有向用户104呈现数据(诸如音频和/或视觉数据)的能力。

系统100还可包括可展开控制器设备110。设备110可包括可作为可展开控制器118起作用的基座组件112、展开组件114和接合组件116。与本概念一致，设备110可以通过用户的手108接合图以向基站102和/或头戴式装置106提供输入和/或输出。下面将相对于图3A至图3E更详细地描述示例。

图1A的示例系统配置仅是考虑的系统配置之一。例如，另一种系统配置可能需要与音频设备(诸如耳机)协作工作的设备110。对于视力受损的用户，耳机可以向用户提供音频输入，并且设备110可以提供相应的触觉输入。考虑采用单独或组合工作的其他设备的系统。

在图1A和图1B的图示示例中，基座组件112可以被配置为将该设备固着到用户104的非手部身体部分120。例如，基座组件112可以固定到用户的前臂122或上臂124。在一些情况下，基部组件可以固定在接合接合组件116的身体部分上方(例如，朝向躯干)的一个关节。例如，在图示配置中，接合组件被配置为由用户的手接合并且基座组件112可以在手腕上方固定到前臂。

图1C示出接合组件116被对半划分，因此内部内容物是可见的。结合图1C观看图1A和图1B，接合组件116可以被配置为从用户的手接收触觉输入和/或将触觉输出传递到用户的手。例如，接合组件116可以包括各种输入设备126以检测用户输入。输入设备的示例可以包括压力传感器、力传感器(诸如应变仪128)、电容式触摸传感器电极130和/或用户可激活开关132(例如，触发器)等。在该实施方式中，在接合组件116内部有四个电容式触摸传感器电极130，它们可以起到区分不同抓握的作用。该数据可用于允许设备预测用户的意图。在这种情况下，有一个电容式触摸传感器电极面向首先接触的手掌的区域，然后在中指周围检测何时被抓握，并且拇指的两个贴片可以用作粗略的位置输入设备。

接合组件116可以包括各种输出设备134(诸如麦克风、蜂鸣器、音圈致动器(VCA)136)、表面模拟器(诸如气球)和/或加热器/冷却器等。

设备110还可以包括各种位置传感器138(诸如六轴(例如，6-DOF)传感器)、惯性测量单元(IMU)等。位置传感器138可以提供与设备在3D空间中的位置有关的数据(例如，x、y和z坐标)、设备的定向、旋转、加速度等。位置传感器138可以位于多个组件或单个组件上。例如，六轴传感器可以位于接合组件116和基座组件112两者上。注意，术语“输入设备”126和“位置传感器”138在本文中用于解释的目的，但是这些术语可以重叠。例如，列出的输入设备往往是传感器。

各种设备实现可以包括其他传感器、输入设备和/或输出设备。例如，各种传感器可以位于展开组件114上。在另一种情况下，各种传感器140可以位于基座组件上。这些传感器140中的一些可以被配置为感测用户的潜在生理方面。例如，传感器可以感测测从手指延伸到前臂的肌腱。来自传感器的信息可以指示各个手指的位置、手指的运动、该运动的方向、力(诸如抓握力)等。可选地或另外地，传感器140可以包括相机(诸如IR深度相机)以提供关于手/手指的位置数据。如本文所使用的，术语“手指”可以包括拇指。

考虑了其他感测实施方式。例如，设备110可以感测更多的用户输入并利用该输入来通知其触觉行为。例如，一些实施方式可以在接合组件周围集成手指跟踪(例如，通过自电容阵列或可穿戴相机)，并且可以在交互期间接近用户的手掌和手指，并针对灵巧输入提供触觉响应。这还可以允许感测测杠杆上的扭矩，这将有助于设备模拟重力及其对重的对象的抵靠力。这些方面在下文相对于图7A至图8B被讨论。

设备110还可以包括控制器142和动力单元144。在这种情况下，动力单元144表现为伺服电机146，但是可以采用其他类型的动力单元(诸如其他类型的电机、气动系统和/或液压系统)。伺服电机146可以产生围绕第一轴(FA)旋转的动力铰链148。控制器142可以从输入设备126和位置传感器138接收信息。控制器可以至少部分地基于该信息来控制设备，诸如动力单元144。一个这样的示例在下文相对于图2A和图2B更详细地被描述。

在一些情况下，控制器142可以接收其他信息，诸如虚拟数据(例如，与虚拟对象有关的数据)。控制器142可以结合来自输入设备126和触摸传感器电极(例如，位置传感器)130的数据使用该附加信息来控制设备110。下面相对于图3A和图3E更详细地描述了一个这样的示例。这种配置可以提供关于接合组件116相对于基座组件112的位置、接合组件116围绕基座组件112的旋转、和/或接合组件和/或基座组件的速度和/或加速度的信息。

注意，各种导体(示出但未指定)可用于通信地耦合各种元件和/或为各种元件供电。可选地，设备110的一些元件可以采用无线技术(诸如蓝牙^TM)在设备(例如，控制器142和输入设备126)内和/或与其他设备(例如，基站102和头戴式装置106)通信。设备110还可以包括电池(示出但未指定)和/或被束缚到另一个设备以接收电力。网络共享还可以将设备与其他设备进行通信耦合，而不是采用无线技术。

图2A和2B共同示出了用于控制设备110的接合组件116的展开的技术。图2A示出了接合组件116展开到展开定向并且几乎处于展开定向，图2B示出了接合组件116展开到存放定向并且几乎处于存放定向。在这种情况下，控制器142可以在检测到表示用户命令的特定用户姿势时引起展开。在该示例中，用户姿势表现为向上翻腕姿势202或向下翻腕204。在该示例中，控制器142可以从基座组件112和/或接合组件116上的位置传感器138获得数据。控制器可以解释数据以检测姿势。然后控制器可以使展开组件114展开接合组件116以完成用户命令。在图2A的示例中，控制器142将传感器数据解释为“展开”姿势202并使伺服电机146将接合组件116移动到接合定向。在图2B的示例中，控制器142将传感器数据解释为“存放”姿势204并使伺服电机146将接合组件116移动到存放定向。在其他配置中，控制器可以将接合的停止解释为“存放”姿势。因此，如果用户完成与接合结构的交互并放开，则对接合组件的突然缺乏压力和/或其他输入可以解释为表示用户完成了接合组件并且控制器可以使其收起。

从一个角度来看，图2A和2B示出了用户姿势如何使接合组件116被展开或存放的示例。在该示例中，设备传感器检测到图2A中的召唤姿势以及图2B中的关闭或存放姿势。在这种情况下，召唤姿势类似于捕捉如图2A中所示的溜溜球。设备的传感器(诸如加速度计)可以检测到这种运动，并主动将接合组件驱动到用户手中。在某些配置中，接合组件可以提供与普通VR控制器类似的人体工程学和功能(包括触摸感测和触发按钮)。在某些情况下，该设备可以包括将设备的输入空间与其控制和驱动分开的模块化设计，该模块化设计可以促进不同的接合组件。在某些配置中，接合组件可以很容易地更换，以更好地匹配特定场景中的用户需求或偏好。这种配置的示例在下文相对于图11A至图11D被描述。

图3A至图3G共同示出了用于控制设备110的接合组件116的展开的另一种技术。在这种情况下，图3A、图3E和图3F示出了可以诸如通过图1A的头戴式装置106针对用户生成的可视化300。但从外部观察者的角度来看，图3B至图3D以及图3G示出了相同的场景。

在这种情况下，如图3A所示，可视化300包括虚拟苹果304形式的虚拟对象302，该虚拟苹果304悬挂在3D位置的虚拟树306上。可视化300还包括在与用户的实际手108的3D位置相对应的位置的用户手的表示308。在该示例中，如箭头310所示，用户的手108正在接近虚拟苹果304(例如，用户正在伸手去拿虚拟苹果304)。

但从外部观察者的角度来看，图3B与图3A同时示出了用户的手108。用户正佩戴设备110。控制器142可以利用来自头戴式装置的关于虚拟对象的可视化数据，例如大小、形状、质量、3D位置、速度、加速度等(例如，虚拟现实数据)以及来自位置传感器138的数据作为输入来确定如何控制设备110。这里，数据指示用户正在伸手去拿虚拟苹果并且将很快(例如，在给定手和虚拟苹果之间的距离与手的速度的可计算的外推时间内)可能试图抓握虚拟苹果。控制器142可以利用运动轨迹提前预测用户的手何时会接触到虚拟对象302。这种结合现有的抓握模型的时间投影可以进一步帮助多感官整合以增加真实抓握的错觉。

基于该时间预测/计算，控制器可以使展开组件114以图3C所示的适当时间和旋转速度或速率展开接合组件116，以使接合组件在如图3D所示的虚拟苹果的位置接触用户的手掌。

但从用户的角度来看，图3E示出了与图3D相同的时间点。用户的手在用户期望接触虚拟苹果的时间和位置接触接合组件116。

图3F示出了当用户随后将虚拟苹果设置在表面上并放开它时的可视化300。图3G从外部观察者的角度示出了相同的视图。注意，当用户释放图3F中的虚拟苹果时，用户实际上正在释放可以自动放下并被收起的接合组件116。因此，设备110可以呈现抓握和释放对象的视觉触觉感觉。现有的触觉控制器无法做到这一点。

因此，这一系列图3A至图3G示出了设备110如何能够至少部分地基于来自虚拟场景的数据来自动展开接合组件以向用户模拟真实世界的感觉。图示的接合组件形状可以渲染不同的对象力，并且力的渲染提供了握在手中时对象重量和惯性力的良好感觉。下文描述了与允许用户“扔”或“放下”苹果有关的更多场景。

如上所示，设备110的一个新颖方面是其自动展开接合组件116的能力，使得接合组件在与VR内容交互时在适当的时间在用户手中以令人信服的力在视觉和物理上出现。类似地，当用户放下VR对象(例如，放开虚拟对象)或扔出对象时，接合组件116可以“消失”(例如，被收起)。可以通过如图2A和图2B所示的用户姿势来调用转换，和/或可以由如图3A至图3G所示的应用自动触发。

回想如上所述，设备110可以固定到(例如，固着到)与接合它的身体部位不同的身体部位。在图示配置中，设备110固定到前臂122并且接合组件116由手108接合。如下所述，该方面可以实现设备110的至少两个附加特征。首先，当不使用时，接合组件116可以不碍事地被存放，因此用户可以与物理环境正常交互。该特征将在下文相对于图4A和图4B被讨论。其次，将设备固着到与接合部分不同的身体部位可以允许设备在接合的身体部位上施加力以模拟真实世界的力(或至少按比例缩放但可信的力)，诸如在举起、投掷、捕捉等时所经历的力。该特征将在下文中相对于图5A至图5C被讨论。

假设此时相对于图3F，用户放下虚拟苹果304并暂时完成可视化。此时，接合组件可以不碍事地自动收起，并且用户可以用他/她的手接合物理对象。

图4A和4B示出了用户佩戴的设备110。在这种情况下，基座组件112可以包括用于将设备固定到用户的前臂122的机构。在这个示例中，该机构表现为与袖带401协同工作的一个或多个带子400。带子400可以从袖带401的一侧延伸并且可以围绕用户的前臂缠绕到袖带的另一侧以将基座组件112固定到前臂。可以使用各种带子材料。弹性材料倾向于提供舒适性，同时保持设备和前臂之间的稳固关系。

图4A和图4B示出了在收起定向具有接合组件116的设备110。在这种情况下，用户能够利用与设备相关联的手来执行手动任务。例如，图4A示出了用户利用将在展开定向接合接合组件116的同一只手108在键盘402上打字。类似地，图4B示出用户利用这只手打开门把手404。用户利用这只手体验正常的灵巧性以及正常的触感。相比之下，利用传统的手持控制器，用户必须将控制器放下、放入口袋或采取其他行动来腾出他/她的手。类似地，如果用户戴着传统的手套式控制器，用户在尝试完成这些任务时将不得不处理戴手套时出现的感觉减弱或改变。

从一个角度来看，在收起的定向上，展开组件114可以使接合组件116位于相对于用户的前臂的位置，使得它对用户的徒手活动的干扰最小。这种存放的定向不仅可以让用户进行徒手交互，还可以使用有形的现实世界对象，诸如键盘和鼠标或门把手等。这在用户经常参与虚拟对象和物理对象的增强现实(AR)场景中可以特别有用。本实施方式可以允许用户轻松快速地展开接合组件，将其用作相对于虚拟内容的控制器，然后轻松快速地恢复它。

回想本概念的一个特征是渲染与触摸、抓握、举起、投掷、捕捉和/或释放虚拟对象相关的触觉感觉的能力。第一示例在图5A至图5C中被示出。

图5A至图5C共同涉及用户利用设备110A拾取虚拟对象的场景。在这种情况下，图5A示出了可以诸如通过图1A的头戴式装置106针对用户生成的可视化500。但是从外部观察者的角度，图5B示出了相同的场景。

在这种情况下，可视化500包括虚拟咖啡杯504形式的虚拟对象502和用户手的表示506。图5B示出当用户伸手去拿虚拟咖啡杯504时，如弧线或线510所示，设备110A正在展开接合组件116，使得接合组件116与虚拟对象同步地接近用户的手108，并且，虚拟手与咖啡杯碰撞的那一刻，接合组件接触用户的手掌，准备好接受抓握输入。此时，控制器142关闭伺服电机146，使用户可以自己被动地移动接合组件，增加了对象“真的”在他们手中的感觉。虚拟对象和物理反馈之间的这种模拟耦合可以产生获取并持有虚拟对象的令人信服的感觉。这种类型的交互也比当前可用的用于获取虚拟对象的技术更自然，这些技术主要基于按下按钮来自动获取和放下虚拟对象。

在一些实施方式中，设备110还可以通过在用户试图“举起”虚拟咖啡杯504时在接合组件116上产生向下的力(由线512表示)来模拟虚拟咖啡杯504的重量。例如，展开组件114可以相对于基座组件112逆时针旋转驱动，以在用户的手上产生一个向下的力，该力模仿虚拟咖啡杯的重量。因此，该实施方式可以在基座组件和接合组件之间提供两个运动轴。首先，如相对于图1A和1B所讨论的，展开组件可以包括动力铰链148(其可以相对于第一轴线(FA)旋转接合组件，在这种情况下，第一轴线(FA)被图示为大致竖直延伸)。其次，展开组件114还可以包括旋转机构514(在该视图中大部分被遮挡)以沿着与第一轴线成90度并且在图5B中通常是水平的并且延伸进出附图页面的第二轴线(SA)相对于基座组件旋转展开组件。因此，在这个实施方式中，动力铰链是多轴动力铰链。

旋转机构514可以由控制器142控制以产生与可视化500中的事件对应的向下力。旋转机构514还可以包括分离离合器以防止产生过大的力，否则可能伤害用户或设备110。注意，动力铰链148也可以出于类似的原因包括类似的分离离合器。

如上所述，当用户伸手拿起虚拟咖啡杯504时，接合组件116可以逐渐枢转到用户的手中，以匹配虚拟咖啡杯的位置。这可以产生接触和抓握虚拟对象的模拟感觉。

图5C示出了相对于图5引入的附加特征。在这种情况下，旋转机构514可以允许接合组件116沿着不位于平面内的路径(例如，复杂路径)展开。例如，假设需要接合组件沿用户前臂的长轴(LA)接合用户的手。然而，假设在存放方向，远离长轴的角度(诸如由线516指示的远离长轴20度)被确定为针对用户是舒适的。在这种情况下，控制器142可以使旋转机构514旋转，同时展开组件114正在展开或存放接合组件以在每个定向上实现期望的角度。另一示例配置相对于图6A和图6B被描述。

图5A至图5C提供了将设备110的基座组件112固着到与接合接合组件116的部分不同的身体部位的示例，以及这如何允许设备在接合的身体部分上施加力以模拟真实世界的力(诸如在举起、投掷、捕捉等时经历的那些力)。在这种情况下，基座组件112固着到前臂并且接合组件116由用户的手接合。

图6A和图6B共同示出了设备110的附加方面。该实施方式可以采用单伺服枢转设计。移动部件可以包括展开组件114，其可以主动地使接合组件116围绕如602所示的大致垂直的轴线(例如，第一轴线(FA))枢转。因此，展开组件的动力铰链148是单轴线动力铰链。在这种情况下，展开组件114可以旋转大约190度的范围，但也可以考虑其他范围。展开组件114可以主动围绕第一轴线枢转接合组件116，而接合组件116可以提供如604所示的被动的上下运动以适应手的倾斜。在这种情况下，上下运动大约为30°度，但也可以考虑其他范围。

基座组件112和展开组件114可以可调节地被固定以适应不同的用户生理(例如，具有不同长骨长度的不同尺寸的用户)和/或偏好。在这种情况下，可调节性通过允许用户控制展开组件114的相对位置的滑块606被实现。展开组件的位置可以控制接合组件116在针对单个用户的展开定向上的位置。因此，具有较大/较长手臂和手的用户和具有较短手臂和手的用户都可以被容纳。考虑了进一步的可调节机制。例如，在展开组件114和接合组件116之间延伸的杆608的长度可以是可调节的。

注意，在图示配置中，第一轴从垂直定向略微倾斜。在该实施方式中，对接合组件116的角度和旋转轴的选择是经过深思熟虑的。如图6A和图6B所示，展开组件114不是围绕垂直于手的轴线而是围绕倾斜的第一轴线旋转接合组件116。因为围绕倾斜的第一轴线旋转接合组件可以允许接合组件116在枢转进入手掌时不会干扰拇指，所以这可能很重要。此外，这个倾斜的轴可以使接合组件116被收起在靠近用户手臂的位置，在该位置在与现实世界对象交互期间或在搁置在桌子上时该接合组件与手的干扰最小。参见图4A和图4B。

从一个角度来看，滑块606可以提供接合组件位置的可调节性以适应不同的手大小。设备110的三个自由度可以适应不同手的大小和用户手的运动。

基座组件112、展开组件114和接合组件116的部分可以由各种材料形成，诸如聚合物。可以基于它们的功能针对这些部分选择单独的聚合物。例如，可以针对袖带401选择稍微柔韧的聚合物，以允许袖带适应不同的手臂直径和形状。在戴上设备后，袖带的弹簧状行为可以拥抱用户的手臂，并且当与带子(400，图4A和4B)结合使用时可以给它一个舒适但牢固的握持。其他部分可以由更刚性的聚合物制成。例如，杆608可以是相对刚性的，因此可以选择提供这种特性的聚合物。聚合物是合适的，因为它们很容易地诸如通过注塑或3D打印形成各种形状。然而，可以可选地或附加地使用其他材料，诸如金属或复合材料。

上面描述了设备110模拟来自与非接地对象交互的反馈的几个示例。下面的讨论涉及模拟与接地对象(如家具或墙壁)的交互。

图7A至图7C共同涉及模拟与接地对象有关的反馈感觉的设备110。图7A是用户触摸具有平坦虚拟表面706的虚拟桌子704形式的大虚拟对象702的可视化700。此外，表示708代表用户的手。图7B和图7C从观察者的角度示出了设备110和用户的手。

当用户用他们的手掌触摸平坦的虚拟表面706时，在使用设备110的一些实施方式时，接触可以仅在手掌的中间被感知，但是这种感觉强到足以感知虚拟表面在那里。图5B和图5C示出通过继续迫使接合组件更靠近用户的手，设备110可以产生“抵靠”的感觉以模仿虚拟表面706。换句话说，当用户将他/她的手移向虚拟表面，如箭头710所示的接合组件朝向用户的手的持续移动可以与虚拟手穿透虚拟表面的级别成比例。换句话说，在手穿透虚拟对象时，继续致动展开组件114以使接合组件116抵靠着用户的手移动，会产生“抵靠”虚拟对象的感觉，诸如将重的对象推到表面上。

图8A和图8B共同示出了类似的原理可以如何应用于响应于更大和更重的虚拟对象而渲染触觉反馈。图8A示出了用户举起重的虚拟对象802(例如，虚拟盒子)的可视化800。用户的手由表示804(1)和804(2)表示。图8B示出了用户在双手上佩戴设备110(1)和110(2)。设备110(1)和110(2)可以将相应的力施加在用户的手上，从而产生对抗重力举起对象的感觉。在这种情况下，双手佩戴设备可以针对双手交互创建触觉反馈，例如举起重的对象。

此外，设备110(1)和110(2)可以模拟举起虚拟对象的重量和体积，尽管它们的外形紧凑并且靠近用户的手(例如，用户的前臂)固着。因此，紧凑的形式因素可以允许设备110在不使用时容易地存放在用户的前臂上，并且在需要/期望时几乎立即展开。还要注意，在一些实施方式中，可以调整接合组件的形状以模仿被拾取的对象的形状。例如，接合组件可以包括多个独立可控的腔室，这些腔室可以被填充以模拟形状，诸如虚拟盒子的扁平形状。在其他实施方式中，接合组件可以是可互换的，从而可以选择被配置(例如，成形)为模仿特定功能和/或完成特定任务的接合组件的版本。该方面将在下文相对于图11A至图11D更详细地被描述。

此外，单独的设备110可以调整它施加在用户手上的力以模拟柔顺的对象，诸如软球。在用户在双手上使用设备110(1)和110(2)的所示配置中，控制器可以协作地模拟保持在它们之间的对象的柔顺性。例如，设备110可以模仿用户在他们的手之间挤压大气球，并且可以模仿被添加到气球中的空气，从而将他们的手推开。类似地，这些设备可以模拟拉动场景，诸如用户用双手抓握橡皮筋并拉伸它。

下面的与图9A至图10B相关的讨论涉及利用设备110来模拟捕捉和投掷。图9A示出了虚拟球902落向用户的手的表示904并且用户定位他/她的手以捕捉虚拟球的虚拟化900。虚拟球和手(表示)之间的速度和距离由箭头906表示。

图9B示出了设备110以与虚拟球离手的距离和速度对应的时间和速度展开接合组件116。图9C示出了用户捕捉虚拟球902的后续可视化908。图9D示出了接合组件以用户预期的时间和速度如箭头910所示接触用户手掌。因此，通过将设备的接合组件快速旋转到手中并在预测的冲击时赋予脉冲功能，它产生了捕捉对象的感觉。

设备110可以响应于投掷和捕捉虚拟对象而自然地呈现触觉反馈。一个新颖的方面是设备的处理循环可以检测虚拟对象何时向手移动，并提前预测用户捕捉它的意图，以便从收起定向开始展开接合组件116以解决系统的延迟，并在用户期望对象接触时将其置于用户手中。因为该设备与前臂固着，所以该设备可以为捕捉对象创建逼真的触觉反馈。该设备可以通过在与被捕获的对象碰撞时产生“砰”的脉冲和/或经由输出设备(134，图1A)产生可听见的声音来进一步增强触觉印象。

图9C和图9D示出了在手掌朝上时设备如何通过将接合组件116推入手中来渲染重量。该设备可以使推力强度的大小与垂直轴上角度的正弦相匹配，以产生合理的效果。图10A和图10B共同示出了当手掌朝下时设备110如何施加类似的力将对象从手中拉出。

图10A示出了用户手持虚拟球902的可视化1000(例如，表示904)。图10B示出了产生由箭头1002表示的向下力的设备，该向下力由设备的展开组件114作用在接合组件116上而被产生。箭头1002可以表示虚拟球902上的预期重力。在该实施方式中，因为展开组件114具有一个自由度，所以当手掌朝下时，它可以通过将接合组件116拉离手而产生重力。

除了触摸反馈，设备110还可以模拟抓握到的对象。例如，当用户在他们的手掌中抓握接合组件116以产生由抓取的对象施加的加速或摩擦力的感觉时，该设备可以连续地致动其展开组件114。这种力反馈可以缩放为各种力，诸如重力、惯性和摩擦阻力。

设备110可以表现为腕部/前臂固着的VR/AR控制器，具有可按需枢转进出用户手的可展开触觉控制器。与现有的VR控制器相比，该设备可以在VR以及现实世界中实现徒手交互，同时在需要时充当手持控制器。当接近虚拟对象时，该设备可以使接合组件位于靠近用户手的位置。这可以允许用户抓握和/或释放与视觉场景一致的虚拟对象。这可以产生触摸、握持和释放以及捕捉和投掷虚拟对象的触觉感觉。该设备的主动枢转机构还可以渲染作用在虚拟对象上的静态和动态力，诸如惯性、重力和/或滑动摩擦。

图11A至图11D共同示出了另一设备110B。在这种情况下，接合组件116很容易被去除并替换为可能适用于特定使用案例场景的变体。在该示例中，展开组件114和接合组件116共同限定了联接器或接口1102。接合组件116可以对抗展开组件114被定位以完成联接器1102。联接器1102可以物理地和电子地联接接合组件与展开组件。用户可以互换展开组件116(例如，去除接合组件116(1)或116(2)并用不同的接合组件116(1)或116(2)替换它)。在该实施方式中，设备110B还包括用于一个或多个当前未使用的接合组件的存放机构或支架1104。该实施方式可以允许用户选择用户通常或在特定场景中更喜欢的单个接合组件，并且将其他接合组件存放在不碍事的地方并且没有丢失的风险。

图12示出了与本概念的一些实施方式一致的系统100的进一步细节。系统100可以包括一个或多个设备110、头戴式装置106、基站102和/或其他设备(诸如个人计算机、台式计算机、笔记本计算机、蜂窝电话、智能电话、个人数字助理、平板电脑、移动计算机、可穿戴设备、相机、电器、智能设备、物联网设备、车辆等)，和/或无数不断发展或尚未开发的计算设备类型中的任何一种。如上所述，这些设备中的任何一个都可以以独立的方式运行以实现给定的功能，或者可以与其他设备协同运行以实现该功能。

图12示出了可由设备110、头戴式装置106、基站102和/或其他设备采用的两个示例设备配置1202。单个设备(诸如设备110)可以采用配置1202(1)或1202(2)中的任一个，或者替代配置。

(由于附图页面上的空间限制，仅图示了每个设备配置的一个实例，而不是图示与每个设备相关的设备配置)。简而言之，设备配置1202(1)表示以操作系统(OS)为中心的配置。设备配置1202(2)表示片上系统(SOC)配置。设备配置1202(1)被组织成一个或多个应用1204、操作系统1206和硬件1208。硬件1208可以包括存储设备/存储器1210和处理器1212。其他硬件1208(诸如基座组件112、展开组件114和接合组件116)在上面被详细描述并且在此不再介绍。设备配置1202(2)被组织成共享资源1214、专用资源1216和它们之间的接口1218。

控制器142可以表现为存储在存储设备/存储器1210上并由处理器1212执行的软件。在其他情况下，控制器142可以是专用硬件或固件控制器，诸如微控制器。控制器可以接收与场景(诸如虚拟现实场景、增强现实场景、混合现实场景等)相关的信息。该信息可以包括关于虚拟对象的属性的信息(诸如对象的6自由度(6-DOF)(例如，x、y、z坐标加上滚动、俯仰和偏航))和/或其他信息，诸如各种位置、速度、加速度、质量、重量、尺寸和/或纹理等信息。控制器还可以接收有关用户身体部位的信息，诸如手指、手臂或腿等。例如，控制器可以从头戴式装置106上的朝外摄像头接收关于用户手的信息。该信息可以包括6-DOF信息(例如，x、y、z坐标加上滚动、俯仰和偏航)和/或其他信息，诸如姿势、速度、加速度等。控制器还可以从位于用户前臂和手上的设备110接收这些信息中的一些信息。控制器可以至少部分地基于该信息来预测手和虚拟对象之间的交互。然后，控制器可以基于预测直接控制接合组件(诸如接合组件上的输出设备)，和/或通过控制展开组件间接控制接合组件。这样，控制器可以使设备110使用户与虚拟对象交互以模拟与等效物理对象的交互。

如本文所用，术语“设备”、“计算机”或“计算设备”可以表示具有一定量的处理能力和/或存放能力的任何类型的设备。处理能力可以由一个或多个处理器提供，这些处理器可以执行计算机可读指令形式的数据以提供功能。数据(诸如计算机可读指令和/或用户相关数据)可以存储在存储设备(诸如设备内部或外部的存储设备)上。存储设备可以包括以下一个或多个：易失性或非易失性存储器、硬盘驱动器、闪存设备和/或光学存储设备(例如，CD、DVD等)、远程存储设备(例如，基于云的存储设备)。如本文所用，术语“计算机可读介质”可以包括信号。相反，术语“计算机可读存储介质”不包括信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括易失性存储介质(诸如RAM)、以及非易失性存储介质(诸如硬盘驱动器、光盘和闪存等)。

如上所述，设备配置1202(2)可以被认为是片上系统(SOC)类型的设计。在这种情况下，设备提供的功能可以集成在单个SOC或多个耦合的SOC上。一个或多个处理器1212可以被配置为与共享资源1214(诸如存储设备/存储器1210等)和/或一个或多个专用资源1216(诸如被配置为执行某些特定功能的硬件块)协调。因此，本文使用的术语“处理器”还可以指中央处理器(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、控制器、微控制器、处理器内核和/或其他类型的处理设备。

通常，本文描述的任何功能都可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合被实现。如本文所用，术语“组件”通常表示软件、固件、硬件、整个设备或网络，或它们的组合。例如，在软件实现的情况下，这些可以表示在处理器(例如，CPU或CPU)上被执行时执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储设备中，诸如计算机可读存储介质。组件的特征和技术与平台无关，这意味着它们可以在具有各种处理配置的各种商业计算平台上实现。

图13示出了与以上描述相关的示意图1300。示意图1300示出了控制器142(其表现为Teensy微控制器1302)如何可通信地耦合到其他组件。在这种配置中，微控制器1302与BLE收发器1304和IMU 1306通信。微控制器1302与开关132和触摸传感器电极130通信，以及从应变仪128接收力数据。微控制器1302可以经由脉宽调制(PWM)驱动器驱动VCA 136和伺服电机146，并且可以接收关于如1308所示的伺服电机位置的信息。微控制器1302还可以与与操作系统(诸如如1312所示的来自Microsoft Corp.的Windows品牌操作系统)协同操作的统一游戏引擎1310交互。

在这种情况下，伺服电机146是市售伺服电机(Hitech HS-7115TH)的修改版本。该修改可以提供对以下方面的控制：(1)扭矩和速度，(2)反向驱动能力，以及(3)实时位置反馈。为了实现这一功能，可以去除原始控制电路，并用在Teensy控制器上运行的定制驱动电子设备和软件替换。实现的PID回路可以具有基于时间的保护机制，以防止伺服电机146过载。读取电位计1308的绝对位置，前端软件关于接合组件的当前位置总是最新的——即使当电机关闭时。这有助于做出正确的动作，例如检测用户是否持有接合组件。虽然这里描述了特定的伺服电机实施方式，但也可以考虑其他伺服电机的实施方式。例如，可以采用更强的伺服电机和/或具有更快响应时间的伺服电机。

借助此功能，可以控制设备的接合组件，使其以正确的速度到达用户的手、施加正确(按比例)的力，并且可以随时关闭以实现手柄的被动旋转并防止破损。

设备的控制板可以围绕与定制I/O子板1314接口的Teensy 3.6微控制器1302被构建。该子板1314包含伺服电机驱动器和VCA PWM电路、用于检测手部运动的惯性传感器(例如，IMU 1306)、用于无线通信的BLE芯片(Nordic nrf52832)1304、以及用于处理模拟应变仪全桥输出和来自伺服电位器编码器的位置的运算放大器。设备可以利用微控制器的内置电容感测功能在主动加载模式下感测接合组件内部电极(例如，触摸传感器电极130)的导电涂层电容，以检测触摸事件。(参见图1C)。接合组件116还包含VCA 136用于呈现振动触觉反馈以及触发按钮(例如，开关132)。

一些软件实现可以使用2019版本的统一游戏引擎1310作为软件平台。该软件可以在系留设备(诸如配备ViveProVR系统的Alienware 15R3笔记本电脑)上运行。Unity游戏引擎1310可以以每帧(每秒90Hz帧)维护交互空间中所有虚拟对象的表示，以及用户头部的位置和定向以及连接到用户手掌的位置跟踪器。可以在设备110周围定义球形“触发体积”。穿透该体积的每个虚拟对象是可以被触摸的对象，因此可以将接合组件旋转到更接近手掌的角度。一旦对象到达手，可以将命令传送到微控制器1302以相应地旋转接合组件，以模拟触摸的触觉感觉。

设备110的其他实现可以是独立单元(例如，完全不受束缚)。这样的实现可以采用6-DOF内向外跟踪或完全集成集成VIVE灯塔系统等的跟踪器。

图14示出了图示与模拟对象有关的示例方法1400的流程图。在动作1402，该方法可以接收与虚拟对象有关的信息。该信息可以包括位置、速度、质量、纹理和/或尺寸，以及虚拟对象的其他信息。

在动作1404，该方法可以接收关于用户的手的信息。该信息可以包括位置、姿势和/或速度，以及用户手部的其他信息。

在动作1406，该方法可以预测用户的手是否会接合虚拟对象。例如，预测可以涉及预测手和虚拟对象在特定时间会聚在一起的接合位置。

在动作1408，该方法可以在预测的接合之前开始将可展开控制器从收起定向移向用户的手。

在动作1410，该方法可以使可展开控制器接触用户的手，以模拟虚拟对象的感觉和虚拟对象施加在用户手上的力。

在动作1412，当用户从虚拟对象脱离(例如，停止接合)时，该方法可以将可展开控制器远离用户的手移动。

因此，该方法可以提供可展开控制器，该控制器在用户手掌中动态出现和消失，从而能够在与虚拟内容的触觉反馈补充交互和与现实世界中的物理对象的徒手交互之间快速切换。这种快速切换的能力使得可展开控制器特别适用于用户可以在虚拟和物理工具使用之间频繁切换的AR场景。

上面描述了各种示例。下面描述了其他示例。一个示例包括一种设备，该设备包括：基座组件，被配置为将该设备固着到用户的非手部身体部位；接合组件116，被配置为从用户的手接收触觉输入或将触觉输出传递到用户的手；以及展开组件114，从基座组件延伸到接合组件，并被配置为将接合组件从靠近基座组件的存放定向展开到靠近用户的手的展开定向。

另一示例可以包括以上和/或以下示例中的任何一个，其中基座组件被配置为被固定到非手部身体部位，该非手部身体部位包括用户的前臂或用户的上臂。

另一示例可以包括任何以上和/或以下示例，其中接合组件被配置为从用户的手接收触觉输入并将触觉输出传递到用户的手。

另一示例可以包括任何以上和/或以下示例，其中触觉输出包括在用户的手上施加力。

另一示例可以包括任何以上和/或以下示例，其中展开组件被配置为产生从非手部身体部位到手部的力。

另一示例可以包括任何以上和/或以下示例，其中展开组件包括单轴动力铰链。

另一示例可以包括任何以上和/或以下示例，其中展开组件包括多轴动力铰链。

另一示例可以包括任何以上和/或以下示例，其中设备还包括被配置为检测用户展开姿势的传感器。

另一示例可以包括任何以上和/或以下示例，其中传感器位于接合组件和基座组件两者中。

另一示例可以包括任何以上和/或以下示例，其中用户展开姿势包括手腕翻转运动。

另一示例可以包括任何以上和/或以下示例，其中设备还包括控制器142，并且其中控制器被配置为利用虚拟现实数据作为输入数据来控制展开组件以展开或存放接合组件。

另一示例可以包括任何以上和/或以下示例，其中控制器被配置为自动使展开组件以一旋转速率和时间展开接合组件来接合用户的手，以模仿用户捕捉虚拟对象。

另一示例可以包括任何以上和/或以下示例，其中控制器被配置为自动使展开组件将接合组件推向用户的手掌，以模仿虚拟对象的速度和力。

另一示例可以包括任何以上和/或以下示例，其中控制器还被配置为当用户的手停止接合虚拟对象时自动使展开组件远离用户的手移动。

另一示例可以包括任何以上和/或以下示例，其中接合组件可去除地固定到展开组件，并且其中用户可以在接合组件和另一接合组件之间互换。

另一示例可以包括任何以上和/或以下示例，其中设备还包括用于接合组件和未固定到展开组件的另一接合组件中的任一个的存放机构。

另一示例包括一种设备，该设备包括：基座组件，被配置为将该设备固着到用户的非手部身体部分；接合组件，被配置为从用户的手接收触觉输入或将触觉输出传递到用户的手；展开组件，从基座组件延伸到接合组件，并被配置为将接合组件从靠近基座组件的存放定向展开到靠近用户手的展开定向；位置传感器，被配置为感测设备的3D位置数据；以及控制器，被配置为接收与虚拟对象相关的虚拟3D位置数据并控制展开组件以至少部分地基于设备的3D位置数据和虚拟对象的虚拟3D位置数据来引起接合组件的展开。

另一示例可以包括任何以上和/或以下示例，其中位置传感器是6自由度传感器，被配置为感测设备的x、y和z坐标以及滚动、俯仰和偏航。

另一示例包括一种设备，该设备包括：基座组件，被配置为将设备固着到用户的前臂的；接合组件，被配置为将触觉输出作为力传递到用户的手；以及展开组件，从基座组件延伸到接合组件，并被配置为将接合组件从靠近基座组件的存放定向枢转地展开到靠近用户手的展开定向，并产生抵靠用户手的力。

另一示例可以包括任何以上和/或以下示例，其中展开组件包括动力单轴铰链或动力多轴铰链。

另一示例可以包括任何以上和/或以下示例，其中展开组件被配置为沿着接近弧形的路径展开接合组件，或者其中展开组件被配置为沿着复杂路径展开接合组件。

虽然主题已经用特定于结构特征和/或方法行为的语言被描述，但所附权利要求中定义的主题并不一定限于上述特定特征或行为。更确切地说，上述具体特征和行为是作为实现权利要求的示例形式提出的，而本领域技术人员可以识别的其他特征和行为旨在权利要求的范围内。

Claims (15)

1.一种设备，包括：

基座组件，被配置为将所述设备固着到用户的非手部身体部位；

接合组件，被配置为从所述用户的手接收触觉输入，或将触觉输出传递到所述用户的所述手；以及

展开组件，从所述基座组件延伸到所述接合组件，并且被配置为将所述接合组件从靠近所述基座组件的存放定向展开到靠近所述用户的所述手的展开定向。

2.根据权利要求1所述的设备，其中所述基座组件被配置为被固定到所述非手部身体部位，所述非手部身体部位包括所述用户的前臂或所述用户的上臂。

3.根据权利要求1所述的设备，其中所述接合组件被配置为从所述用户的所述手接收触觉输入并将触觉输出传递到所述用户的所述手。

4.根据权利要求3所述的设备，其中所述触觉输出包括在所述用户的所述手上施加力。

5.根据权利要求4所述的设备，其中所述展开组件被配置为产生从所述非手部身体部位到所述手的所述力。

6.根据权利要求5所述的设备，其中所述展开组件包括单轴动力铰链。

7.根据权利要求5所述的设备，其中所述展开组件包括多轴动力铰链。

8.根据权利要求1所述的设备，其中所述设备还包括传感器，所述传感器被配置为检测用户展开姿势。

9.根据权利要求8所述的设备，其中所述传感器位于所述接合组件和所述基座组件两者中。

10.根据权利要求8所述的设备，其中所述用户展开姿势包括手腕翻转动作。

11.根据权利要求1所述的设备，其中所述设备还包括控制器，并且其中所述控制器被配置为：利用虚拟现实数据作为输入数据，来控制所述展开组件以展开或存放所述接合组件。

12.根据权利要求11所述的设备，其中所述控制器被配置为：自动地使所述展开组件以一旋转速率和时间展开所述接合组件来接合所述用户的所述手，以模仿所述用户捕捉虚拟对象。

13.根据权利要求12所述的设备，其中所述控制器被配置为：自动地使所述展开组件迫使所述接合组件朝向所述用户的所述手的手掌，以模拟所述虚拟对象的速度和力。

14.根据权利要求12所述的设备，其中所述控制器还被配置为：当所述用户的手停止接合所述虚拟对象时，自动地使所述展开组件远离所述用户的手移动。

15.一种设备，包括：

基座组件，被配置为将所述设备固着到用户的非手部身体部位；

接合组件，被配置为从所述用户的手接收触觉输入，或将触觉输出传递到所述用户的所述手；

展开组件，从所述基座组件延伸到所述接合组件，并且被配置为将所述接合组件从靠近所述基座组件的存放定向展开到靠近所述用户的所述手的展开定向；

位置传感器，被配置为感测所述设备的3D位置数据；以及

控制器，被配置为接收与虚拟对象相关的虚拟3D位置数据，并控制所述展开组件以至少部分地基于所述设备的所述3D位置数据和所述虚拟对象的所述虚拟3D位置数据，来引起所述接合组件的展开。

Images