CN110325947B - 触觉交互方法、工具和系统 - Google Patents

触觉交互方法、工具和系统 Download PDF

Info

Publication number
CN110325947B
CN110325947B CN201780087017.7A CN201780087017A CN110325947B CN 110325947 B CN110325947 B CN 110325947B CN 201780087017 A CN201780087017 A CN 201780087017A CN 110325947 B CN110325947 B CN 110325947B
Authority
CN
China
Prior art keywords
host system
transformation
application
processing unit
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087017.7A
Other languages
English (en)
Other versions
CN110325947A (zh
Inventor
保罗.特罗塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bao LuoTeluota
Original Assignee
Bao LuoTeluota
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bao LuoTeluota filed Critical Bao LuoTeluota
Publication of CN110325947A publication Critical patent/CN110325947A/zh
Application granted granted Critical
Publication of CN110325947B publication Critical patent/CN110325947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及一种用于向运行、管理和修改应用类型的主机系统传递和处理来自不可知触觉的可穿戴装置的运动输出信号的改进方法。具体地，本发明的应用特别涉及游戏、健康、仿真、人机接口、机器人、无人驾驶车辆/工具的控制等领域。

Description

触觉交互方法、工具和系统
技术领域
本发明涉及经由用于对从不可知(agnostic)触觉的可穿戴装置到主机系统的运动输出信号进行传递和处理的改进方法、在触觉工具与主机系统上运行的应用的交互的技术领域，所述主机系统运行、管理和修改所述应用，优选是虚拟现实和增强现实。具体地，本发明的应用具体涉及游戏、健康、仿真、人机接口、机器人、无人驾驶车辆/工具的控制等领域。
背景技术
本发明的目的是提供一种经由改进的处置装置和处理该处置装置登记的信号的改进方法的、用户与应用(优选地，虚拟或增强现实)交互的改进的和更加沉浸式的方法，以将来自用户的动作直观地转化为应用中的期望效果(潜在能够创建VR或AR)，而没有相对于主机系统设置处置装置的过度需求，如在许多当前已知的实施例中的情况那样。
已经开发了用于与电子应用(特别是虚拟(和增强)现实)交互的已知方法以及特别是触觉处置装置，以适应特定主机系统(例如计算机、智能电话、PlayStation、Xbox等)或某些类型应用(射击器、飞行仿真、体育等)的需要，并缺乏用于不同场合的多功能性，通常甚至缺乏允许在其他情况下使用的基本能力(通常开发人员不允许第一种游戏系统的操纵杆可用于第二种不同的游戏系统)，并且实际上阻止了这些工具的互操作性。它不仅很快成为用户为各种应用和/或系统装备的非常昂贵的努力，它也变得更加困难，因为每个装置(操纵杆、方向盘、枪等)的细节在使用上是本质不同的，并且不允许用户容易地熟悉更广泛的应用。
还制作了更通用范围的这种工具，然而这些通常需要在以下主机系统中安装单独的特定程序(插件、SDK或其他)，该主机系统需要特定更新，需要对要在主机系统上运行的每个单独应用类型的重新编程或调整(adaptations)。
两类处置装置都可以通过经由向主机系统(计算机、Xbox、PlayStation等)发送信号的传感器检测用户的运动，而允许移动对象、调整可视化、或致动(VR或AR)环境的其他部分。
此外，应该认为大多数现有技术的处置装置相对于本发明的构思的相关性是不存在的，因为现有技术的处置装置通常采取与其应用(如所述，方向盘、步枪......)相关的特定形状并且因此仅在有限数量的应用中可用，其中许多甚至实际上偏离了工具的物理现实。例如，用于游戏的步枪工具通常用作手枪、步枪、火箭筒等，甚至没有正确的形状。更进一步，操纵杆通常将被用作无数其他工具，从武器到方向盘，甚至手和手指。所有这些处置装置将需要所提及的特定编程片段，以便与运行应用的主机系统有效通信，以在应用中实现期望的动作，特别是在虚拟或增强现实中。本发明的目的是让处置装置在用户的手上致动，以便适当地传递处置适用于应用中的每种情况的正确工具的经验，这是许多当前可用工具无法保证的。
不能期望用户购买整套(arsenal)特定应用的处置装置(方向盘、转向操纵杆、手枪、步枪、其他武器、飞行操纵杆-通常再次特定于某些车辆)，但仍然希望在与应用的交互中获得最佳逼真的体验，例如虚拟或增强现实。这通过本文档中提出的发明最佳地实现，其中选择不提供具有传感器和待处置的电子器件的改进的工具，其传达由施加在所述改进的工具上的致动，而是旨在提供处置装置，其传达处置装置在“死”对象上施加的“致动”，通常所述处置装置被成形为拟合围绕用户的身体部位，通常是用户的一个或多个手(和/或手指)和/或手臂。这进一步实现了简化用户只需很少且简单的动作、就能够以非常高的精度向主机系统提供控制信号的方式，这与不太理想的处置装置(例如用于射击应用的操纵杆)相反。这将需要许多和/或复杂的操纵，以便向主机系统提供期望的信号。
要沿着诸如PlayStation等电子处理系统使用的许多已知“交互工具”的最后一个重要缺点是，这些经常需要额外的基础设施，例如相机、传感器、布线以准确地跟踪用户的移动。这不仅是昂贵的投资，而且限制了交互工具的适用性和移动性(需要足够的自由空间，需要在新位置使用交互工具时、重新定位和可能安装这些基础设施元素，并且由于更多参数将包含在计算中、所以通常会使得数据的处理更困难)。
现有技术中仍然需要一种改进的处置装置，其成形为适合于用户的身体部位，能该处置装置够检测用户身体部位的动作和操纵，特别是大多数情况下的手和手指，以及将这些操纵和动作作为信号传送到运行(VR或AR)应用的主机系统，该主机系统适于将来自本发明的处置装置的信号自动转换为典型用于正在运行的主机系统类型和(VR或AR)应用类型的信号。通常，本发明旨在提供一种用于运行、管理和修改(VR或AR)应用环境的处置装置和主机系统之间的简化交互方法。
申请人注意到在该领域中进行了一些改进，例如在诸如US 2016/054797A1、US2016/279514A1和US 2016/162022 A1的文档中进行了讨论，尽管发现其中提供的解决方案缺乏。本申请中公开的发明意欲进一步改进所提及的文档、以及本领域中存在的任何其他文档。
本发明旨在解决至少一些上述问题。
发明内容
本发明提供了一种用于与运行一类应用的主机系统进行不可知交互的改进方法(优选地与主机系统产生的与虚拟现实(VR)或增强现实(AR)的不可知交互，由此所述主机系统适合于运行一类VR和/或AR应用)，包括以下步骤：
a.经由一个或多个触觉装置，优选地一个或多个触觉手套，检测用户的一个或多个手部操纵，并且向所述一个或多个触觉装置上的处理单元提供与手部操纵相关联的一个或多个运动输出信号；
b.向所述处理单元提供系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于将来自一个或多个触觉装置的运动输出信号变换为对于所述特定类型的主机系统可识别的一个或多个关联的控制信号，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、两个或更多特定家庭视频游戏控制台、智能电话、机器人、无人机、智能电视、智能眼镜；
c.在所述一个或多个触觉装置上的处理单元中处理所提供的运动输出信号；
d.优选地经由无线通信标准，更优选地经由蓝牙，向该主机系统传送所处理的运动输出信号；
e.根据运行应用的主机系统所特有的系统转换配置文件，由该主机系统将所述运动输出信号转换为一个或多个关联的控制信号；和
f.由该主机系统在所述应用中处理所述关联的控制信号，并根据至少所述控制信号来修改其中的特征。优选地，该应用是VR和/或AR应用，并且该步骤包括根据控制信号修改虚拟现实或增强现实的特征。
在替代实施例中(再次，优选地，利用提供与主机系统产生的虚拟现实(VR)或增强现实(AR)的不可知交互的方法，由此所述主机系统适合于运行一类的VR和/或AR应用，并且，由此处理控制信号的步骤f优选地包括根据控制信号修改虚拟现实或增强现实的特征)，该方法包括以下步骤：
a.经由一个或多个触觉装置，优选地一个或多个触觉手套，检测用户的一个或多个手部操纵，并且向所述一个或多个触觉装置上的处理单元提供与手部操纵相关联的一个或多个运动输出信号；
b.向所述处理单元提供系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于将来自一个或多个触觉装置的运动输出信号变换为对于所述特定类型的主机系统可识别的一个或多个关联的控制信号，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、两个或更多特定家庭视频游戏控制台、智能电话、机器人、无人机、智能电视、智能眼镜等；
c.在所述一个或多个触觉装置上的处理单元中处理所提供的运动输出信号；
d.根据运行应用的主机系统所特有的系统转换配置文件，由该处理单元将所述运动输出信号转换为一个或多个关联的控制信号；
e.优选地经由无线通信标准，更优选地经由蓝牙，向该主机系统传送所述一个或多个关联的控制信号；和
f.由该主机系统在所述应用中处理所述关联的控制信号，并根据至少所述控制信号来修改其中的特征。
对于这里使用的术语“触觉装置”，该文档涉及诸如手套的可穿戴物品，优选地适合佩戴在用户的手和/或手指上，其提供有多个传感器以检测宽阵列的手部操纵，将进一步讨论。重要的是要注意触觉装置不是其中处置装置是要由用户处置的工具(通常是手动的)的、现有技术文档中所感知的处置装置，而是充当用户(或其身体部位，通常是一只手)。
对于这里使用的术语“主机系统”，该文档涉及能够运行应用(程序、游戏等)、并且优选地能够产生VR或AR环境并且可视化所述环境(可能经由可以在主机系统中构建、或者可以插入-无线和/或有线的一种或多种显示装置)的无数可能的装置。该主机系统可以是通用计算机、膝上型计算机、平板电脑、智能电话、游戏控制台(PlayStation、Xbox、Wii等)、智能电视等或专用AR和/或VR系统。这些可以例如由VR/AR耳机或眼镜补充。注意，智能电话可以是主机系统，而运行的应用可以例如是接收电话呼叫和管理所述电话呼叫、以及诸如运行智能电话的可视显示菜单等。
对于本文所使用的术语“手动操纵”，该文档涉及手和/或其部分的许多绝对和/或相对移动或动作。
这里使用的术语“应用类型”是指应用所属的一般区域或领域。通常，对于游戏，如前所述，这可以是游戏类型，例如射击游戏、RPG、体育游戏(具有用于不同运动的几种子类型)、赛车(再次具有几种可能的子类型)、飞行等。注意许多所谓“仿真器应用”的类型也属于游戏类别。应注意，在传统处置装置中，处置装置是待处置的工具，处置装置取决于应用类型而非常不同，而本发明通过实际上充当用户(或其他身体部位，取决于本发明的处置装置的特定实施例)的手(或其阴影版本)，而熟练地解决了这个问题。
术语“手套”或“触觉手套”还可以指用于手的外骨骼。这同样适用于本发明的用于其他身体部位的触觉装置，这些可以类似地提供为所述身体部位的一类外骨骼。
在第二方面，本发明提供了一种电子系统实现的方法，用于在适合于运行(虚拟现实(VR)和/或增强现实(AR))应用、并且适合于创建交互式(虚拟现实(VR)和/或增强现实(AR))环境的主机系统中预处理运动输出信号，所述运动输出信号由主机系统从一个或多个触觉装置接收，优选地是如文档中所述的一个或多个触觉装置，所述方法包括主机系统根据来自系统变换库的预定系统转换配置文件将所述接收的运动输出信号转换为一个或多个关联的控制信号，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，所述预定系统转换配置文件是运行所述应用的主机系统的类型所特有的，并且优选地也是运行所述应用的主机系统上运行的应用的类型所特有的。
在另一方面，本发明提供了一种用于创建、管理和与(虚拟现实(VR)和/或增强现实(AR))应用环境交互的电子系统，包括：
a.电子主机系统，配置为用于产生(VR和/或AR)环境，所述主机系统适合于运行一类(VR和/或AR)应用，并用于根据接收的控制信息修改产生的(VR和/或AR)环境；
b.适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
a.多个传感器，被配置用于检测用户手部的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
b.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述主机系统具有程序指令，以运行该文档中描述的电子系统实现的方法。
在另一方面，本发明提供了一种电子系统，用于与运行一类应用的电子主机系统交互，并用于根据接收的控制信号修改应用，所述用于交互的电子系统包括适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
i.多个传感器，被配置用于检测用户的手的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
ii.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，所述处理单元被配置为识别主机系统的类型，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述处理单元具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的接收的运动输出信号向对于所述特定类型的主机系统可识别的一个或多个关联的控制信号的变换，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、机器人、无人机、智能电视、智能眼镜等。所述系统变换库通常存储在处理单元的存储元件中、或触觉装置上并且所述处理单元可访问。
优选地，前述方法具体提供了一种电子系统，用于与电子主机系统产生的虚拟现实(VR)和/或增强现实(AR)交互，所述主机系统适合于运行一类VR和/或AR应用，并且适合于根据接收的控制信号修改产生的VR和/或AR。
或者，本发明提供本发明提供一种用于运行、管理一类应用并与一类应用交互的电子系统，优选地产生虚拟现实(VR)或增强现实(AR)的应用，该电子系统包括：
a.电子主机系统，被配置用于运行该应用，并且用于根据接收到的控制信号修改应用；
b.适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
a.多个传感器，被配置用于检测用户手部的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
b.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述主机系统具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的运动输出信号向对于所述特定类型的主机系统可识别的一个或多个关联的控制信号的变换，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、机器人、无人机、智能电视、智能眼镜等。另外，所述系统变换库可以通过应用变换库针对两个方面进行补充，或者与其组合。
优选地，电子主机系统被配置用于产生VR和/或AR，所述主机系统适合于运行一种类型的VR和/或AR应用，并且用于根据接收的控制信号修改产生的VR和/或AR。
附图说明
图1示出了根据本发明的触觉装置、和用于运行一类交互式应用(并且可选地创建和管理VR或AR环境)的电子系统的示意图。
具体实施方式
本发明涉及一种改进的方法和触觉装置，用于与运行一类(交互式)应用，优选VR和/或AR应用，的主机系统进行不可知的交互。
除非另外定义，否则用于公开本发明的所有术语，包括技术和科学术语，具有本发明所属领域的普通技术人员通常理解的含义。通过进一步的引导，包括术语定义以更好地理解本发明的教义。
如本文所用，以下术语具有以下含义：
除非上下文另有明确规定，否则本文所用的“一”、“一个”和“该”指的是单数和复数指代物。举例来说，“隔室”是指一个或多于一个隔室。
如本文所用，“包含”、“包含”和“包含”和“由...组成”与“包括”、“包括”、“包括”或“含有”、“含有”、“含有”同义，并且是包含性的或开放式术语，其指定存在后面跟随的内容，例如组件，并且不排除或消除本领域已知的或其中公开的附加的、未列举的组件、特征、元素、构件、步骤的存在。
术语“应用”通常是指能够在电子系统上运行的程序。通常，应用创建其中用户能执行许多任务和/或发布许多命令的环境。
术语“不可知交互”是指主机系统和通常独立于主机系统的触觉装置之间的交互，因此不需要下载额外的插件或其他软件，以便能够正确地通信。后者是大多数计算机系统中与非品牌特定(复杂)电子装置(例如触觉手套)耦合时的情况，这是本发明希望解决的问题之一。
术语“纳米压缩机(nano-compressor)”是指适用于用气体(空气)使气室充气/放气的小规模压缩机。小规模允许多个可以安装在触觉手套上而不会引起用户的显著不适，也不会影响用户的动作。
由端点阐述的数值范围包括该范围内包含的所有数字和分数、以及所阐述的端点。
在第一方面，本发明提供了一种用于与运行一类应用的主机系统进行不可知交互的改进方法，优选地是用于与由主机系统产生的虚拟现实(VR)或增强现实(AR)进行不可知交互的改进方法，所述主机系统适合于运行一类VR和/或AR应用，如先前在第一和替换实施例中所述。
如前所述，现有技术装置通常是系统特定的并且拒绝用户与其他系统的互操作性，或者需要由每个处置装置在每个系统上运行的单独的特定软件。申请人通过提供更通用的处置装置已克服了这一点，该处置装置首先打算检测手部操纵，而不是处置装置操纵。这将允许用户打算在(VR或AR)应用中传达的动作的更加真实的表示，并且还可以比在典型的操纵杆(或甚至键盘)等上可能的动作更复杂和详细。这些更传统的控制器仅在能操纵其的方式上具有有限数量的多样性(variety)，并因此具有可传送的可能信号/动作的更有限的数量(因此为了允许用户在(VR或AR)应用环境中采取更多动作，信号的组合将变得必要，使得交互更复杂且更不自然)。此外，它允许用户处理真实的或逼真的(有形的)对象(例如高尔夫球杆、步枪......)以更好地指示他们的实际重量、维度和感觉，以提供更真实的体验。
通过使用可穿戴触觉装置，为了更好地捕获用户的真实、期望的移动和操作(manoeuvers)，这允许更宽范围的运动输出信号，这可能导致将这些信号“转换”到主机系统中的问题，以便在(VR或AR)应用环境中创建期望的效果。在与本发明的触觉装置类似的少数现有技术系统中，这通常通过限制这种可穿戴触觉装置的应用多功能性来补救(实际上，仅为了单个目的而创建它们)，而本发明的目的是不打算限于其在某些应用中的使用，而是提供可穿戴触觉装置的普遍适用性。诸如控制器(Wii或类似物)之类的现有技术装置仅具有其可检测的有限范围的运动和细微差别(nuances)，尽管取决于所运行的特定应用，存在需要检测的可能运动和细微差别的宽范围。例如，高尔夫游戏将使用户以非常特定的方式保持和操纵控制器，而直升机仿真游戏将使用户以完全不同的方式操纵控制器，并且将需要检测非常不同的动作。通过跟踪和检测用户的确切运动、压力等，手边的本发明能够正确地捕获这些细微差别。
这还通过在可能的实施例中的方法来实现，该实施例与包括多个预定义的应用特定的“转换配置文件”或应用转换配置文件的应用变换库一起工作，其意图将触觉装置登记的运动输出信号处理为主机系统正期望接收的控制信号，或者换句话说，允许触觉装置通过相应地转换触觉装置的运动输出信号，来仿真主机系统本地支持的装置。
最常用的应用类型是有限的(射击游戏、飞行仿真游戏、赛车、医疗干预、运动等)，尽管在所有这些类别中具有多种变体(枪支/步枪的类型、飞机/直升机(chopper)的类型/......、汽车类型/......等等)。如上所述，通过选择提供形状类似于身体部位(通常是手)的触觉装置，这些不同变体不再存在问题，因为它们将向主机系统提供相同或相似的信号。然后，通过提供适合于特定应用的多个预定义转换配置文件来解决应用类型的差异，以确保将正确的控制信号提供给主机系统以用于(VR或AR)应用。应注意，如果没有提供非常具体的应用类型，用户可以容易地设置转换配置文件，并保存以供将来使用。该配置文件可以本地保存在触觉装置和/或主机系统上。
这同样适用于可能的主机系统，并且申请人通过为这些主机系统提供转换配置文件来方便地实现了这一点。在实践中，许多流行的家庭视频游戏控制台存在但彼此不兼容，尤其是彼此的控制器。申请人通过提供具有针对不同主机系统的许多特定转换配置文件、系统转换配置文件的系统变换库，来方便地解决这个问题。最方便的是，这些可以被设置用于大多数已知的控制台、以及其他(游戏)处理系统(智能电话、计算机、膝上型电脑、专用AR或VR系统等)。同样，“未知”主机系统的特定系统转换配置文件可以由用户设置并保存在触觉装置和/或主机系统本身上。
在根据本发明的方法的第一实施例中的申请人在主机系统上提供系统变换库(优选地作为可下载的可执行文件，例如可以直接从触觉装置下载)，其包括多个预定义的系统转换配置文件，所述配置文件被设计以将来自触觉装置的运动输出信号正确地“转换”或变换为通常由主机系统接收的控制信号，以定义期望的动作。通常，存在许多流行和广泛的游戏控制台、以及其他主机系统(智能电话、专用的VR/AR处理器、pc、膝上型电脑......)，并且对于这些系统，可以设置预定义的系统转换配置文件，而对于更罕见的系统，这可以由用户定义。在主机系统的识别时，选择正确的系统转换配置文件并在变换时使用。或者，在第二实施例中，系统变换库被提供给触觉装置，该触觉装置根据上述原理执行转换。
将处理后的运动输出信号从触觉装置的(处理单元)传送到主机系统通过无线通信进行，尽管有线通信也是可能的。优选地，经由蓝牙(蓝牙低功耗-BLE)来传递信号，然而，可以使用Wi-Fi或其他无线通信标准(蓝牙的替代或补充)，例如ZigBee等，因为这允许快速、可靠的连接，无需在交互过程中处理笨重的电线，这可能会妨碍浸入式的体验。这种通信可以通过在处理单元中实现的收发器微芯片(或具有类似功能的组件)来实现。
在该文档中，触觉装置的形状通常被称为可穿戴手套(中的一个或多个)，然而，绝不应将其视为限于此。例如，它还可以采用头罩、头部装备(gear)、眼镜、脚部装备、身体装备及其组合的形状。例如，可穿戴手套与另外的手臂装备(例如佩戴在肱二头肌上、甚至肘部上)的组合可能是具体定位特别感兴趣的，以检测手与手臂的相对位置、手臂弯曲的角度、它一般是如何被瞄准的等等。此外，需要注意的是，触觉装置通常可以被称为手套，但是这决不要求装置完全成形为标准手套。它通常也可以成形为类似和/或适合手状结构，例如与手接触并(例如通过环)与其连接的柔性表面。然而，最优选地，处置装置被配置为跟随用户的手部的运动。因此，处置装置完全或部分地由柔性材料制成。另外，处置装置包括与手掌接触的其自身的基部、和意欲与手的手指接触的多个外围部分。
应该考虑触觉装置可能具有多个(空间分离和/或可拆卸的)从属装置或从装置，它们都连接到第一“中央”触觉装置。这些从属装置可以包括一个或多个传感器(如所讨论的)，并将由从属装置上的传感器检测到的运动输出信号传送到中央触觉装置。这些从属装置可以例如是第二手套、指垫、护目镜、头盔、麦克风、或用户可以穿戴的其他衣服或装备。从属装置和中央触觉装置的配置对应于级联传感器系统，其中没有经由从属装置与主机系统的直接通信。
在进一步的改进中，触觉装置的部分可以适于允许与电容屏的交互，例如允许智能电话、平板电脑等的操作。如果触觉装置的形状像手套，则这种电容使能部分通常将是在一个或多个手指的尖端。
一般而言，触觉可穿戴装置将包括支撑结构，优选地是柔性的，以允许该装置实际上佩戴在身体部位上。在该文档中，最关注的是针对要戴在手上的触觉装置，但是该推理适用于任何身体部位，并且本发明的构思不应仅限于手部。支撑结构即手套具有多个传感器。所述传感器可以包括多个弯曲传感器，以检测用户身体部位的弯曲。在这种情况下，这些弯曲传感器将纵向延伸，并跨越用户的手指的至少一部分，以检测其弯曲。更一般地说，弯曲传感器将沿着触觉装置的外围部分延伸，远离其中心部分延伸。尽管如此，弯曲传感器也可以存在于触觉装置的中心部分中。
此外，可以提供多个压力传感器以检测压在表面上的、触觉装置的一部分上的压力。通常，这些压力传感器将至少提供在触觉装置的外围端部(指尖)上，并且优选地另外提供在多个其他(中间)位置上。例如，提供这些的兴趣点在从手掌的掌骨(metacarpals)到手掌侧的指骨(phalanges)的过渡点上。
第三种传感器是所谓的触觉传感器，其通常沿着触觉装置的外围部分纵向延伸，远离其中心部分延伸，尽管传感器也可以优选地存在于触觉装置的中心部分中。这些触觉传感器被设计成给予抵抗感，并且可选地给予压力(以指示用户正在触摸某物)。通常，这些传感器包括可充气元件，以使用户体验或多或少的阻力。注意，这些传感器通常放置在支撑结构的侧面上，该侧面预期与不是用户自身的对象或表面接触，而弯曲传感器通常放置在相对侧。
另外，可以存在其他类型的传感器，例如陀螺仪，以确定触觉装置相对于固定参考的位置和取向。为此目的，陀螺仪可以是“姿态和航向参考系统”(AHRS)，通常包括三个轴上的传感器，以提供关于装置的姿态信息(其中包括滚动、俯仰和偏航)。轴上的传感器可包括陀螺仪、加速度计和磁力计。或者，也可以采用惯性测量单元(IMU)，然后在不同的部件或装置中处理数据。此外可以包括气压计。
温度传感器也可以包括在触觉装置中，适于登记温度变化，以便通过一个或多个其他传感器(例如来自磁力计)来修改测量。
而且，可以存在所谓的航位推算传感器。
触觉装置可以包括温度反馈致动器，其可以取决于发送到触觉装置的反馈信号来改变它们的温度，并且致动器可以将温度传递给用户。这对于真实的仿真应用(生存仿真器、战斗仿真器、飞行仿真器等)特别有用，其中温度是非常真实的参数，其可以极大地影响用户的行为和性能。优选地，温度反馈致动器可以设置为某个最小和最大温度用于保护，并且可以设置为将温度改变到较小度(例如相对于基础温度，对于仿真温度每增加或减少的一度，反馈温度增加或减少该增加的分数，优选地向上和向下直到某一温度限值。应注意，这些致动器还可用于通过暴露于高温或低温，来向用户给予疼痛感/引起疼痛(同样，通过适当的安全预防措施)。
触觉装置可以包括振动反馈致动器，其可以产生振动。振动反馈致动器靠近触觉装置的表面，在佩戴或挥动触觉装置时，该表面接触用户以便用户感觉到振动。
触觉装置可以包括触摸感觉反馈致动器，其能够在佩戴该装置的用户上引起表面触摸感觉。实施的可能性可以是，当感知材料的表面(光滑、粗糙、锯齿状、柔软、坚硬、凝胶状等)时，通过(功能性)电刺激用户的指尖受体(或当然，身体的其他部位上的受体)，以仿真向外围神经系统发送的实际电信号。电刺激可以例如引起低水平的肌肉痉挛，其创建有形/触觉感觉。注意，表面不一定需要是实心的，而是如所述可以是凝胶状、弹性等，导致用户通常感觉到的变化的阻力。当用户的手/手指(或其他身体部位)移动时，通过调节电刺激的强度，可以适当地仿真这种变化的阻力。取决于期望的反馈类型，电刺激的强度和持续时间可以变化。电刺激可以是功能性电刺激(FES)、经皮电神经刺激(TENS)和/或神经肌肉电刺激(NMES)。在可能的添加中，还可以存在温度反馈致动器，其使用电信号来向用户给予热、冷和通常温度变化的感觉。这进一步增强了与用户的表面接触的真实感觉。
触觉装置可以包括疼痛反馈致动器，其能够引起佩戴该装置的用户的疼痛。实施的可能性可以是通过用户的疼痛受体的电刺激(电击)或通过加热。这些可能性允许应用在某些应用中(例如在战斗仿真中)给予更真实的感觉。
应注意，并非所有类型的传感器都必须存在于本发明的触觉装置上。可以仅具有弯曲传感器，或仅压力传感器或仅触觉传感器，或压力和弯曲传感器、或压力和触觉传感器、或弯曲和触觉传感器的组合，或全部三种，可能补充有一个或多个讨论的其他选项。
如前所述，触觉装置包括具有CPU或CPU能力的处理单元。所述处理单元可操作地连接到所提到的多个传感器，以便从传感器获得测量和运动输出信号。优选地，该连接是有线的(电连线)，尽管无线连接是可能的，尤其是应该使用多个触觉装置，其与单个中央处理单元通信。处理单元被配置为在必要时处理从传感器获得的运动输出信号(可以取决于主机系统要求)，并且优选地对来自传感器的该数据应用误差估计和校正。在将数据转发到主机系统之前，进一步处理也是可能的，例如，压缩和/或加密，其中它被提供到特定程序或软件片段，所述程序或软件片段被配置为将接收到的运动输出信号进一步处理为产自于主机系统的控制信号。一旦完成该转换步骤，就向主机系统提供控制信号，以在正在运行的(VR或AR)应用中处理，从而通常修改所产生的(VR或AR)环境的特征，或者想方设法改变它。可选地，然后可以将反馈信号提供回触觉装置，从而提供给用户。
如前所述，不同的主机系统可以具有不同的“预期”控制信号，以将一个或多个特定动作传达给主机系统。因此，申请人在其提出的方法中应用来自系统变换库的系统转换配置文件，该转换配置文件特定于运行(VR或AR)应用的主机系统的类型。可以预编程用于“标准”系统的各种配置文件，从而容易地允许申请人提出的方法的即插即用可操作性，从而为主机系统选择正确的转换配置文件。换句话说，如果触觉装置被主机系统“加载”(由主机系统识别，由用户接受)，则该方法的特定程序将识别主机系统的类型，例如PlayStation，并且将来自触觉装置的处理单元的接收到的运动输出信号变换为PlayStation主机系统期望的正确控制信号。
还应理解，处理单元使运动输出适应于用于与主机系统通信的合适(接口)标准。这可能是蓝牙、Zigbee、WiFi、有线(USB)或其他标准。
在可能的实施例中，处理单元还包括一个或多个存储元件，如果没有与主机系统的连接，则该存储元件(临时)存储最近的运动输出信号(或者如果已经处理了运动输出信号，则关联的控制信号)。一旦稍后建立了连接，则可以将存储的信号传递到主机系统，然后主机系统可以将接收的信号转换成动作或移动。例如，触觉装置可以临时存储移动信息(加速度、倾斜等)。一旦(重新)建立连接，主机系统就可以重新创建在没有连接时表演(actedout)的路径/移动。这种重新创建可以通过使用航位推算处理来完成。存储元件存储关于相对离散运动的信息(在时间的不连续部分上)，然后可以用于通过组合它们来重构整个移动。
在对根据本发明第一方面的方法的第一实施例的改进中，该方法还包括向所述主机系统提供应用变换库的步骤，所述应用变换库包括多个应用转换配置文件，每个应用转换配置文件是特定类型的应用所特有的，并且每个应用转换配置文件适于映射来自一个或多个触觉装置的接收的运动输出信号向适合于所述特定类型的应用的一个或多个关联的控制信号的变换，优选地由此所述应用变换库包括以下类型的应用中的至少两个或更多所特有的应用转换配置文件：射击应用、飞行仿真器应用、驾驶或赛车应用、远程航行应用、智能装置交互；由此根据运行应用的主机系统所特有的系统转换配置文件、将所述运动输出信号转换为一个或多个关联的控制信号的步骤还根据正在主机系统上运行的应用的类型所特有的应用转换配置文件来执行。
在对根据本发明第一方面的方法的第二(替代)实施例的改进中，该方法还提供了向所述处理单元提供应用变换库的步骤，所述应用变换库包括多个应用转换配置文件，每个应用转换配置文件是特定类型的应用所特有的，并且每个应用转换配置文件被配置用于映射来自一个或多个触觉装置的接收的运动输出信号向适合于所述特定类型的应用的一个或多个关联的控制信号的变换，优选地由此所述应用变换库包括以下类型的应用中的至少两个或更多所特有的应用转换配置文件：射击应用、飞行仿真器应用、驾驶或赛车应用、远程航行应用、智能装置交互；由此根据运行应用的主机系统所特有的系统转换配置文件、将所述运动输出信号转换为一个或多个关联的控制信号的步骤还根据正在主机系统上运行的应用的类型所特有的应用转换配置文件来执行。
在另一个优选实施例中，该方法包括用户从应用变换库手动确定要用于转换运动输出信号的应用转换配置文件的步骤，此外允许用户创建用于在主机系统上运行的应用的类型的新应用转换配置文件，由此所述新应用转换配置文件优选地存储在触觉装置的处理单元上和/或主机系统上。
在第一方面的优选实施例中，该方法包括由处理单元自动确定主机系统的类型的步骤。通过自动确定主机系统的类型(例如，从主机系统的常见和/或更具体类型的范围中，如PlayStation、Wii、Xbox、PC、智能电话-可能还有不同的子类型-、智能电视等)，该方法为用户(以及更一般地，用户正采用的触觉装置)提供增强的即插即用能力。因此，不再需要用户执行精细设置，或者必须选择“正确”的主机系统(更重要的是，即使并非所有类型都与上面列出的类型一样明显，特别是在处理高度专业化的主机系统时，例如医疗应用、专业飞行仿真器等)。在越来越多智能电话、游戏控制台和类似电子媒体行业的制造商已开始开发单系统控制器、操纵杆、触觉装置等的情况下，这具有双重作用，既由于这些装置的成本过高而将用户排除在某些系统/应用之外，其次也要求用户为每个新装置单独开发“感觉”和充足性，而不是变得非常精通单个工具，这是本发明的目的。
在第一方面的优选实施例中，该方法包括由处理单元自动确定主机系统的类型的步骤，并且在不能确定主机系统的类型的情况下，允许用户手动确定主机系统的类型和/或提示用户对于未确定的主机系统创建新的系统转换配置文件，由此所述新的系统转换配置文件优选地存储在触觉装置的处理单元上和/或主机系统上。替换地或者另外，将新的系统变换库本地存储在主机系统上。类似地，用户能设置用于应用变换库的新的应用转换配置文件，用于未知类型的应用。
同样，通过自动确定主机系统的类型(例如，从主机系统的常见和/或更具体类型的范围中，如PlayStation、Wii、Xbox、PC、智能电话-可能还有不同的子类型-、智能电视等)，该方法为用户(以及更一般地，用户正采用的触觉装置)提供增强的即插即用能力。因此，不再需要用户执行精细设置，或者必须选择“正确”的主机系统(更重要的是，即使并非所有类型都与上面列出的类型一样明显，特别是在处理高度专业化的主机系统时，例如医疗应用、专业飞行仿真器等)。
自动确定主机系统类型的步骤可以通过多种方法实现，其中一些方法详述如下：
第一种方法包括在主机系统和处理单元之间的通信协议中的所谓的“握手”操作。处理单元将请求主机系统的标识(任何类型的系统代码以标识主机系统)，处理单元然后将其与其存储器中的已知标识进行比较。该标识例如可以由咨询主机系统的库的处理单元(本领域中的包括这样的库的任何主机系统)获得，并且通过分析库中的(一些)数据，然后可以确定主机系统的类型。应注意，这样的过程意味着丝毫不需要任何动作或修改，来将任何现有的主机系统集成到本发明的方法中。或者，可以修改主机系统以根据处理单元的请求自动提供标识。通常，处理单元将具有大多数常用系统的标识列表。鉴于市场上的“玩家”数量有限(对于控制台而言，这样的列表可能例如包括索尼、微软、任天堂以及一些较小的玩家，这些列表可以进一步细分为玩家的特定主机系统；对于PC和膝上型电脑、智能电话和平板电脑、以及其他类型的主机系统，可能很容易制作类似的列表；当然，进入该领域的新制造商和新技术可以容易地添加到此列表中)，此列表不会过大，便于标识。要注意的是，如果新系统或甚至新的供应商进入市场，例如通过在连接到互联网时自动或手动下载到处理单元上的补丁，可以容易地更新这样的列表。
第二种方法是将软件和/或硬件集成到主机系统中，主机系统可以直接与处理单元通信。所述软件片段和/或硬件专门适于主机系统，因此可以与处理单元共享细节，允许容易地标识主机系统。
第三种方法是“试错”。处理单元开始同步处理，其中“随机”命令信号被传递到主机系统。优选地，已知所传递的命令信号引起来自一个或多个“已知”类型的主机系统的响应。基于所述响应，然后确定主机系统的类型。这可以在单次交换之后确定，或者在几次迭代之后确定，这取决于确定主机系统类型的速度。优选地，命令信号以与主机系统的普遍性相匹配的顺序发送，因为这将统计地最小化用于确定类型的识别时间。或者，命令信号以与最后识别的主机系统相匹配的顺序发送。进一步构建该方案，可以基于已经对于特定处理单元识别出主机系统的每种类型的频率、或者甚至是这些方案中的两种或更多种的混合(例如，基于使用频率和上次使用的主机系统)，按顺序发送命令信号。应注意，在确定主机系统的类型之后，仍然可以向主机系统发送确认信号，以确保该确定是正确的。
在优选实施例中，触觉装置因此是适于佩戴在用户手上的触觉手套，包括传感器，至少适于检测后续手部操纵，并且优选地，所述后续手部操纵的强度和/或速度和/或加速度：弯曲手部的一个或多个手指、相对于手部的一个或多个其他手指相对移动和/或旋转手部的一个或多个手指、由一个或多个手指的一部分在表面上施加压力、由手部的一部分表面上施加压力、手部相对于主机系统的位移、手部相对于主机系统的旋转；并且其中向该处理单元提供所述后续手部操纵，优选地所述强度和/或速度，作为关联的运动输出信号。先前已经讨论了适于检测所述移动的可能传感器的列表。
注意，当提及诸如“手”或“手指”的身体部位时，应该理解该装置实际上检测与所述身体部位有关的、施加在装置的部分上的操纵。
在优选实施例中，所述处理单元是智能电话或电子装置，或者包括在智能电话或电子装置中，优选地适合于可操作地插入虚拟现实耳机中。更具体地，所述智能电话或电子装置包括用于确定用户的空间位移的一个或多个传感器：陀螺仪、航位推算传感器、磁力计和/或加速度计；所述方法包括以下步骤：处理来自所述一个或多个传感器的位移信号用于确定空间位移；基于到主机系统的所述位移信号，向主机系统提供附加和/或替代信号；并且优选地通过由主机系统根据至少附加和/或替代的位移信号修改虚拟现实或增强现实，来进一步修改该应用(环境)的特征。
鉴于当今世界中无处不在的智能电话，所提出的方法可以特别适用于此。另外，该方法可以利用已经存在于智能电话本身中的多个传感器，因此不仅依赖于触觉装置的传感器。这可以例如用作来自触觉装置的某些信号的校正，或者可以传达附加数据(例如，用户的头部的取向-用户的视线方向-当与耳机一起使用时)。然而，智能电话的传感器尤其可以用于检测用户的空间位移。
在优选实施例中，触觉手套适于确定所述后续手部操纵的强度，包括校准与所述手部的一个或多个手指的弯曲的强度、以及由手部的一个或多个手指的一部分施加的压力的强度相关联的至少运动输出信号的步骤。通过让用户校准强度设置用于触觉装置的测量，他可以例如通过设置激活阈值，进一步个性化触觉装置以满足他自己的需要、或者特定应用的那些。可以在设置时提示该校准选项，例如，作为是或否问题。如果选择的话，用户可以向弯曲、推动、拉动和/或更多动作的某些强度给予更具体的含义，以在应用中使用。
在优选实施例中，所述一个或多个触觉装置包括用于在所述用户的身体部位上施加压力和/或力的所述触觉装置上的多个可逆地可充气的气室、以及用于对所述气室进行充气和放气的多个纳米压缩机，所述方法包括基于所述修改的特征将一个或多个反馈信号传送到所述一个或多个触觉装置的处理单元的步骤，由此所述反馈信号通过一个或多个纳米压缩机对所述多个气室中的一个或多个进行充气和/或放气来致动。
在优选实施例中，所述关联的控制信号适于复制主机系统的预期输入信号。
在优选实施例中，在所述一个或多个触觉装置上的所述处理单元中处理所提供的运动输出信号的步骤包括：对所述运动输出信号应用卡尔曼滤波算法，优选地，线性卡尔曼滤波算法。然而，也可以使用除卡尔曼滤波之外的其他更一般类型的滤波器。
通过应用滤波器，可能降低噪声水平，并保证更好、更可靠的结果。卡尔曼算法由两个典型阶段组成：第一阶段是系统状态的预测，而第二阶段包括更新根据接收的最后测量进行的预测。该算法实时递归运行，仅跟踪先前状态和最后测量。卡尔曼滤波器有多种版本，每种版本都可以根据其具体使用情况产生更好的结果，其中最常见的是：
-线性卡尔曼：归一化的传感器数据和参考矢量被馈入卡尔曼滤波器，卡尔曼滤波器使用统计技术将数据最佳地组合为最终的取向读数。以最低的性能提供最高精度的取向；
-交替卡尔曼滤波器：使用与以前相同的卡尔曼滤波器，但跳过每个其他更新步骤。比卡尔曼滤波器更不精确，但速度更快。
-互补滤波器：融合低通滤波加速度计/罗盘数据和高通滤波陀螺仪数据，以提供取向估计。比任何卡尔曼滤波技术更不精确，但提供了显著更高的性能。
-四元数梯度下降滤波器：利用梯度下降技术来避免基于卡尔曼的滤波器的高计算开销。提供高性能和高精度。
优选地，选择线性卡尔曼滤波器，并将其直接应用于触觉装置的处理单元(以及如果将使用不同的滤波算法)。然后，所述滤波算法计算触觉装置(并且因此通常是用户的手部)的俯仰角、滚动角和偏航角。为了执行该计算，它从多个传感器获得原始数据，通常这些传感器包括以下中的至少一个或多个：加速度计、陀螺仪、磁力计、气压计，其可以嵌入在处理单元上。接收之后，通常会进行校准或归一化。优选地，所有四个上述传感器(加速度计、陀螺仪、磁力计、气压计)用于该步骤。以下步骤包括原始数据的归一化和变换。它们以期望的测量单位根据传感器给出的粗略数据变换，而且由于硬件特性而进行一些调整。一旦完成预处理阶段，处理单元就通过卡尔曼滤波器的应用继续计算滤波的数据。如上所述，为了计算俯仰和滚动估计，该算法利用陀螺仪的数据和加速度计的数据，而对于偏航角，卡尔曼使用陀螺仪的测量和磁力计的测量。
通常，本发明的方法的一部分在两个程序或级别上运行，第一个称为内核处理，第二个称为套件处理。内核处理是软件层的最低级别。它是触觉装置和现有主机系统之间集成的内核。事实上，传统系统不是设计为与触觉装置的传感器、激活阈值或其他特征工作。因此，必须具有能够将其从触觉装置接收的信号映射到主机系统可理解的指令的新组件。使每个系统具有其自身的特性，必须使其适于方法和触觉装置必须在其上操作的特定主机系统。这意味着一旦为特定平台创建了内核处理，在该平台或系统上运行的每个应用都可以利用并使用所提供的技术。
因此，内核处理与主机系统交互。为此，它必须仿真装置本机支持的控制器，例如鼠标或键盘。因此，如果用户通过套件处理选择为某些移动分配左键单击鼠标、或键盘上的敲击相同的功能，则内核处理将向主机系统发送鼠标的左键单击或键盘的特定敲击。对于鼠标或键盘，预处理方法可以设计为仿真不同类型主机系统上的所有通用控制器。然而，新系统可以被设计为本机地支持触觉装置，而不需要仿真。
如前所述，内核处理取决于系统。这意味着，根据用户想要控制的技术装置类型以及在其上运行的系统类型，必须采用特定的实现方式。可能的装置是PC、智能电话、PlayStation、Xbox或更新的装置，如无人机或苹果电视。所提出的方法利用的一般原则是，这些装置已经对它们所设计的某些输入“作出反应”；如鼠标移动、键盘敲击、无线电信号等的输入。预处理方法不能替代这些输入，而是在需要时复制它们。为此目的，内核处理必须能够侦听控制器向其发送其输入的指定接口。在有线解决方案或蓝牙的情况下，该方法采用的接口是串行的，但是可以采用其他接口用于特定用途。套件处理在代码中设置多个变量的值，以确定内核处理如何执行其任务。内核处理执行的命令通常是由一些本机API提供的系统命令。例如，在Windows系统的情况下，该方法可以使用C#函数，以将键盘敲击或鼠标事件发送到正在运行的应用。
所提出的方法和基础技术提供了用户可以通过交互过程设置的各种定制。套件处理将让用户使用图形界面指定他的偏好，并让用户有机会单击测试按钮测试他们。引导过程的第一步是加载套件处理将与之交互的触觉装置。为此，用户扫描可用装置，并选择应如何加载。可能的选择是将控制器作为左/右手或手臂加载。可以同时使用一个或多个控制器。加载装置后，用户必须选择他想要向其应用的设置。该方法为不同的应用提供了一些预定义的配置文件，这些配置文件可以“按原样”使用或修改以更好地满足自己的需要。此外，可以从头创建新配置文件，并保存以供以后使用。所有保存的配置文件都示出在框中，只需单击或轻触即可选择它们。由于其大量的参数组合，所以使用保存的配置文件对于本发明变得特别有用。事实上，本发明具有高水平的粒度，其可以满足即使是最苛刻的体验的需要。此外，每个应用都可以具有其特定设置，并且用户可以决定针对任何特定用途使用不同的配置文件。例如，在视频游戏领域中，当仿真直升机航行时，用户将以与打高尔夫球时处置高尔夫球杆不同的方式握住克洛什(cloche)。这意味着，如稍后所述，静止的手指或其移动的范围将根据上下文而变化。另一个关键方面是不同的应用可以使用不同的输入控制器，例如鼠标或操纵杆。该方法和系统可以仿真这些传统控制器，并让用户选择必须仿真哪一个。
在第三方面，本发明提供了一种用于运行、管理一类应用并与一类应用(优选地，能够产生虚拟现实(VR)和/或增强现实(AR)的一类应用)交互的电子系统，包括：
a.电子主机系统，用于运行该应用，并且用于根据接收到的控制信号修改应用(环境)；然而，优选地，其特别包括电子主机系统，配置为用于产生VR和/或AR，所述主机系统适合于运行一类VR和/或AR应用，并用于根据接收的控制信息修改产生的VR和/或AR；
b.适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
a.多个传感器，被配置用于检测用户手部的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
b.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述主机系统具有程序指令，以运行该文档中描述的电子系统实现的方法。
在另一方面，本发明提供了一种电子系统，用于与运行一类应用的电子主机系统交互，并用于根据接收的控制信号修改应用(环境)。优选地，它提供用于与由电子主机系统产生的虚拟现实(VR)和/或增强现实(AR)交互的电子系统，所述主机系统适合于运行一类VR和/或AR应用，以及用于根据接收到的控制信号修改所产生的VR和/或AR。
所述用于交互的电子系统包括适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
i.多个传感器，被配置用于检测用户的手的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
ii.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，所述处理单元被配置为识别主机系统的类型，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述处理单元具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的接收的运动输出信号向对于所述特定类型的主机系统可识别的一个或多个关联的控制信号的变换，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、机器人、无人机、智能电视、智能眼镜等。所述系统变换库通常存储在处理单元的存储元件中、或触觉装置上并且所述处理单元可访问。
此外，应注意，优选地改编电子装置以便适应本发明的用于与应用(环境)(优选地，虚拟现实(VR)或增强现实(AR))的不可知交互的方法。举例来说，优选地，触觉装置被配置为识别或确定主机系统的类型，从而允许正确选择适当的系统转换配置文件，以便由触觉装置与主机系统进一步通信。同样，优选地，触觉装置还设置有应用变换库，该应用变换库包括多个应用转换配置文件，用于将运动输出信号变换成主机系统可接受的控制信号。优选地，所述系统和应用变换库被组合成单个转换库，包括多个系统和应用转换配置文件。此外，可以创建用于系统变换库的新系统转换配置文件，例如在面对“未知”主机系统时。这同样适用于新的应用转换配置文件(因为这些通常由用户定制)。
或者，本发明提供一种用于运行、管理一类应用(环境)并与一类应用(环境)交互的电子系统，优选地运行、管理并与虚拟现实(VR)或增强现实(AR)交互，该电子系统包括：
a.电子主机系统，运行该应用，并且用于根据接收到的控制信号修改应用(环境)；优选地，它是被配置用于产生VR和/或AR的电子主机系统，所述主机系统适合于运行一类VR和/或AR应用，以及用于根据接收到的控制信号修改所产生的VR和/或AR；
b.适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
a.多个传感器，被配置用于检测用户手部的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
b.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，并适于经由无线通信标准，优选地经由蓝牙，将处理后的运动输出信号传送到主机系统；
由此所述主机系统具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是特定类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的运动输出信号向对于所述特定类型的主机系统可识别的一个或多个关联的控制信号的变换，优选地，由此所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、机器人、无人机、智能电视、智能眼镜等。优选地，所述系统变换库作为可下载的可执行文件提供给主机系统。注意，当触觉装置被“加载”到主机系统上时，还可以经由从触觉装置到主机系统的无线连接来进一步提供必要的可执行文件或程序。
此外，应注意，优选地改编该电子装置以便适应本发明的与虚拟现实(VR)或增强现实(AR)的不可知交互的方法。优选地，主机系统还设置有应用变换库，该应用变换库包括多个应用转换配置文件，用于将运动输出信号转换为主机系统可接受的控制信号。优选地，系统和应用变换库被组合成单个转换库，包括多个系统和应用转换配置文件。此外，可以创建系统变换库的新系统转换配置文件，例如在面对“未知”主机系统时。这同样适用于新的应用转换配置文件(因为这些通常由用户定制)。
注意，在上述两个实施例(另外的方面和替代方案)中，已经在参考的文档中讨论了优选的传感器及其优选的定位、连同优点。优选地，触觉装置包括用于在所述用户的身体部位上施加压力和/或力的所述触觉装置上的多个可逆地可充气的气室、以及用于对所述气室进行充气和放气的多个纳米压缩机，所述方法包括基于所述修改的特征将一个或多个反馈信号传送到所述一个或多个触觉装置的处理单元的步骤，由此所述反馈信号通过一个或多个纳米压缩机对所述多个气室中的一个或多个进行充气和/或放气来致动。
通过以下非限制性实施例进一步描述本发明，这些实施例进一步说明本发明，并不意图也不应解释为限制本发明的范围。
现在将参考不是限制性的实施例，更详细地描述本发明。
示例
示例1：配置文件配置(系统/应用变换库)
为了配置已加载的装置，用户可以通过引导过程这么做，该过程将使得用户将所有指定为“零”。用户可以指定他的起始位置是什么、他在休息时如何保持他的手或手指、以及他移动的最大跨度是多少。该阶段允许该方法校准传感器的值，并以适当的方式解释它们。
该方法可以例如允许设置“鼠标设置”。这允许用户采用两种可能的定位选项之一。他可以在相对和绝对定位之间进行选择，并通过屏幕上的可调节条设置其移动的灵敏度。它还允许指定当在特定轴上移动用户的手时鼠标光标必须如何移动。类似地，用户可以指定他对操纵杆仿真的偏好。同样在这种情况下，他可以选择在他的手的移动上执行的命令。
利用所提出的触觉装置和方法，可能例如通过菜单选项“手指设置”来配置装置的附肢(手套的手指)上的所有传感器。将出现窗口，其中用户可以选择用于弯曲和推动传感器的他的选项。可以将第一类传感器设置为在弯曲模式或拉伸模式下起作用。在弯曲模式中，用户通常保持他的手指伸展并且当手指弯曲时激活相应的传感器。相反，在拉伸模式中，用户的手指通常是关闭的，并且当用户打开它时激活其传感器。当执行这些操作时，可以触发不同类型的命令。例如，用户可以决定敲击“w”字符或在他弯曲他的食指时应用鼠标左键单击。此外，还可能设置命令的特定激活阈值，并在同一传感器处分配在不同阈值处触发的两个命令。
类似地，可以以两种模式配置推动传感器：推动和释放模式。与先前的情况一样，当达到指定的阈值时，激活每个传感器，并且当按下传感器时(推动模式)或一旦释放传感器(释放模式)，就可以执行相应的动作。在推动模式下，可能根据传感器被推动的强度在同一传感器上配置两个命令。
另一特征“输入轴设置”能让用户在沿某个轴移动自己的手时分配命令。事实上，可能将按键或鼠标点击的组合分配给用户的手部动作。
其他选项包括“加速设置”和“气压计设置”。第一个允许定义当用户以一定的加速度向上/向下或向左/向右移动他的手时、必须采取什么动作。同样在这种情况下，存在可调节条，由此可以设置触发命令所需的阈值。
“气压计设置”可用于设置在用户手的各种高度处触发的一系列命令。例如，如果用户正在仿真枪战，当他将手保持在视线水平时，他可能想要激活“狙击手”功能，否则使用简单的枪。由于气压计，该方法可以感知用户手的高度并相应地起作用。
实施例2：触觉手套
在可能的实施例中，触觉装置包括触觉手套(尽管也可能是两个手套)，其具有适于接触手掌和手背的柔性可穿戴手套的支撑基部结构(4)、和适于接触手指的许多外围部分(5)。所述触觉手套包括多个传感器。具体地，弯曲传感器(9)设置成沿着指状物延伸，优选地在指状物的后侧(与图1中所示的手背相同的一侧)延伸，并且被配置和定位以检测外围部分的弯曲(由于手指或其他身体部位的弯曲)。弯曲传感器(9)可以延伸稍微越过手的掌骨区域，以便检测手指相对于手的更一般的弯曲。此外，多个压力传感器(7)设置在多个位置。在这种情况下，所述压力传感器(7)至少设置在外围部分的端部上，这次是在手的前侧(手掌侧)。注意，可以在手套的手指的其他点处和/或也可以在手掌上提供另外的压力传感器。另外(或替代地)，也可以在触觉手套上提供多个运动传感器(6)或触觉传感器。通常，这些至少再次提供在指状物或外围部分的端部上，尽管它们还可以存在于手套的手部分上。这些运动传感器(6)可以由用于一个或多个传感器的平台补充，例如包括陀螺仪(11)，在这种情况下陀螺仪(11)存在于基部结构(4)处。所述陀螺仪可以(此外)包括AHRS和/或高度传感器，以检测触觉装置相对于地面的高度。此外，所述平台可包括温度传感器和/或其他提到的传感器。
处理单元(14)提供在触觉装置(手套)上，优选地提供在基部结构(4)上，并且提供有电池(15)。所述电池可以是可充电的(例如迷你USB)和/或可更换的。处理单元(14)连接到或至少能够连接到触觉装置上的传感器，以便获得检测到的信号(8,10,12)，通常称为运动输出信号(8,10,12)。优选地，该连接是通过电连线，尽管也可能是无线连接、或者两者的混合，例如在几个触觉装置(手套等)和用于所有这些的单个处理单元的情况下。
所述处理单元(14)被配置为优选地经由无线通信标准(16)与主机系统(100)通信。
示例3：智能电话处理
在可能的实施例中，触觉装置，例如以触觉手套的形式，可以与智能电话结合使用。一旦建立连接，用户就可以经由触觉装置的操纵(如前所述，空间-相对和/或绝对-移动，例如平移、旋转，或经由推动、拉动、压力等)，向智能电话提供命令。可以已经提供或者可以创建(或仅改编)智能电话的系统转换配置文件，以允许用户控制智能电话而不必触摸智能电话。这潜在地允许用户在不处置智能电话的情况下发送文本消息，拨打电话，更改设置，发送电子邮件，执行在线搜索，播放视频，播放音乐等，实际上甚至不必看到它。作为示例，用户可以经由第一手势生成运动输出信号，该运动输出信号由智能电话的系统转换配置文件转换为智能电话的控制信号，该控制信号构成用户希望发送文本消息。然后，用户可以经由第二手势传递他希望创建虚拟键盘，然后他可以在其上键入消息和/或收件人。然后，第三手势可以发送文本消息。
另一个示例可以允许用户在不方便的时间用已知的手势向呼叫应答来电，该手势由系统转换配置文件转换为标准化消息给呼叫者(“现在不可用，稍后将回叫”、“在工作中”等)。
上述智能电话的特定用途可以很容易地扩展到智能电视、智能眼镜等。
假设本发明不限于先前描述的任何形式的实现，并且可以在不重新评估所附权利要求的情况下将一些修改添加到所给出的制造示例中。例如，已经参考游戏和一些其他应用描述了本发明，但是很明显，本发明可以应用于更具体的应用，例如防御或侦察、手术、建模、建筑等。

Claims (14)

1.一种用于与运行一类应用的主机系统进行不可知交互的方法，包括以下步骤：
a.经由一个或多个触觉装置，检测用户的一个或多个手部操纵，并且向所述一个或多个触觉装置上的处理单元提供与手部操纵相关联的一个或多个运动输出信号；
其特征在于，该方法包括以下步骤：
b.向所述主机系统提供系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是某一类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的运动输出信号向对于所述某一类型的主机系统可识别的一个或多个关联的控制信号的变换，其中所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、两个或更多家庭视频游戏控制台、智能电话、智能眼镜、智能电视；
c.由所述处理单元自动确定所述主机系统的类型，并且其中，在不能确定所述主机系统的类型的情况下，允许用户手动确定所述主机系统的类型和/或提示所述用户对于未确定的主机系统创建新的系统转换配置文件，其中所述新的系统转换配置文件存储在所述触觉装置的处理单元上和/或主机系统上；
d.在所述一个或多个触觉装置上的处理单元中处理所提供的运动输出信号；
e.经由无线通信标准，向该主机系统传送处理后的运动输出信号；
f.根据运行应用的主机系统所特有的系统转换配置文件，由主机系统将所述运动输出信号转换为一个或多个关联的控制信号；和
g.由该主机系统在所述应用中处理所述关联的控制信号，并根据至少所述控制信号来修改其中的特征。
2.根据权利要求1所述的方法，还包括以下步骤：
a.向所述主机系统提供应用变换库，所述应用变换库包括多个应用转换配置文件，每个应用转换配置文件是某一类型的应用所特有的，并且每个应用转换配置文件适于映射来自一个或多个触觉装置的接收的运动输出信号向适合于所述某一类型的应用的一个或多个关联的控制信号的变换，其中所述应用变换库包括以下类型的应用中的至少两个或更多所特有的应用转换配置文件：射击应用、飞行仿真器应用、驾驶或赛车应用、远程航行应用、智能装置交互；
其中根据运行应用的主机系统所特有的系统转换配置文件、将所述运动输出信号转换为一个或多个关联的控制信号的步骤还根据正在主机系统上运行的应用的类型所特有的应用转换配置文件来执行。
3.根据权利要求2所述的方法，包括以下步骤：用户从应用变换库手动确定要用于转换运动输出信号的应用转换配置文件，此外允许用户创建用于在主机系统上运行的应用的类型的新应用转换配置文件，其中所述新应用转换配置文件存储在触觉装置的处理单元上和/或主机系统上。
4.根据权利要求1所述的方法，其中，所述触觉装置是适于佩戴在用户手上的触觉手套，包括传感器，至少适于检测后续手部操纵，并且，所述后续手部操纵的强度和/或速度和/或加速度：弯曲手部的一个或多个手指、相对于手部的一个或多个其他手指相对移动和/或旋转手部的一个或多个手指、由一个或多个手指的一部分在表面上施加压力、由手部的一部分表面上施加压力、手部相对于主机系统的位移、手部相对于主机系统的旋转；
并且其中向该处理单元提供所述后续手部操纵，所述强度和/或速度，作为关联的运动输出信号。
5.根据权利要求1所述的方法，其中，所述处理单元是智能电话或电子装置，或者包括在智能电话或电子装置中，适合于可操作地插入虚拟现实耳机中，所述智能电话或电子装置包括用于确定用户的空间位移的一个或多个传感器：陀螺仪、航位推算传感器、磁力计和/或加速度计；所述方法包括以下步骤：处理来自所述一个或多个传感器的位移信号用于确定空间位移；基于到主机系统的所述位移信号，向主机系统提供附加和/或替代信号；并且通过由主机系统根据至少附加和/或替代的位移信号修改虚拟现实或增强现实，来进一步修改该应用的特征。
6.根据权利要求4所述的方法，其中所述触觉手套适于确定所述后续手部操纵的强度，包括校准与所述手部的一个或多个手指的弯曲的强度、以及由手部的一个或多个手指的一部分施加的压力的强度相关联的至少运动输出信号的步骤。
7.根据权利要求1所述的方法，其中所述一个或多个触觉装置包括用于在所述用户的身体部位上施加压力和/或力的所述触觉装置上的多个可逆地可充气的气室、以及用于对所述气室进行充气和放气的多个纳米压缩机，所述方法包括基于所述修改的特征将一个或多个反馈信号传送到所述一个或多个触觉装置的处理单元的步骤，其中所述反馈信号通过一个或多个纳米压缩机对多个气室中的一个或多个进行充气和/或放气来致动。
8.根据权利要求1所述的方法，其中所述关联的控制信号适于复制所述主机系统的预期输入信号。
9.根据权利要求1所述的方法，其中在所述一个或多个触觉装置上的所述处理单元中处理所提供的运动输出信号的步骤包括：对所述运动输出信号应用卡尔曼滤波算法。
10.根据权利要求2所述的方法，其中所述系统变换库和应用变换库被组合在单个变换库中，所述变换库包括多个转换配置文件，每个转换配置文件是某一类型的应用和某一类型的主机系统所特有的，并且每个转换配置文件适于映射来自一个或多个触觉装置的接收的运动输出信号向一个或多个关联的控制信号的变换，所述一个或多个关联的控制信号对于所述转换配置文件的某一类型的主机系统可识别，并且适合于所述转换配置文件的某一类型的应用；
并且其中，根据运行应用的主机系统的类型和运行的应用的类型所特有的转换配置文件，来执行将所述运动输出信号转换为一个或多个关联的控制信号的步骤。
11.一种用于与运行一类应用的主机系统进行不可知交互的方法，包括以下步骤：
a.经由一个或多个触觉装置，检测用户的一个或多个手部操纵，并且向所述一个或多个触觉装置上的处理单元提供与手部操纵相关联的一个或多个运动输出信号；
其特征在于，该方法包括以下步骤：
b.向所述处理单元提供系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是某一类型的主机系统所特有的，并且每个系统转换配置文件适合于将来自一个或多个触觉装置的运动输出信号变换为对于所述某一类型的主机系统可识别的一个或多个关联的控制信号，其中所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、两个或更多家庭视频游戏控制台、智能电话、智能电视、智能眼镜；
c.由所述处理单元自动确定所述主机系统的类型，并且其中，在不能确定所述主机系统的类型的情况下，允许用户手动确定所述主机系统的类型和/或提示所述用户对于未确定的主机系统创建新的系统转换配置文件，其中所述新的系统转换配置文件存储在所述触觉装置的处理单元上和/或主机系统上；
d.在所述一个或多个触觉装置上的处理单元中处理所提供的运动输出信号；
e.根据运行应用的主机系统所特有的系统转换配置文件，由该处理单元将所述运动输出信号转换为一个或多个关联的控制信号；
f.经由无线通信标准，向该主机系统传送所述一个或多个关联的控制信号；和
g.由该主机系统在所述应用中处理所述关联的控制信号，并根据至少所述控制信号来修改其中的特征。
12.根据权利要求11所述的方法，还包括以下步骤：
a.向所述主机系统提供应用变换库，所述应用变换库包括多个应用转换配置文件，每个应用转换配置文件是某一类型的应用所特有的，并且每个应用转换配置文件适于映射来自一个或多个触觉装置的接收的运动输出信号向适合于所述某一类型的应用的一个或多个关联的控制信号的变换，其中所述应用变换库包括以下类型的应用中的至少两个或更多所特有的应用转换配置文件：射击应用、飞行仿真器应用、驾驶或赛车应用、远程航行应用、智能装置交互；
其中根据运行应用的主机系统所特有的系统转换配置文件、将所述运动输出信号转换为一个或多个关联的控制信号的步骤还根据正在主机系统上运行的应用的类型所特有的应用转换配置文件来执行。
13.一种电子系统，用于与运行一类应用的电子主机系统交互，并且用于根据所接收的控制信号修改应用，所述用于交互的电子系统包括：
适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
i.多个传感器，被配置用于检测用户的手的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
ii.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，所述处理单元被配置为识别主机系统的类型，并适于经由无线通信标准，将处理后的运动输出信号传送到主机系统，所述处理单元被配置用于由所述处理单元自动确定所述主机系统的类型，并且其中，在不能确定所述主机系统的类型的情况下，允许用户手动确定所述主机系统的类型和/或提示所述用户对于未确定的主机系统创建新的系统转换配置文件，其中所述新的系统转换配置文件存储在所述触觉装置的处理单元上和/或主机系统上；
其中所述处理单元具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是某一类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的接收的运动输出信号向对于所述某一类型的主机系统可识别的一个或多个关联的控制信号的变换，其中所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、智能电视、智能眼镜、机器人、无人机。
14.一种用于运行、管理一类应用并与一类应用交互的电子系统，包括：
a.电子主机系统，运行该应用，并且用于根据接收到的控制信号修改应用；
b.适合于佩戴在用户手上的至少一个至少部分柔性的触觉装置，包括：
i.多个传感器，被配置用于检测用户手部的手部操纵，并传送关联的运动输出信号，至少包括：一个或多个手指的弯曲、和一个或多个表面在表面上施加的压力；
ii.处理单元，电子连接到所述多个传感器，所述处理单元适于从多个传感器中的一个或多个接收关联的运动输出信号，被配置用于处理关联的运动输出信号，并适于经由无线通信标准，将处理后的运动输出信号传送到主机系统，所述处理单元被配置用于由所述处理单元自动确定所述主机系统的类型，并且其中，在不能确定所述主机系统的类型的情况下，允许用户手动确定所述主机系统的类型和/或提示所述用户对于未确定的主机系统创建新的系统转换配置文件，其中所述新的系统转换配置文件存储在所述触觉装置的处理单元上和/或主机系统上；
其中所述主机系统具有系统变换库，所述系统变换库包括多个系统转换配置文件，每个系统转换配置文件是某一类型的主机系统所特有的，并且每个系统转换配置文件适合于映射来自一个或多个触觉装置的运动输出信号向对于所述某一类型的主机系统可识别的一个或多个关联的控制信号的变换，其中所述系统变换库包括以下类型的主机系统中的至少两个或更多所特有的系统转换配置文件：个人计算机、家庭视频游戏控制台、智能电话、专用VR和/或AR硬件、智能电视、智能眼镜、机器人、无人机。
CN201780087017.7A 2016-12-26 2017-12-21 触觉交互方法、工具和系统 Active CN110325947B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16206902.5 2016-12-26
EP16206902.5A EP3340012A1 (en) 2016-12-26 2016-12-26 Haptic interaction method, tool and system
US15/669,857 2017-08-04
US15/669,857 US9996153B1 (en) 2016-12-26 2017-08-04 Haptic interaction method, tool and system
PCT/EP2017/084170 WO2018122107A1 (en) 2016-12-26 2017-12-21 Haptic interaction method, tool and system

Publications (2)

Publication Number Publication Date
CN110325947A CN110325947A (zh) 2019-10-11
CN110325947B true CN110325947B (zh) 2023-08-01

Family

ID=57708436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087017.7A Active CN110325947B (zh) 2016-12-26 2017-12-21 触觉交互方法、工具和系统

Country Status (7)

Country Link
US (2) US9996153B1 (zh)
EP (2) EP3340012A1 (zh)
JP (1) JP2020504883A (zh)
CN (1) CN110325947B (zh)
CA (1) CA3079614A1 (zh)
ES (1) ES2966949T3 (zh)
WO (1) WO2018122107A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204044747U (zh) * 2014-08-20 2014-12-24 博世（中国）投资有限公司 用于采集手语识别用数据的手套
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
US10779583B2 (en) * 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
EP3523000A1 (en) 2017-06-22 2019-08-14 Centurion VR, LLC Virtual reality simulation
US10474236B1 (en) 2017-09-13 2019-11-12 Facebook Technologies, Llc Haptic device for variable bending resistance
US20190105562A1 (en) * 2017-10-11 2019-04-11 Immersion Corporation Haptic effects with multiple peripheral devices
US10705606B1 (en) * 2017-10-23 2020-07-07 Facebook Technologies, Llc Tracking sensor integration system and method for recursive estimation of pose of user's body part
FR3074327B1 (fr) * 2017-11-27 2021-04-23 Commissariat Energie Atomique Procede de commande d'un robot de manipulation et dispositif mettant en oeuvre un tel procede
EP3518076B1 (en) * 2018-01-24 2022-09-14 C.R.F. Società Consortile per Azioni System and method for ergonomic analysis, in particular of a worker
EP3518075B1 (en) * 2018-01-24 2023-10-11 C.R.F. Società Consortile per Azioni Sensorized glove and corresponding method for ergonomic analysis of the hand, in particular a worker's hand
EP4366337A2 (en) 2018-07-24 2024-05-08 Magic Leap, Inc. Application sharing
WO2020026301A1 (ja) * 2018-07-30 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント ゲーム装置、ゴルフゲームの制御方法
US11850508B2 (en) * 2018-09-28 2023-12-26 Osirius Group, Llc System for simulating an output in a virtual reality environment
US10564719B1 (en) * 2018-12-03 2020-02-18 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11137905B2 (en) 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11039974B2 (en) 2019-08-01 2021-06-22 Brave Virtual Worlds, LLC Full or partial body physical feedback system and wearable exoskeleton
KR102267840B1 (ko) * 2019-12-30 2021-06-22 광주과학기술원 드론 모니터링 시스템
EP4104000A4 (en) * 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
WO2021163626A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Session manager
CN112085052A (zh) * 2020-07-28 2020-12-15 中国科学院深圳先进技术研究院 运动想象分类模型的训练方法、运动想象方法及相关设备
WO2023215485A1 (en) * 2022-05-04 2023-11-09 Haptx, Inc. Haptic glove system and manufacture of haptic glove systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636605A (zh) * 2015-03-20 2018-01-26 索尼互动娱乐股份有限公司 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044501A1 (en) * 2006-07-14 2011-02-24 Ailive, Inc. Systems and methods for personalized motion control
US9607506B1 (en) * 2007-04-20 2017-03-28 Lloyd Douglas Manning Wearable wireless controller
US20090212979A1 (en) * 2008-02-22 2009-08-27 William Catchings Glove-based input device
US9069385B1 (en) * 2009-01-08 2015-06-30 Sprint Communications Company L.P. Communicating physical gestures as compressed data streams
US8847880B2 (en) * 2009-07-14 2014-09-30 Cywee Group Ltd. Method and apparatus for providing motion library
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
KR20130101975A (ko) * 2010-04-16 2013-09-16 니콜라스 제이 마스탄드리아 착용형 모션 감지 컴퓨팅 인터페이스
US20120056805A1 (en) * 2010-09-03 2012-03-08 Intellectual Properties International, LLC Hand mountable cursor control and input device
BR112013009420A2 (pt) * 2010-10-18 2016-08-09 Blue Infusion Technologies Llc luva de controle eletrônico e unidade de controle
US20130104087A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
US9395826B1 (en) * 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
WO2013180687A1 (en) * 2012-05-29 2013-12-05 Hewlett-Packard Development Company, L.P. Translation of touch input into local input based on a translation profile for an application
US10124255B2 (en) * 2012-08-31 2018-11-13 Blue Goji Llc. Multiple electronic control and tracking devices for mixed-reality interaction
US11826636B2 (en) * 2013-07-12 2023-11-28 Chris Argiro Depth sensing module and mobile device including the same
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
US9417693B2 (en) * 2014-12-08 2016-08-16 Rohit Seth Wearable wireless HMI device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636605A (zh) * 2015-03-20 2018-01-26 索尼互动娱乐股份有限公司 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"5DT Data Glove Ultra Series User’s Manual";Anonymous;《www.5DT.com》;20110131 *

Also Published As

Publication number Publication date
EP3559784B1 (en) 2023-10-04
EP3340012A1 (en) 2018-06-27
EP3559784C0 (en) 2023-10-04
EP3559784A1 (en) 2019-10-30
CN110325947A (zh) 2019-10-11
WO2018122107A1 (en) 2018-07-05
JP2020504883A (ja) 2020-02-13
US9996153B1 (en) 2018-06-12
US11435825B2 (en) 2022-09-06
US20180181198A1 (en) 2018-06-28
US20210318755A1 (en) 2021-10-14
CA3079614A1 (en) 2018-07-05
ES2966949T3 (es) 2024-04-25

Similar Documents

Publication Publication Date Title
CN110325947B (zh) 触觉交互方法、工具和系统
US10838495B2 (en) Devices for controlling computers based on motions and positions of hands
US10974138B2 (en) Haptic surround functionality
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN107368183B (zh) 用于提供输入的手套
US20180207526A1 (en) High-dimensional touch parameter (hdtp) game controllers with multiple usage and networking modalities
JP5969626B2 (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
US7161579B2 (en) Hand-held computer interactive device
US9662569B2 (en) Sensor fusion to combine sensor input data from multiple devices into one input stream
EP3234742A2 (en) Methods and apparatus for high intuitive human-computer interface
US20170003738A1 (en) Systems and methods for immersive physical interaction with a virtual environment
KR20220116372A (ko) 착용가능 무선 hmi 디바이스
US20150338875A1 (en) Graspable mobile control element simulating a joystick or the like with at least one control element with physical end stop, and associated method of simulation
CN110221683B (zh) 动作检测系统、动作检测方法及其计算机可读记录介质
CN115427122A (zh) 虚拟控制台游戏控制器
CN111399632A (zh) 用于依靠可穿戴设备而与虚拟现实互动的操作方法和其操作设备
US20100167820A1 (en) Human interface device
CN114728200A (zh) 交互式计算装置和附件
WO2018154327A1 (en) Computer interface system and method
KR102369256B1 (ko) 유저 인터페이스 제공 방법 및 이를 수행하기 위한 단말
KR102369251B1 (ko) 유저 인터페이스 제공 방법 및 이를 수행하기 위한 단말
Tun et al. HaptWarp: Soft Printable and Motion Sensible Game Controller
GB2552219A (en) Wearable input device
KR20140030390A (ko) 그립 상태에 따라 사용성이 달라지는 인풋 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant