CN106575159B - 手套接口对象 - Google Patents

手套接口对象 Download PDF

Info

Publication number
CN106575159B
CN106575159B CN201580042497.6A CN201580042497A CN106575159B CN 106575159 B CN106575159 B CN 106575159B CN 201580042497 A CN201580042497 A CN 201580042497A CN 106575159 B CN106575159 B CN 106575159B
Authority
CN
China
Prior art keywords
glove ports
ports object
virtual
sensor data
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580042497.6A
Other languages
English (en)
Other versions
CN106575159A (zh
Inventor
S.梅辛格尔
R.斯滕森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201710311222.9A priority Critical patent/CN107368183B/zh
Publication of CN106575159A publication Critical patent/CN106575159A/zh
Application granted granted Critical
Publication of CN106575159B publication Critical patent/CN106575159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper

Abstract

本文提供一种手套接口对象(700)，其包括：至少一个弯曲传感器(708)，所述至少一个弯曲传感器(708)被配置来产生识别所述手套接口对象的至少一个手指部分(706)的弯曲的弯曲传感器数据；至少一个接触传感器(704)，所述至少一个接触传感器(704)被配置来产生识别所述手套接口对象的第一部分与所述手套接口对象的第二部分之间的接触的接触传感器数据；通信模块，所述通信模块被配置来将所述弯曲传感器数据和所述接触传感器数据传输到计算设备以便进行处理来确定所述手套接口对象的手指位置姿势，所述手指位置姿势被应用于在头戴式显示器(HMD)上的虚拟环境的视图中呈现虚拟手，所述虚拟手基于所述识别的手指位置姿势来呈现。

Description

手套接口对象
本发明涉及手套接口对象及相关方法和系统。
发明背景
2.背景技术
视频游戏行业多年来经历了许多变化。随着计算能力的扩大，视频游戏的开发者同样创建了利用这些计算能力的增加的游戏软件。为此，视频游戏开发商已编写包含复杂操作和数学运算的游戏，以产生非常逼真的游戏体验。
示例性游戏平台可以是索尼索尼(PS2)、索尼(PS3)和索尼(PS4)，每种都以游戏机的形式出售。众所周知，游戏机被设计成连接到监视器(通常是电视)，并且使得用户能够通过手持式控制器进行交互。游戏机被设计成具有专用处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元以及其他配合的硬件、固件和软件。游戏机还设计有用于接收游戏光盘的光盘托盘，以用于通过游戏机进行本地播放。在线游戏也是可能的，其中用户可通过互联网对抗或者与其他用户一起交互地进行游戏。由于游戏复杂性持续地困扰玩家，游戏和硬件制造商持续地创新，以实现更多互动和计算机程序。
计算机游戏产业的增长趋势是开发增加用户和游戏系统之间的交互的游戏。实现更丰富的交互式体验的一种方式是使用无线游戏控制器，所述无线游戏控制器的移动由游戏系统跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般来说，手势输入是指使诸如计算系统、视频游戏机、智能家电等的电子设备对由玩家作出并由电子设备捕获的某个手势作出反应。
实现更加沉浸式交互体验的另一种方式是使用头戴式显示器。头戴式显示器由用户佩戴并且可被配置来呈现各种图形，诸如虚拟空间的视图。呈现在头戴式显示器上的图形可覆盖用户视野的大部分或者甚至全部。因此，头戴式显示器可向用户提供视觉沉浸式体验。
所述行业的另一个增长趋势涉及基于云的游戏系统的开发。这类系统可包括执行游戏应用程序的远程处理服务器，并且与本地瘦客户端通信，所述本地瘦客户端可被配置来从用户接收输入并且在显示器上呈现视频。
正是在这种背景下，出现本发明的实施方案。
发明内容
本发明的实施方案提供手套接口对象和相关联的方法和系统。
根据本发明的实施方案，提供手套接口对象以使得用户能够与诸如视频游戏的交互式应用程序进行交互。手套接口对象可包含各种类型的设备以便于各种类型的功能。在一些实现方式中，手套接口对象包括能够检测用户手指的弯曲量的弯曲传感器。在一些实现方式中，手套接口对象包括安装到各种位置(诸如指尖和/或手掌)的压力传感器，所述压力传感器能够检测压力何时施加到这些区域以及此压力的大小。在一些实现方式中，手套接口对象包括触摸开关，所述触摸开关被配置来检测用户的手的一部分与同一只手的另一部分或者用户的另一只手之间的接触。例如，触摸开关可检测用户的拇指何时触摸同一只手上的任何其他手指，和/或这些其他手指中的任何一个何时触摸用户手的手掌。在一些实现方式中，手套接口对象包括拇指触摸板，所述拇指触摸板被配置来检测用户的拇指与食指的侧面之间的接触，并且基于沿着食指的由拇指接触的侧面的位置来限定可变输入。
如本文使用的，手套接口对象可用作视频游戏的手套控制器。然而，应理解，手套接口对象不一定必须是用于玩游戏的控制器，而是可用于与用户可观看的显示屏上的虚拟对象交接，并且用于可应用从手套接口对象限定的输入的任何其他合适的目的。应理解，本发明可以多种方式实现，诸如在计算机可读介质上的过程、装置、系统、设备或方法。下文描述本发明的若干创造性实施方案。
在一个实施方案中，提供一种手套接口对象，其包括：至少一个弯曲传感器，所述至少一个弯曲传感器被配置来产生识别手套接口对象的至少一个手指部分的弯曲的弯曲传感器数据；至少一个接触传感器，所述至少一个接触传感器被配置来产生识别所述手套接口对象的第一部分与所述手套接口对象的第二部分之间的接触的接触传感器数据；通信模块，所述通信模块被配置来将所述弯曲传感器数据和所述接触传感器数据传输到计算设备以便进行处理来确定所述手套接口对象的手指位置姿势，所述手指位置姿势被应用于在头戴式显示器(HMD)上的虚拟环境的视图中呈现虚拟手，所述虚拟手基于所识别的手指位置姿势来呈现。
在一个实施方案中，接触传感器数据包括识别手套接口对象的拇指部分与手套接口对象的至少一个其他手指部分之间的接触的数据。
在一个实施方案中，接触传感器数据包括识别手套接口对象的至少一个手指部分与手套接口对象的手掌部分之间的接触的数据。
在一个实施方案中，从虚拟环境中与头戴式显示器相关联的虚拟角色的角度来限定虚拟环境的视图；其中所述虚拟手是所述虚拟角色的手。
在一个实施方案中，手套接口对象还包括：可跟踪对象，所述可跟踪对象被配置成在交互期间被点亮，所述可跟踪对象被配置成通过计算设备从捕获的图像数据中进行识别，以使得能够在交互式环境中跟踪手套接口对象的位置；其中所述虚拟手被呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置限定的位置处。
在一个实施方案中，手套接口对象还包括：至少一个惯性传感器，所述惯性传感器用于产生惯性传感器数据；其中所述通信模块被配置来将所述惯性传感器数据传输到所述计算设备以便进行处理来识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中所述虚拟手被呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置限定的位置处。
在一个实施方案中，通信模块被配置来从计算设备接收触觉反馈数据；所述手套接口对象还包括被配置来基于所述触觉反馈数据生成触觉反馈的触觉反馈机构。
在一个实施方案中，手套接口对象还包括：至少一个压力传感器，所述至少一个压力传感器被配置来生成压力传感器数据，所述压力传感器数据识别施加到手套接口对象的至少一部分的压力；其中所述通信模块被配置来将所述压力传感器数据发送到所述计算设备以便进行处理来确定所述手指位置姿势。
在一个实施方案中，压力传感器数据量化施加到手套接口对象的至少一部分的力的量；并且其中所述量化的力的量限定所述虚拟环境限定的动作的级别。
在一个实施方案中，HMD包括：观看模块，其包括具有被配置用于呈现限定虚拟环境的视图的图像内容的屏幕中的视图端口的内侧；HMD通信模块，其用于与所述计算设备交换数据；图像处理模块，其用于处理从所述计算设备接收的图像数据，以用于在所述屏幕上呈现所述图像内容；多个发光元件，其与所述观察模块的外部壳体整合，所述多个发光元件被限定用于通过摄像机对所述HMD的图像跟踪；发光逻辑，其用于控制所述多个发光元件启动或不启动；以及至少一个惯性传感器，其限定用于HMD的惯性跟踪。
在另一个实施方案中，提供了一种方法，所述方法包括：向头戴式显示器(HMD)呈现虚拟环境的视图；从手套接口对象接收弯曲传感器数据，所述弯曲传感器数据识别所述手套接口对象的至少一个手指部分的弯曲；从所述手套接口对象接收接触传感器数据，所述接触传感器数据识别在所述手套接口对象的第一部分与所述手套接口对象的第二部分之间的接触；处理所述弯曲传感器数据和所述接触传感器数据以确定所述手套接口对象的手指位置姿势；在所述虚拟环境的视图中呈现虚拟手，所述虚拟手基于所识别的手指位置姿势来呈现。
在一个实施方案中，接触传感器数据包括识别手套接口对象的拇指部分与手套接口对象的至少一个其他手指部分之间的接触的数据。
在一个实施方案中，接触传感器数据包括识别手套接口对象的至少一个手指部分与手套接口对象的手掌部分之间的接触的数据。
在一个实施方案中，从虚拟环境中与头戴式显示器相关联的虚拟角色的角度来限定虚拟环境的视图；其中所述虚拟手是所述虚拟角色的手。
在一个实施方案中，所述方法还包括：接收交互式环境的捕获的图像数据；处理所述捕获的图像数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置限定的位置处。
在一个实施方案中，所述方法还包括：从所述手套接口对象接收惯性传感器数据；处理所述惯性传感器数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置和取向限定的位置处。
在一个实施方案中，所述方法还包括：检测虚拟手与虚拟环境中的虚拟对象之间的接触；基于所述虚拟手与所述虚拟对象之间的所述检测的接触来产生触觉反馈数据；将所述触觉反馈数据发送到所述手套接口对象。
在一个实施方案中，所述方法还包括：接收压力传感器数据，所述压力传感器数据识别施加到手套接口对象的至少一部分的压力；其中确定所述手指位置姿势包括处理所述压力传感器数据。
在一个实施方案中，压力传感器数据量化施加到手套接口对象的至少一部分的力的量；并且其中所述量化的力的量限定所述虚拟环境限定的动作的级别。
在一个实施方案中，将虚拟环境的视图呈现给HMD包括生成图像数据并将图像数据发送给HMD，所述HMD具有用于处理图像数据以在HMD的观看模块的屏幕上呈现图像内容的图像处理模块，所述观看模块包括具有被配置用于呈现限定虚拟环境的视图的图像内容的屏幕中的视图端口的内侧；接收与所述HMD的观看模块的外部壳体整合的多个发光元件的捕获的图像数据，以及处理所述捕获的图像数据以跟踪所述HMD。
在另一个实施方案中，提供一种方法，所述方法包括：向头戴式显示器呈现虚拟环境的视图；从手套接口对象接收弯曲传感器数据，所述弯曲传感器数据识别所述手套接口对象的至少一个手指部分的弯曲；接收压力传感器数据，所述压力传感器数据识别施加到所述手套接口对象的至少一部分的压力；处理所述弯曲传感器数据和所述接触传感器数据以确定所述手套接口对象的手指位置姿势；在所述虚拟环境的视图中呈现虚拟手，所述虚拟手基于所识别的手指位置姿势来呈现。
在一个实施方案中，压力传感器数据量化施加到手套接口对象的至少一部分的力的量。
在一个实施方案中，所述量化的力的量限定所述虚拟环境限定的动作的级别。
在一个实施方案中，从虚拟环境中与头戴式显示器相关联的虚拟角色的角度来限定虚拟环境的视图；其中所述虚拟手是所述虚拟角色的手。
在一个实施方案中，所述方法还包括：接收交互式环境的捕获的图像数据；处理所述捕获的图像数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置限定的位置处。
在一个实施方案中，所述方法还包括：从所述手套接口对象接收惯性传感器数据；处理所述惯性传感器数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置和取向限定的位置处。
在一个实施方案中，所述方法还包括：检测虚拟手与虚拟环境中的虚拟对象之间的接触；基于所述虚拟手与所述虚拟对象之间的所述检测的接触来产生触觉反馈数据；将所述触觉反馈数据发送到所述手套接口对象。
在一个实施方案中，所述方法还包括：在虚拟环境的视图中呈现响应于所述虚拟手与所述虚拟对象之间的所述检测的接触的视觉反馈。
在一个实施方案中，将虚拟环境的视图呈现给HMD包括生成图像数据并将图像数据发送给HMD，所述HMD具有用于处理图像数据以在HMD的观看模块的屏幕上呈现图像内容的图像处理模块，所述观看模块包括具有被配置用于呈现限定虚拟环境的视图的图像内容的屏幕中的视图端口的内侧；接收与所述HMD的观看模块的外部壳体整合的多个发光元件的捕获的图像数据，以及处理所述捕获的图像数据以跟踪所述HMD。
在一个实施方案中，通过跟踪HMD的取向或位置中的一个或多个来限定跟踪HMD。
在另一个实施方案中，提供一种方法，所述方法包括：向头戴式显示器(HMD)呈现虚拟环境的视图，所述虚拟环境的视图包括虚拟角色的虚拟手，所述虚拟环境的视图从虚拟环境中的虚拟角色的角度来限定；从手套接口对象接收传感器数据，所述传感器数据识别所述手套接口对象的至少一部分的至少一种物理状态；处理所述传感器数据以识别所述手套接口对象的姿势；响应于识别所述姿势，在所述视图中在基本上所述虚拟环境中的所述虚拟手的位置处呈现与所述手套接口对象的所述识别的姿势相关的虚拟对象。
在一个实施方案中，所述方法还包括：在交互式环境中跟踪手套接口对象的位置和取向；其中通过所述手套接口对象的位置和取向来限定所述虚拟对象在所述虚拟环境中的位置和取向。
在一个实施方案中，跟踪手套接口对象的位置和取向包括处理交互式环境的捕获的图像数据以识别手套接口对象的一个或多个发光对象。
在一个实施方案中，跟踪手套接口对象的位置和取向包括处理来自手套接口对象的惯性传感器数据。
在一个实施方案中，处理传感器数据还包括检测来自手套接口对象的所识别的姿势的改变；响应于检测到所述改变来触发与所述对象相关联的动作。
在一个实施方案中，所述对象是武器；其中通过发射所述武器来限定触发所述动作。
在一个实施方案中，呈现虚拟对象包括在虚拟环境中呈现由虚拟手握持的虚拟对象。
在一个实施方案中，所述方法还包括：响应于识别所述姿势来产生触觉反馈数据；将所述触觉反馈数据发送到所述手套接口对象以产生响应于所述识别的姿势的触觉反馈事件。
在一个实施方案中，从手套接口对象接收传感器数据由以下各项中的一项或多项来限定：接收识别手套接口对象的至少一个手指部分的弯曲的弯曲传感器数据、接收识别手套接口对象的第一部分与手套接口对象的第二部分之间的接触的接触传感器数据、或者接收识别施加到手套接口对象的至少一部分的压力的压力传感器数据。
在一个实施方案中，将虚拟环境的视图呈现给HMD包括生成图像数据并将图像数据发送给HMD，所述HMD具有用于处理图像数据以在HMD的观看模块的屏幕上呈现图像内容的图像处理模块，所述观看模块包括具有被配置用于呈现限定虚拟环境的视图的图像内容的屏幕中的视图端口的内侧；接收与所述HMD的观看模块的外部壳体整合的多个发光元件的捕获的图像数据，以及处理所述捕获的图像数据以跟踪所述HMD。
在另一个实施方案中，提供了一种方法，所述方法包括：向头戴式显示器呈现虚拟环境的视图；从手套接口对象接收弯曲传感器数据，所述弯曲传感器数据识别所述手套接口对象的至少一个手指部分的弯曲；从所述手套接口对象接收接触传感器数据，所述接触传感器数据识别所述手套接口对象的第一部分与所述手套接口对象的第二部分之间的接触；从所述手套接口对象接收压力传感器数据，所述压力传感器数据识别施加到所述手套接口对象的至少一部分的压力；处理所述弯曲传感器数据、所述接触传感器数据和所述压力传感器数据以确定所述手套接口对象的手指位置姿势；在所述虚拟环境的视图中呈现虚拟手，所述虚拟手基于所识别的手指位置姿势来呈现。
在一个实施方案中，接触传感器数据包括识别手套接口对象的拇指部分与手套接口对象的至少一个其他手指部分之间的接触的数据。
在一个实施方案中，接触传感器数据包括识别手套接口对象的至少一个手指部分与手套接口对象的手掌部分之间的接触的数据。
在一个实施方案中，从虚拟环境中与头戴式显示器相关联的虚拟角色的角度来限定虚拟环境的视图；其中所述虚拟手是所述虚拟角色的手。
在一个实施方案中，所述方法还包括：接收交互式环境的捕获的图像数据；处理所述捕获的图像数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置限定的位置处。
在一个实施方案中，所述方法还包括：从所述手套接口对象接收惯性传感器数据；处理所述惯性传感器数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；其中将所述虚拟手呈现在所述虚拟环境中的基本上由所述手套接口对象在所述交互式环境中的位置和取向限定的位置处。
在一个实施方案中，所述方法还包括：检测虚拟手与虚拟环境中的虚拟对象之间的接触；基于所述虚拟手与所述对象之间的所述检测的接触来产生触觉反馈数据；将所述触觉反馈数据发送到所述手套接口对象。
在另一个实施方案中，提供一种用于通过手套接口对象与交互式应用程序交接的方法，所述方法包括：生成弯曲数据，所述弯曲数据识别手套接口对象的至少一个手指部分的弯曲；生成接触数据，所述接触数据标识所述手套接口对象的第一部分与所述手套接口对象的第二部分之间的接触；将所述弯曲数据和所述接触数据发送到计算设备以便进行处理来确定所述手套接口对象的手指位置姿势，应用所述手指位置姿势以在头戴式显示器上的虚拟环境的视图中呈现虚拟手。
在另一个实施方案中，提供一种用于向交互式应用程序提供交互式输入的手套接口对象，所述手套接口对象包括：至少一个弯曲传感器，其沿着手套接口对象的至少一个手指部分限定；至少一个接触开关，其被配置来检测所述手套接口对象的拇指部分与所述手套接口对象的任何其他手指部分之间的接触；通信模块，其被配置来将传感器数据从所述至少一个弯曲传感器和/或所述至少一个接触开关传输到计算设备，以便进行处理来确定虚拟环境中的通过头戴式显示器可观看的虚拟手的构型。
在一个实施方案中，手套接口对象还包括：可跟踪对象，所述可跟踪对象被配置成在与交互式应用程序的交互期间被点亮，所述可跟踪对象被配置成基于交互式环境的捕获图像的分析来进行跟踪，其中手套接口对象在与所述交互式应用程序的交互期间进行设置，以使得能够确定所述手套接口对象在所述交互式环境中的位置和/或取向；其中所述虚拟环境中的所述虚拟手的构型至少部分基于所述交互式环境中的所述手套接口对象的所确定的位置和/或取向来限定。
在一个实施方案中，手套接口对象还包括：至少一个惯性传感器；其中所述通信模块被配置来将惯性传感器数据从所述至少一个惯性传感器传输到所述计算设备，以便进行处理来确定所述手套接口对象的位置和/或取向；其中所述虚拟环境中的所述虚拟手的构型至少部分基于所述手套接口对象在所述交互式环境中的所确定的位置和/或取向来限定。
在一个实施方案中，手套接口对象还包括：外手套，其被配置成包括弯曲传感器、接触开关和通信模块；可拆卸的内手套，其被配置成佩戴在用户的手上，并且在与所述交互式应用程序的交互期间设置在所述外手套内。
通过以下结合附图的详细描述，本发明的其他方面将变得显而易见，附图通过举例的方式说明本发明的原理。
附图说明
通过参考结合附图的以下描述，可以最好地理解本发明，在附图中：
图1A示出根据本发明的实施方案的用于视频游戏的交互式游戏的系统。
图1B示出根据本发明的实施方案的用于视频游戏的交互式游戏的系统。
图2示出根据本发明的实施方案的头戴式显示器(HMD)。
图3概念性地示出根据本发明的实施方案的结合执行视频游戏的HMD的功能。
图4A示出根据本发明的实施方案的包含多个弯曲传感器的手套接口对象。
图4B示出根据本发明的实施方案的其上限定有弯曲传感器的手套接口对象的侧视图。
图4C示出根据本发明的实施方案的具有定位在手套接口对象的关节区域处的多个弯曲传感器的手套接口对象。
图5A示出根据本发明的实施方案的具有多个压力传感器的手套接口对象。
图5B示出根据本发明的实施方案的具有多个压力传感器的手套接口对象500。
图5C是示出根据本发明的实施方案的用于检测手套接口对象上的压力的电路的示意图。
图6A是示出根据本发明的实施方案的具有模拟触摸感测电路的手套接口对象的示意图。
图6B是示出根据本发明的实施方案的具有用于检测手套接口对象的不同部分之间的接触的数字开关的手套接口对象的示意图。
图6C示出根据本发明的实施方案的具有用于检测手套接口对象的部分之间的接触的导电垫的手套接口对象600。
图7A示出根据本发明的实施方案的使用食指和拇指的侧面来实现触控板的手套接口对象。
图7B是示出根据本发明的实施方案的用于拇指触控板的电路的示意图。
图7C是示出根据本发明的实施方案的用于提供拇指触控板的电路的示意图。
图7D示出根据本发明的实施方案的具有沿着食指部分的侧面彼此相邻定位的多个接触开关的手套接口对象700。
图7E是示出根据本发明的实施方案的用于将上述拇指触控板的功能与参考图6B描述的触摸开关的功能整合的电路的示意图。
图8A示出根据本发明的实施方案的其上限定有多个灯的手套接口对象800。
图8B示出根据本发明的实施方案的具有各种发光区域的手套接口对象800。
图9A、9B、9C、9D、9E和9F示出根据本发明实施方案的通过手套接口对象检测到的各种手部姿势及其在虚拟环境中限定交互事件的应用。
图10A和图10B示意性地示出根据本发明的实施方案的用于使用手套接口对象与交互式应用程序交接的系统。
图11示出根据本发明的实施方案的手套接口对象的部件。
图12示出根据本发明的实施方案的头戴式显示器的部件。
图13是根据本发明的各种实施方案的游戏系统的框图。
具体实施方式
以下实施方案提供手套接口对象和相关联的系统、方法和装置。
在一个实施方案中，方法、系统、图像捕获对象、传感器和相关联的接口对象(例如手套)被配置来处理数据，所述数据被配置成在显示屏上基本上实时地呈现。例如，当用户的手改变位置(例如，进行手移动、手指弯曲、多个手指弯曲、手指触摸其他手指和/或手势)时，位置的改变被配置成在显示器上基本上实时地显示。
显示器可以是头戴式显示器(HMD)的显示器、第二屏幕的显示器、便携式设备的显示器、计算机显示器、显示面板、远程连接的用户(例如，可观看内容或在交互式体验中共享的人)的显示器等。在一些实施方案中，捕获的用户手的位置、感测的压力、触摸的手指和/或手/手指手势用于在视频游戏中、在虚拟世界场景、共享虚拟空间、视频游戏角色(是真实世界用户的扩展的角色)中进行交互，或者简单地提供触摸、保持、播放、交接或接触在显示屏上示出的虚拟对象或者与文档、文本、图像等相关联的对象的方式。
在其他实施方案中，虚拟手套可由多名用户在多用户游戏中佩戴。在这类实例中，每名用户可使用一个或两个手套。用户可使用云游戏系统、联网设备和/或社交网络协作空间来从远程位置协同定位或交接在共享空间或共享游戏中。在一些实施方案中，手套可由一名或多名远程用户使用以便以协作方式进行交互，以检查文档、屏幕、应用、图表、商业信息等。在这种实现方式中，协作的用户可使用他们的手套来触摸对象、移动对象、与表面交互、按压对象、挤压对象、摇荡对象、作出手势动作或运动等。
在协作期间，由一名用户的手作出的移动可呈现给另一名用户，好像真实用户的手在协作空间中移动东西、对象或作出动作一样。仍然在协作环境中，如果两名远程用户正在检查文档，那么戴手套的用户可指向虚拟页面上的东西、在虚拟白板上指向和绘图、提起并移动虚拟纸、握手、移动项目等。在一些协作环境中，一名或多名用户可佩戴HMD。当HMD结合一个或多个手套(例如，由一名或多名用户佩戴)使用时，用户可看到他们可使用他们的手来进行协作的虚拟环境，诸如移动对象、页面、对象、在虚拟键盘上打字、移动虚拟页面、点击事物、按压事物等。
因此，应理解，包括一个或多个传感器和/或可检测压力和/或可检测手指的弯曲位置和/或可检测取向和/或可检测惯性移动等的手套的使用可提供广泛的应用范围。实例用途可包括但不限于视频游戏、娱乐活动、体育相关活动、旅行和探索相关活动、人与人的接触(例如，远程用户的握手)、商业活动等。在一种实现方式中，由手套接口提供的这种类型的交互可扩展到可附接到人体的其他部分(例如，手臂、腿、脚等)或与人体的其他部分相关联的附加传感器。除了手套之外，可设想不同类型的衣服，例如夹克、裤子、鞋子、帽子等。
然而，对于本领域技术人员显而易见的是，本发明可在没有这些具体细节中的一些或全部的情况下实施。在其他情况下，未详细地描述熟知的处理操作以便不会不必要地混淆本发明。
图1A示出根据本发明的实施方案的用于视频游戏的交互式游戏的系统。示出佩戴头戴式显示器(HMD)102的用户100。HMD 102以类似于眼镜、护目镜或头盔的方式来佩戴，并且被配置来向用户100显示视频游戏或其他内容。由于HMD 102在用户的眼睛附近提供显示机制，所以HMD 102为用户提供非常沉浸式体验。因此，HMD102可向占据用户的大部分或甚至整个视野的用户的每个眼睛提供显示区域。
在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机，包括但不限于游戏机、个人计算机、膝上型计算机、平板计算机、移动设备、蜂窝电话、平板、瘦客户端、机顶盒、流媒体设备等。在一个实施方案中，计算机106可被配置来执行视频游戏，并且从视频游戏输出视频和音频以供HMD 102呈现。
用户100可操作手套接口对象104以提供视频游戏的输入。此外，摄像机108可被配置来捕获用户100所位于的交互式环境的图像。可分析这些捕获的图像以确定用户100、HMD102和手套接口对象104的位置和移动。在一个实施方案中，手套接口对象104包括可被跟踪以确定其位置和取向的灯。此外，如下文进一步详细描述的，HMD 102可包括可被跟踪以确定HMD 102的位置和取向的一个或多个灯。摄像机108可包括一个或多个麦克风以从交互式环境捕获声音。可处理由麦克风阵列捕获的声音以识别声源的位置。可选择性地利用或处理来自识别位置的声音，以排除不是来自识别位置的其他声音。此外，摄像机108可限定成包括多个图像捕获设备(例如，立体摄像机对)、IR摄像机、深度摄像机及其组合。
在另一个实施方案中，计算机106用作通过网络与云游戏供应商112通信的瘦客户端。云游戏供应商112维持并执行由用户102正在玩的视频游戏。计算机106将输入从HMD102、手套接口对象104和摄像机108传输到云游戏供应商，所述云游戏供应商处理输入以影响执行的视频游戏的游戏状态。来自执行的视频游戏的输出，诸如视频数据、音频数据和触觉反馈数据被传输到计算机106。计算机106可在传输之前进一步处理数据，或者可将数据直接传输到相关设备。例如，视频和音频流被提供给HMD 102，而振动反馈命令被提供给手套接口对象104。
在一个实施方案中，HMD 102、手套接口对象104和摄像机108本身可以是连接到网络110以与云游戏供应商112通信的联网设备。例如，计算机106可以是本地网络设备(例如路由器)，其不另外执行视频游戏处理但是有助于网络流量的通行。由HMD 102、手套接口对象104和摄像机108到网络的连接可以是有线或无线的。
图1B示出根据本发明的实施方案的用于视频游戏的交互式游戏的系统。示出手套接口对象104的近距离视图。在一些实现方式中，手套接口对象104可包括手环120，所述手环120具有限定在其中的各种设备和部件。例如，手环120可包括灯或发光对象122，其可被跟踪以基于包括手套接口对象104的交互式环境的捕获图像的分析来识别交互式环境中的手套接口对象的位置和或取向。在一个实施方案中，手环120包括被配置来控制灯122的操作的灯控制器124。以举例的方式，可控制灯122的颜色、强度、开/关状态和其他属性。
手环120可包括用于与手套接口对象104的其他设备通信的各种电子器件，诸如在本公开中描述的各种传感器。在一个实施方案中，手环120包括用于处理从手套接口对象的各种传感器(诸如弯曲传感器、压力传感器、接触开关、拇指触摸板、生物传感器等)接收的数据的传感器数据处理器126。此外，手环120可包括被配置来从诸如计算设备106和/或头戴式显示器102的其他设备发送和/或接收数据的通信模块128。
在各种实现方式中，手环120可包括以各种配置布置在手环上的一个或多个灯或发光对象。在附图标记130a、130b、130c和130d处示出说明手环上的灯的布置的一些可能的实例。
图2示出根据本发明的实施方案的头戴式显示器(HMD)。如图所示，HMD 102包括多个灯200A-H。这些灯中的每个灯可被配置成具有特定形状，并且可被配置成具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的前表面上。灯200E和200F布置在HMD102的侧表面上。并且灯200G和200H布置在HMD 102的拐角处，以便跨越HMD 102的前表面和侧表面。应理解，可在用户使用HMD 102的交互式环境的捕获图像中识别灯。基于灯的识别和跟踪，可确定交互式环境中的HMD 102的位置和取向。还将理解，取决于HMD 102相对于图像捕获设备的特定取向，一些灯可以是可见的或可以是不可见的。另外，取决于HMD 102相对于图像捕获设备的取向，可暴露出灯的不同部分(例如灯200G和200H)以用于图像捕获。
在一个实施方案中，灯可被配置来向附近的其他人指示HMD的当前状态。例如，一些或所有灯可被配置成具有某种颜色布置、强度布置，被配置成闪烁，具有某种开/关配置或者指示HMD 102的当前状态的其他布置。以举例的方式，灯可被配置来在视频游戏的主动游戏过程中(通常是在活动时间线过程中或者在游戏场景内发生的游戏)对视频游戏的其他非主动游戏方面显示不同的配置，诸如导航菜单界面或配置游戏设置(在此期间游戏时间线或场景可以是非活动或暂停的)。灯也可被配置来指示游戏的相对强度水平。例如，当游戏强度增加时，灯的强度或闪烁速率可增加。以这种方式，与用户不相关的人可观察HMD102上的灯，并且理解用户正积极地参与激烈的游戏并且可能不希望在那时被打扰。
HMD 102可另外包括一个或多个麦克风。在示出的实施方案中，HMD 102包括限定在HMD 102的前表面上的麦克风204A和204B，以及限定在HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列，可处理来自每个麦克风的声音以确定声音源的位置。此信息可以各种方式加以利用，包括排除不希望的声源、声源与视觉识别的关联等。
HMD 102还可包括一个或多个图像捕获设备。在示出的实施方案中，HMD 102被示出为包括图像捕获设备202A和202B。通过利用图像捕获设备的立体像对，可从HMD 102的角度捕获环境的三维(3D)图像和视频。这种视频可呈现给用户，以在佩戴HMD 102时向用户提供“视频透视”能力。也就是说，虽然用户在严格意义上无法看穿HMD 102，但是由图像捕获设备202A和202B捕获的视频仍然能够提供能够看到HMD 102外部的环境的功能等同物，就好像看穿HMD 102一样。这种视频可用虚拟元素来增强以提供增强的现实体验，或者可以其他方式与虚拟元素组合或混合。尽管在示出的实施方案中，在HMD 102的前表面上示出两个摄像机，但是应理解，可在HMD 102上安装任何数量的面向外部的在任何方向上定向的摄像机。例如，在另一个实施方案中，可存在安装在HMD 102的侧面上的摄像机，以提供环境的附加全景图像捕获。
图3概念性地示出根据本发明的实施方案的结合执行视频游戏的HMD 102的功能。执行的视频游戏由游戏引擎320限定，所述游戏引擎320接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可至少部分由限定当前游戏的各个方面的视频游戏的各种参数的值来限定，诸如对象的存在和位置、虚拟环境的条件、事件触发、用户配置文件、视图透视等。
在示出的实施方案中，游戏引擎以举例的方式接收控制器输入314、音频输入316和运动输入318。控制器输入314可通过与HMD102分离的游戏控制器(诸如手持游戏控制器(例如，Sony无线控制器、索尼Move运动控制器)或手套接口对象104)的操作来限定。以举例的方式，控制器输入314可包括通过游戏控制器的操作来处理的方向输入、按钮按压、触发激活、移动、手势或其他种类的输入。可通过HMD 102的麦克风302或者通过包括在图像捕获设备108中的麦克风来处理音频输入316。运动输入218可通过包括在HMD 102中的运动传感器300或者当图像捕获设备108捕获HMD 102的图像时通过图像捕获设备108来处理。游戏引擎320接收根据游戏引擎的配置来处理的输入，以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各个呈现模块，所述呈现模块处理游戏状态数据以限定将呈现给用户的内容。
在示出的实施方案中，视频呈现模块322被限定来呈现用于在HMD 102上呈现的视频流。视频流可由显示器/投影仪机构310来呈现，并且由用户的眼睛306通过光学器件308来观看。音频呈现模块304被配置来呈现用于由用户收听的音频流。在一个实施方案中，音频流通过与HMD 102相关联的扬声器304输出。应理解，扬声器304可采用露天扬声器、耳机或者能够呈现音频的任何其他种类的扬声器的形式。
在一个实施方案中，HMD 102中包括注视跟踪摄像机312，以使得能够跟踪用户的注视。注视跟踪摄像机捕获用户眼睛的图像，所述图像被分析以确定用户的注视方向。在一个实施方案中，可利用关于用户的注视方向的信息来影响视频呈现。例如，如果用户的眼睛被确定为在特定方向上观看，那么可诸如通过在用户正在观看的区域中提供更多细节或更快的更新来优先化或强调所述方向的视频呈现。应理解，可相对于头戴式显示器相对于用户所处的真实环境和/或相对于正在头戴式显示器上呈现的虚拟环境来限定用户的注视方向。
广义地说，当单独考虑时，由注视跟踪摄像机312捕获的图像的分析提供用户相对于HMD 102的注视方向。然而，当结合HMD 102的跟踪位置和取向来考虑时，可确定用户的真实世界注视方向，因为HMD 102的位置和取向与用户头部的位置和取向是同义的。也就是说，可通过跟踪用户眼睛的位置移动并跟踪HMD 102的位置和取向来确定用户的真实世界注视方向。当在HMD 102上呈现虚拟环境的视图时，可应用用户的真实世界注视方向以确定虚拟环境中的用户的虚拟世界注视方向。
此外，触觉反馈模块326被配置来向包括在HMD 102或由用户操作的另一设备(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可采取各种触感的形式，诸如振动反馈、温度反馈、压力反馈等。
如已注意到的，本文描述的HMD设备能够通过包围大部分或者甚至整个用户的视野来向用户提供高度沉浸式体验。鉴于HMD体验的这种沉浸式方面，期望向用户提供直观的控制机制，特别是当用户可能不能看到他们自己的手或他们所握持的对象(例如控制器)时。因此，根据本文描述的本发明的实施方案，提供用于手套接口对象的方法、装置和系统。
贯穿本公开，参考手套接口对象和用户的手，包括手指、手掌和手的其他部分。为了易于描述和本公开的可读性的目的，本领域技术人员将理解，手套接口对象和用户的手(和/或其部分)在许多情况下可以可互换地参考和/或进行替代。也就是说，由用户的手限定的活动(例如姿势、定位、移动、取向、位置、动作等)也属于正佩戴在用户的手上的手套接口对象，因为手套接口对象被配置来检测或促进对用户的手的活动的检测。因此，为了描述的目的，可方便地利用与用户的手有关的语言来讨论本公开中的某些方面。然而，将容易理解的是，手套接口对象佩戴在用户的手上，并且这可应用或者实际上由手套接口对象限定，这从本说明书的上下文对于本领域技术人员是显而易见的。
图4A示出根据本发明的实施方案的包含多个弯曲传感器的手套接口对象。图4A另外示意性地示出根据本发明的实施方案的弯曲传感器的电路。如图所示，手套接口对象400包括沿手套接口对象400的每根手指的顶部表面限定的弯曲传感器。例如，食指402包括从食指402的基部(即食指的指关节将存在的地方)延伸到食指402的尖部的弯曲传感器404。在示出的实施方案中，弯曲传感器沿着手套接口对象的每根手指的与用户手指的顶侧(即，用户手的背部(与用户手的手掌侧相反))相关的顶部表面定位。然而，应理解，在其他实现方式中，弯曲传感器可定位在手套接口对象的手指部分周围的其他位置处，诸如沿着手指的侧面或者沿着手指的底部(即，手指的面向手掌的侧)。
每个弯曲传感器被配置来检测用户手的一部分(诸如用户的手指)的弯曲。在一些实施方案中，弯曲传感器被限定成包括弯曲敏感电阻器，其电阻基于电阻器的弯曲量而改变。弯曲传感器的实例在本领域中是已知的，并且包括由Spectra Symbol等公司制造和/或销售的那些。在一些实现方式中，随着弯曲敏感电阻器的弯曲度增加，电阻器的电阻也增加。继续参考图4A，每个弯曲传感器被连接到单个模拟输入(A0-A5)，从而产生总共五个模拟输入。应理解，能够检测和/或量化弯曲的任何类型的弯曲传感器可用于检测手套接口对象的弯曲的目的。
图4B示出根据本发明的实施方案的其上限定有弯曲传感器的手套接口对象的侧视图。在示出的实施方案中，手套接口对象400的食指402具有沿着食指402的侧表面限定的弯曲传感器410。沿着手套接口对象的手指的侧表面定位弯曲传感器可能是有利的，因为沿着给定手指的侧面的距离将不会像手指的顶部或底部表面在被弯曲时的距离那样显着地改变。一般来说，当手指弯曲(即闭合)时，沿着手指的顶部表面的长度增加，并且沿着手指的底部表面的长度减小。因此，当弯曲传感器沿着手指的顶部表面定位时，如果它们基本上是非弹性的，那么弯曲传感器可能倾向于拉回手指，从而抵抗手指的弯曲。
图4B另外示出沿着手套接口对象400的拇指部分定位的弯曲传感器416。另外，弯曲传感器412沿着手套接口对象的位于食指与拇指之间的部分定位，以便检测食指与拇指之间的弯曲或展开。
图4C示出根据本发明的实施方案的具有定位在手套接口对象的关节区域处的多个弯曲传感器的手套接口对象。在示出的实施方案中，例如手套接口对象的食指部分402包括：被定位来检测用户食指的远侧指间关节的弯曲的弯曲传感器420、被定位来检测用户食指的近侧指间关节的弯曲的弯曲传感器422、以及被定位来检测用户食指的指关节(掌骨指关节)的弯曲的弯曲传感器424。手套接口对象400的其他手指部分包括类似定位的弯曲传感器，以检测用户手的手指的各个关节的弯曲。
此外，弯曲传感器位于手套接口对象400的手指部分之间，诸如弯曲传感器426，其被定位来检测食指与中指之间的弯曲或展开。在示出的实施方案中，其他弯曲传感器类似地定位在相邻手指之间以检测相邻手指之间的展开。
此外，弯曲传感器428沿着手套接口对象400的顶部手腕部分定位，以便检测用户手腕的弯曲。在一些实施方案中，弯曲传感器沿着手套接口对象的底部手腕部分定位。在一些实施方案中，附加的弯曲传感器可沿着手腕的侧面定位，以检测手腕的侧向弯曲。
在一些实施方案中，提供校准程序以用于校准手套接口对象的弯曲传感器。例如，校准程序可能需要使用户操作手套接口对象，以使得弯曲传感器定位在它们的最小弯曲位置和/或它们的最大弯曲位置中。可在这些位置处读取弯曲传感器数据，以限定每个弯曲传感器的弯曲传感器数据的上限/下限和/或范围。
图5A示出根据本发明的实施方案的具有多个压力传感器的手套接口对象。图5A另外示意性地示出根据本发明的实施方案的压力传感器的电路。在示出的实施方案中，压力传感器被定位在手套接口对象500的指尖处，以检测和/或量化当指尖压靠表面时施加的压力。以举例的方式，手套接口对象500的食指部分502包括压力传感器504。
在一些实现方式中，压力传感器可被限定成包括压敏电阻器，其电阻根据施加到电阻器上的压力而变化。具有随施加压力可变的电阻的材料的一个实例是VelostatTM。应理解，在其他实现方式中，可利用任何合适的材料。继续参考图5A，所示的压力传感器中的每一个被配置成分压器，所述分压器各自向相应的模拟输入(A0至A5)提供信号。
在一些实施方案中，提供校准程序，其中用户可最初如他们希望或能够努力地将手套接口对象的压力感测区域压靠在表面上，以限定用于压力传感器的上设置和/或范围。
在示出的实施方案中，除了位于指尖处的压力传感器之外，在手套接口对象的手掌区域的基部处提供压力传感器506。
图5B示出根据本发明的实施方案的具有多个压力传感器的手套接口对象500。还示出手套接口对象500内部的用户的手520。用户的手520包括拇指520a、食指520b、中指520c、无名指520d和小指/小拇指520e以及手掌520f。分别在拇指、食指、中指、无名指和小指的手套接口对象的指尖部分处限定压力传感器504a、504b、504c、504d和504e。
此外，压力传感器限定在手指的基部处，被定位成对应于指骨关节的内侧(手掌侧)。以举例的方式，压力传感器510b定位在手套接口对象上以与用户的食指520b的指关节的内侧对准，并且检测/量化由用户的食指的指关节内侧施加的压力(例如当其压靠在表面上时)。压力传感器510a、510b、510c、510c和510e分别对应于拇指、食指、中指、无名指和小指的指关节。压力传感器512a和512b定位在手套接口对象500的手掌区域的基部处，以便检测施加在用户手掌的基部处的压力。
手套接口对象500另外包括电子/通信模块514，其可包括用于处理来自手套接口对象的传感器的数据以及用于与诸如主计算设备的其他设备通信的各种电子器件。应理解，压力传感器可在任何位置处定位在手套接口对象上，以检测和量化在这些位置处施加的压力。
图5C是示出根据本发明的实施方案的用于检测手套接口对象上的压力的电路的示意图。在示出的实施方案中，RR是参考电阻器，Rp1是用于第一压力点的第一电阻器，Rp2是用于第二压力点的第二电阻器，RPN是用于第n个压力点的第n电阻器，A0是模拟输出，并且5V是5V电源。每个压力点电阻器是可变电阻器，其电阻随施加的压力而变化。如图所示，可变电阻器串联布置，并且在另一个模拟输入处测量电压。串联布置提供压力传感器以仅利用单个模拟输入。然而，由于串联配置，可能不可能确定压力来自哪根手指(或手的一部分)。
在一些实现方式中，对于给定的压敏材料，电阻可随面积相反地变化。因此，为了具有相等权重的压力点，针对每个压力点利用基本相似或基本相同尺寸的材料可能是重要的。
图6A是示出根据本发明的实施方案的具有模拟触摸感测电路的手套接口对象的示意图。手套接口对象600被配置来检测同一只手的部分之间的接触，诸如在拇指与另一根手指之间或者手指与手掌之间的接触。
在示出的实施方案中，单个模拟输入用于检测各种接触情况。导电垫位于手套接口对象600的指尖和手掌区域上。在示出的实施方案中，导电垫602位于拇指的尖端上，导电垫604位于食指的尖端上，并且导电垫606位于中指的尖端上，等等。导电垫608位于手套接口对象600的手掌上。在一些实施方案中，导电垫由导电织物限定。然而，在其他实施方案中，可利用适于在手套接口对象上提供导电表面的任何导电材料。在优选的实施方案中，导电材料是柔性且可变形的。
在一个实施方案中，拇指垫602连接到5V电源；手掌垫608连接到3.3V电源；并且每个手指垫接地。这些连接中的每一个都通过电阻器形成。电阻器具有不同的值，以使得当两根手指触摸时由A0读取的值是不同的(类似于分压器)，从而允许各种接触情况彼此进行区分，尽管是由单个模拟输入A0读取。提供二极管以仅在信号通过总线时使信号通过到达模拟输入A0。
在一个实施方案中，电阻器值如下：Rp＝.33千欧姆(手掌)；RT＝.33千欧姆(拇指)；RF1＝22千欧姆(食指)；RF2＝3.3千欧姆(中指)；RF3＝2千欧姆(无名指)；RF4＝1.68千欧姆(小指)。每种接触或触摸情境与预定电压范围相关联。因此，在模拟输入A0处读取电压，并且与预定电压范围相关以识别正在发生哪种接触情境。
参考示出的实施方案提供的电压和电阻值是以举例的方式而非限制地提供的。在一个实施方案中，可能采用不同的电压和电阻来提供拇指或手掌与食指/中指/无名指/小指之间的接触的检测。
图6B是示出根据本发明的实施方案的具有用于检测手套接口对象的不同部分之间的接触的数字开关的手套接口对象的示意图。在示出的实施方案中，食指垫/中指垫/无名指垫/小指垫中的每一个连接到不同的数字输入(D0至D3)。电阻器可具有任何值，并且在优选实施方案中可具有相同的值(例如，每个10千欧姆)。食指垫/中指垫/无名指垫/小指垫中的每一个还通过相应的二极管连接到同一个模拟输入(A0)。二极管仅在存在信号时通过导通来防止短路。
在操作中，读取数字输入D0-D3以确定是否发生食指/中指/无名指/小指中的任一个与手掌或拇指之间的接触。读取模拟输入A0以确定是否与手掌或拇指接触。在示出的实施方案中，如果A0读取5V，那么接触是与拇指的接触；如果A0读取3.3V，那么接触是与手掌的接触。
在一个实施方案中，附加的模拟输入A1连接到手掌垫608。如果A1读取5V，那么确定拇指和手掌彼此接触。
本文提供的电压和电阻值仅以举例的方式提供，而不是作为限制。在其他实现方式中，可利用提供本文所讨论的功能的任何电压和电阻值。
在图6B的配置中使用数字输入可优于图6A的配置，因为必须彼此进行区分的电压明显更少，并且可被配置来最小化对波动的敏感性。图6B的配置由此提供对接触事件的更稳定的感测。此外，示出的实施方案提供拇指或手掌与食指/中指/无名指/小指中的任一个之间的接触的检测。
图6C示出根据本发明的实施方案的具有用于检测手套接口对象的部分之间的接触的导电垫的手套接口对象600。如图所示，导电垫602位于手套接口对象600的拇指部分的尖端处。导电垫604a、604b、604c和604d分别位于手套接口对象600的手指部分的尖端处，以用于食指、中指、无名指和小指。此外，导电垫608位于手套接口对象600的手掌区域上。
此外，示出各种导电垫之间的各种类型的可识别接触情境。根据本发明的实施方案，可识别导电垫之间的以下类型的接触及其组合：拇指到食指(参考610a)、拇指到中指(参考610b)、拇指到无名指(参考610c)、拇指到小指(参考610d)、食指到手掌(参考612a)、中指到手掌(参考612b)、无名指到手掌(参考612c)、小指到手掌(612d)、拇指到手掌(参考614)。
此外，本文讨论的涉及手套接口对象的不同部分之间的接触的检测的原理可扩展，以有助于检测不同手套接口对象(例如左手和右手手套接口对象)的部分之间的接触。
手套600还包括处理/通信模块616，其被配置来处理从手套接口对象600上的传感器(诸如前述压力传感器)接收的数据，并且还与诸如主计算设备的其他设备通信。手套接口对象600的弹性部分618设置在手套接口对象的基部处，以有助于手套接口对象在用户手上的牢固配合。
在一些实现方式中，为了帮助用户在任何手指与手掌之间进行接触，手套接口对象可被配置成在手掌区域中具有附加填料。因此，用于手掌的导电垫608通过附加填料被抬离用户的手掌，以使得任何手指都更容易接触手掌。在另一种实现方式中，附加填料可由嵌入在手套接口对象的手掌区域中的可充气设备限定。可充气设备的充气可通过视频游戏来控制，以提供对象被握在手中的感觉。
图7A示出根据本发明的实施方案的使用食指和拇指的侧面来实现触控板的手套接口对象。手套接口对象700包括位于拇指部分702上的导电垫704。沿着手套接口对象700的食指部分706的侧面限定食指电阻器708。当拇指垫704与食指电阻器708接触时，可确定沿着食指电阻器708的接触位置，并且将其用作诸如视频游戏的交互式应用的输入。此外，还可检测/识别拇指沿食指的移动并将其用于交互。可根据不同的实施方案以不同的方式确定接触位置，如下文进一步详细讨论的。手套接口对象700包括用于处理由拇指垫704与食指电阻器708之间的接触限定的数据的模块710。
拇指沿食指侧面的位置和移动可被检测并用于各种目的，包括但不限于以下各项：菜单导航/选择、音量控制，滑块控制、可变控制、设置调整、发射武器、对武器/盾牌/攻击/对象充电、瞄准武器、执行手势、滑动、显示菜单或选项、改变/交换武器或对象等。此外，音频和/或触觉反馈可提供为拇指沿食指的滑动。例如，可提供指示拇指横过食指的移动的嘶嘶声或沙沙声。当拇指重复地扫过食指时，声音指示可在音调上改变，以进一步向用户指示变量或设置正在改变。
图7B是示出根据本发明的实施方案的用于拇指触控板的电路的示意图。在示出的实施方案中，食指部分被配置成固定电阻器，并且拇指用作类似于电位计的选择器。总电阻被限定在食指侧面的整个长度上，并且拇指基于沿着食指电阻器的长度形成接触的位置来选择电阻的一部分。当接触点从食指电阻器的近端朝向食指电阻器的远端移动时，由食指电阻器施加的有效电阻增加。因此，在模拟输入A0处读取的电压将根据沿着食指电阻器的接触点而变化。
在各种实施方案中，具有合适电阻的导电材料可用于限定食指电阻器。在一个实施方案中，(例如由Bare Conductive有限公司制造的)导电涂料用来限定食指电阻器。在其他实施方案中，可利用可沿着手套接口对象的食指形成以用作固定电阻器的其他类型的材料。
图7C是示出根据本发明的实施方案的用于提供拇指触控板的电路的示意图。在示出的实现方式中，整个电压在食指电阻器(RI)两端下降。拇指用作探头，从而测量在其接触的点处的电压，而基本上不影响食指中的电流和电压。这通过在拇指(RT)处利用非常大的电阻器来实现，以在检验时避免泄漏电流。应理解，拇指被连接到地，以使得当手套被打开并且电话没有触摸食指时，在模拟输入A0处读取的电压是0V。此外，电容器与RT并联连接以平滑响应。电容器还使得最后的电压读取维持持续其放电时间。
尽管在前面的描述中，已参考沿着手套接口对象的食指部分的外侧配置的食指电阻器，但是在其他实现方式中，其他类型的设备可用来提供沿着食指侧面的通过拇指的接触的检测。例如，可沿着食指的侧面限定任何种类的触敏表面，并且可检测拇指尖端到触敏表面的触摸。
本文所述的食指到拇指触控板提供用于用户对交互式应用程序的输入的直观机制。通过确定和跟踪由拇指尖端沿着食指侧面的接触的位置，用户能够简单地通过将拇指触摸到食指侧面并且如果需要沿食指侧面滑动拇指来提供用于交互的连续可调的输入，而不需要保持任何附加对象。可确定并应用沿着食指侧面的触摸点，以限定交互输入。此外，可检测并应用在沿着食指的远端方向的近端或沿着食指的近端方向的远端通过拇指在食指的整个侧面上的滑动，以限定交互输入。以举例的方式而非限制地，可检测并应用在给定方向上的滑动以执行各种功能，诸如滚动、移动对象、导航菜单等。
图7D示出根据本发明的实施方案的具有沿着食指部分的侧面彼此相邻定位的多个接触开关的手套接口对象700。手套接口对象700的拇指部分702包括拇指触点74，并且沿着食指部分706的侧面限定多个食指触点720。食指触点720中的每一个可连接到数字开关，以识别相应的食指触点何时由拇指触点704触摸。
图7E是示出根据本发明的实施方案的用于将上述拇指触控板的功能与参考图6B描述的触摸开关的功能整合的电路的示意图。广义地说，拇指电阻RT被配置成足够高以用作拇指触摸板的探头，但是足够小以用于触摸感测开关。
图8A示出根据本发明的实施方案的其上限定有多个灯的手套接口对象800。如图所示，在手套接口对象800的顶部表面上的指尖和关节位置处限定各种灯或发光对象或区域。更具体地，灯802a、802b、802c、802d和802e被限定在手套接口对象800的指尖处。此外，灯804a和804b被限定在拇指的关节位置处；灯806a、806b和806c被限定在食指的关节位置处；灯808a、808b和808c被限定在中指的关节位置处；灯810a、810b和810c被限定在无名指的关节位置处；灯812a、812b和812c被限定在小指的关节位置处。
灯814被限定在手套接口对象800的手掌区域的背面上。此外，在手环816上提供各种灯818。尽管在示出的实施方案中，灯被示出为在手套的顶部表面上，但是应理解，附加的灯可被限定在手套的底部表面上并且也沿着侧表面，诸如沿着手指的侧表面。
可分析包括手套接口对象的交互式环境的捕获图像以识别手套接口对象上的灯的位置，并且由此确定手套接口对象在三维空间中的位置和取向。应理解，灯可具有各种颜色，并且可连续地或以预定模式进行照射。针对给定功能，可选择性地点亮灯，例如以有助于识别和/或跟踪特定手指。
在一些实现方式中，可以顺序方式点亮灯的各个部分，以有助于检测手套接口对象的特定部分。例如，在一个实施方案中，在第一时间段期间，第一手指上的一个或多个灯被点亮(在第一时间段的持续时间内被打开，并且随后关闭)；在连续的第二时间段期间，第二手指上的一个或多个灯被点亮；等等。对于每根手指，可以循环方式重复所述顺序。在每个连续的时间段期间，通过分析交互式环境的捕获的图像并识别捕获的图像中的点亮的灯来确定手指的位置，这些图像在特定手指的灯被点亮的相应的时间段期间与特定手指相关。
在一些实现方式中，每根手指的点亮的周期与用于在交互式环境中捕获手套接口对象的图像的图像捕获设备的帧速率同步。因此，以举例的方式，如果图像捕获设备的帧速率是每秒60帧，并且对于每个帧捕获，手套接口对象的单根手指被点亮，那么手套接口对象的五根手指中的每一根可被跟踪(基于单独的图像捕获)，具有每秒12次更新的保真度。
图8B示出根据本发明的实施方案的具有各种发光区域的手套接口对象800。在示出的实施方案中，并且发光区域802被限定在手套接口对象800的手掌区域的背面。对应的发光区域814可被限定在手套接口对象800的手掌区域的前部，与区域802相对。此外，发光条带804、806、808、810和812沿着手套接口对象800的拇指、食指、中指、无名指和小指部分的长度来限定。手套接口对象的这些发光部分中的每一个可由灯控制器816来控制。
根据各种实现方式，本文描述的手套接口对象的功能可以各种方式应用于与诸如视频游戏的交互式应用程序的交互。广义地说，本文描述的检测机制可用于检测可用作视频游戏的输入的各种手部姿势、手势、移动等。图9A、9B、9C、9D、9E和9F示出根据本发明实施方案的通过手套接口对象检测到的各种手部姿势及其在虚拟环境中限定交互事件的应用。在参考这些图描述的实施方案中，用户操作控制虚拟环境中的手(或手状对象或其他对象)的手套接口对象。当用户使用用户的手形成某些姿势并且通过手套接口对象检测到这些姿势时，可响应地在虚拟环境中将对象(可选地)呈现为由虚拟环境中的手握持。可响应于来自手套接口对象的另外输入来控制所呈现的对象。
在图9A处，如参考标号902处所示，用户操作手套接口对象900并形成枪姿势，其中拇指和食指伸展并且剩余手指向内卷曲。在一个实施方案中，响应于对这种姿势的检测，如在参考标号904处所示，在虚拟环境中呈现正由手908握持的枪906。枪906的位置和取向由手套接口对象900的移动所控制。此外，在一个实施方案中，通过利用手套接口对象900进行触发运动(即，缩回食指903)来发射枪906。
在图9B处，如参考标号910处所示，用户操作手套接口对象900并形成“V”姿势(或“和平”姿势)，其中他们的食指和中指伸展，并且剩余手指向内卷曲。在一个实施方案中，响应于检测到这种姿势，花914被示出为在虚拟环境中由手908握持，如参考标号912处所示。用户手的移动影响在虚拟环境中握持花914的手908的移动。
在图9C处，如参考标号920处所示，当用户在佩戴手套900时形成拳头姿势时，随后作为响应，剑924被示出为在虚拟环境中由手908握持，如参考标号922处所示。可基于从手套接口对象900检测到的移动来控制剑的移动。
在图9D处，在参考标号930处，用户形成拇指和小指伸展并且其余手指朝向手掌卷曲的姿势。响应于检测到这种姿势，电话934被示为正由虚拟手908握持。可通过在真实世界中操纵手套接口对象来在虚拟环境中操纵电话908。
在另外的实施方案中，可检测并应用涉及两只手(两个手套接口对象)的手势。参考图9E，用户的两只手被示出形成“照相”姿势，其中一只手的拇指和食指的尖端分别触摸另一只手的食指和拇指的尖端。在一个实施方案中，响应于对这种姿势的检测，捕获虚拟环境的视图的图像或视频。在一个实施方案中，手可在虚拟环境中表示，并且图像/视频捕获的视图可通过由虚拟环境中的手形成的框架的视图来限定。在另一个实施方案中，执行屏幕捕获。在一个实施方案中，当形成姿势时启动视频捕获，并且当姿势被破坏时终止视频捕获。在一个实施方案中，重复执行图像捕获，直到姿势被破坏为止。
在图9F处，如在参考标号950处所示，两只手被示出为作出“T”符号，其中一只手的指尖中的至少一个触摸另一只手的手掌。响应于检测到这种姿势，可暂停视频游戏或者可调用超时。
图10A示意性地示出根据本发明的实施方案的用于使用手套接口对象与交互式应用程序交接的系统。手套接口对象1000包括弯曲传感器1010、压力传感器1012、触摸开关1014、惯性传感器1016和生物传感器1018。数据流处理器1020被配置来处理来自各种传感器的数据。将理解，在各种实施方案中，数据流处理器1020可不同程度地处理传感器数据，包括确定量化感测活动的值，识别姿势、手势，移动等。触觉反馈控制器1022被配置来控制触觉反馈设备1024的操作。灯控制器1026被配置来控制灯1028的操作。通信接口被配置来向/从其他设备传送数据。
计算设备1040被配置来执行视频游戏，并且与手套接口对象1000通信。视频游戏呈现在显示器/HMD 1042上。图像/声音捕获设备1044从用户所处的交互式环境捕获图像和声音。
图10B示出根据本发明的实施方案的计算设备1040的附加部件。手套接口对象1000将通过手套接口对象的各种传感器检测/处理的手势数据提供给手势识别器1050。手姿势识别器1050可限定用于识别用户手的姿势的手姿势识别器1052和用于识别用户手的动态移动的手运动识别器1054，诸如用户手的姿势的运动和/或变化。这些限定通过手套接口对象1000检测到的提供给视频游戏1060作为输入的手势。在一个实施方案中，提供姿势库1056，其包含限定各种姿势的参考数据，所述参考数据可用于识别视频游戏的姿势。
图像数据处理器1058处理由图像捕获设备1044捕获的图像，以识别可跟踪对象，诸如手套接口对象1000上的灯。手跟踪处理器1062被配置来基于所识别的可跟踪对象以及来自手套接口对象1000的惯性数据1072来执行用户手的位置跟踪1064和取向跟踪1066。手套接口对象(由用户手限定)的位置和取向也可提供为视频游戏1060的输入。视频游戏1060可生成用于传输到手套接口对象1000的触觉反馈数据1074，由此产生触觉反馈。视频游戏1076还可生成用于控制手套接口对象1000上的灯的灯控制数据1076。此外，视频游戏1060产生用于由显示器/HMD 1042呈现的视频/音频数据1078。
在一些实施方案中，手套接口对象由内手套和外手套限定。内手套是可移除和可洗的，而外手套包含用于手套接口对象的如本文所述的功能的硬件。此外，内手套可用作隔离物，以将手套接口对象的硬件与用户隔离。
在一些实施方案中，可通过在用户沿着表面移动他的手指时以各种频率振动指尖来模拟纹理来提供触觉反馈。
在一些实施方案中，力反馈机构可包括在手套接口对象中。可包括对抗用户的手/手指的运动的设备，以模拟在进行这种运动时遇到的阻力。例如，力反馈机构可对抗闭合人手指的运动，因此模拟抓握/握持对象的感觉。
在一些实施方案中，可提供压力反馈机构，其作为反馈机构向手的至少一部分施加压力。例如，例如当触摸虚拟对象时夹具可挤压手指来作为反馈。
应理解，由手套接口对象提供的输入可用于提供对虚拟环境中的对象的实时控制。在一些实施方案中，由手套接口对象提供的输入提供对虚拟环境中的非手形对象的控制，诸如使得能够对对象进行操纵。在一些实施方案中，由手套接口对象提供的输入提供对由用户控制的角色的手臂或手形对象的控制。当在介绍HMD设备的上下文中利用时，手套接口对象可提供关于在虚拟环境中的角色的手臂/手或类似附肢的控制的高度沉浸式和直观体验。也就是说，用户可体验到仿佛虚拟手臂/手或附肢真的是他们自己的手臂/手的感觉，这来源于由手套接口对象提供的实时控制和响应性结合HMD设备的高度沉浸式呈现。
参考图11，示出根据本发明的实施方案的手套接口对象104的部件的图。手套接口对象104包括用于执行程序指令的处理器1100。提供存储器1102用于存储目的，并且所述存储器1102可包括易失性和非易失性存储器。提供电池1106作为手套接口对象104的电源。运动检测模块1108可包括各种类型的运动敏感硬件中的任何一种，诸如磁力计1110、加速度计1112和陀螺仪1114。
手套接口对象104包括用于提供音频输出的扬声器1120。另外，可包括麦克风1122以用于从真实环境捕获音频，包括来自周围环境的声音、由用户作出的语音等。手套接口对象104包括用于向用户提供触觉反馈的触觉反馈模块1124。在一个实施方案中，触觉反馈模块1124能够引起手套接口对象104的移动和/或振动，以便向用户提供触觉反馈。
LED 1126被提供为手套接口对象104的状态的视觉指示器。例如，LED可指示电池电量、通电等。USB接口1130被包括为用于使得能够连接外围设备或者连接到诸如其他便携式设备、计算机等的其他设备的接口的一个实例。在手套接口对象104的各种实施方案中，可包括各种类型的接口中的任一种接口以使得手套接口对象104能够具有更大的连接性。
包括WiFi模块1132，以用于实现通过无线网络技术连接到互联网。另外，手套接口对象104包括用于实现与其他设备的无线连接的蓝牙模块1134。还可包括通信链路1136以用于连接到其他设备。在一个实施方案中，通信链路1136利用红外传输来进行无线通信。在其他实施方案中，通信链路1136可利用各种无线或有线传输协议中的任一种来与其他设备通信。
包括输入按钮/传感器1138以为用户提供输入接口。可包括各种类型的输入接口中的任何一种，诸如按钮、触摸板、操纵杆、轨迹球等。超声通信模块1140可包括在手套接口对象104中，以用于促进通过超声技术与其他设备的通信。
包括生物传感器1142以能够检测来自用户的生理数据。在一个实施方案中，生物传感器1142包括一个或多个干电极，以用于通过用户的皮肤检测用户的生物电信号。
手套接口对象104的前述部件已描述为仅仅可包括在手套接口对象104中的示例性部件。在本发明的各种实施方案中，手套接口对象104可包括或可不包括各种上述部件中的一些。手套接口对象104的实施方案可另外包括目前未描述但是本领域已知的其他部件，以用于有助于如本文所描述的本发明的各方面的目的。
本领域技术人员将理解，在本发明的各种实施方案中，上述手持设备可与显示器上显示的交互式应用程序结合使用，以提供各种交互功能。本文描述的示例性实施方案仅以举例的方式提供，而不是作为限制。
参考图12，示出根据本发明的实施方案的示出头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。提供存储器1302用于存储目的，并且所述存储器1302可包括易失性和非易失性存储器。包括显示器1304，其提供用户可观看的可视界面。提供电池1306作为头戴式显示器102的电源。运动检测模块1308可包括各种类型的运动敏感硬件中的任何一种，诸如磁力计1310、加速度计1312和陀螺仪1314。
加速度计是用于测量加速度和重力引起的反作用力的设备。单轴和多轴模型可用于检测不同方向上的加速度的大小和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，三个加速度计1312用于提供重力方向，其给出两个角度(自然空间俯仰和自然空间滚转)的绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力计1310，从而确保自然空间偏航角的绝对参考。在一个实施方案中，磁力计被设计成跨越地球磁场，其为±80微特斯拉。磁力计受金属影响，并且提供在实际偏航情况下是单调的偏航测量。磁场可能由于环境中的金属而扭曲，这导致偏航测量中的扭曲。如果需要，这种扭曲可使用来自其他传感器(诸如陀螺仪或摄像机)的信息来校准。在一个实施方案中，加速度计1312与磁力计1310一起使用以获得头戴式显示器102的倾斜度和方位角。
陀螺仪是用于基于角动量的原理测量或维持取向的设备。在一个实施方案中，三个陀螺仪1314基于惯性感测提供关于跨相应轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可随时间漂移而不存在绝对参考。这需要定期重置陀螺仪，这可使用其他可用信息来完成，诸如基于对象、加速度计、磁力计等的视觉跟踪的位置/取向确定。
提供摄像机1316以用于捕获真实环境的图像和图像流。头戴式显示器102中可包括多于一个摄像机，包括(当用户正在观看头戴式显示器102的显示器时远离用户指向的)面向后的摄像机，以及(当用户正在观看头戴式显示器102的显示器时朝向用户指向的)面向前的摄像机。此外，深度摄像机1318可包括在头戴式显示器102中，以用于感测真实环境中的对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320。另外，可包括麦克风1322，以用于从真实环境捕获音频，包括来自周围环境的声音、由用户作出的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
LED 1326被提供为头戴式显示器102的状态的视觉指示器。例如，LED可指示电池电量、通电等。提供读卡器1328以使得头戴式显示器102能够向存储卡写入信息并且从存储卡读取信息。USB接口1330被包括为用于使得能够连接外围设备或者连接到诸如其他便携式设备、计算机等的其他设备的接口的一个实例。在头戴式显示器102的各种实施方案中，可包括各种类型的接口中的任一种接口以使得头戴式显示器102能够具有更大的连接性。
包括WiFi模块1332，以用于实现通过无线网络技术连接到互联网。另外，头戴式显示器102包括用于实现与其他设备的无线连接的蓝牙模块1334。还可包括通信链路1336以用于连接到其他设备。在一个实施方案中，通信链路1336利用红外传输来进行无线通信。在其他实施方案中，通信链路1336可利用各种无线或有线传输协议中的任一种来与其他设备通信。
包括输入按钮/传感器1338以为用户提供输入接口。可包括各种类型的输入接口中的任何一种，诸如按钮、触摸板、操纵杆、轨迹球等。超声通信模块1340可包括在头戴式显示器102中，以用于促进通过超声技术与其他设备的通信。
包括生物传感器1342以能够检测来自用户的生理数据。在一个实施方案中，生物传感器1342包括一个或多个干电极，以用于通过用户的皮肤检测用户的生物电信号。
头戴式显示器102的前述部件已描述为仅仅可包括在头戴式显示器102中的示例性部件。在本发明的各种实施方案中，头戴式显示器102可包括或可不包括各种上述部件中的一些。头戴式显示器102的实施方案可另外包括目前未描述但是本领域已知的其他部件，以用于有助于如本文所描述的本发明的各方面的目的。
本领域技术人员将理解，在本发明的各种实施方案中，上述手持设备可与显示器上显示的交互式应用程序结合使用，以提供各种交互功能。本文描述的示例性实施方案仅以举例的方式提供，而不是作为限制。
图13是根据本发明的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来通过网络1415提供到一个或多个客户端1410的视频流。游戏系统1400通常包括视频服务器系统1420和可选的游戏服务器1425。视频服务器系统1420被配置来向具有最小服务质量的一个或多个客户端1410提供视频流。例如，视频服务器系统1420可接收改变视频游戏内的状态或视点的游戏命令，并且向客户端1410提供反映具有最小滞后时间的这种状态改变的更新的视频流。视频服务器系统1420可被配置来以各种各样的替代视频格式提供视频流，包括尚待限定的格式。此外，视频流可包括被配置用于以各种各样的帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒1420帧。尽管在本发明的替代实施方案中包括更高或更低的帧速率。
客户端1410(在本文中单独称为1410A、1410B等)可包括头戴式显示器、终端、个人计算机、游戏机、平板计算机、电话、机顶盒、电话亭、无线设备、数字板、单独设备、手持式游戏设备等。通常，客户端1410被配置来接收所编码的视频流，解码视频流，以及将所得视频显现给用户，例如游戏的玩家。接收所编码的视频流和/或解码视频流的过程通常包括将独立的视频帧存储在客户端的接收缓冲器中。可在与客户端1410成一体的显示器上或在诸如监视器或电视等的单独设备上将视频流显现给用户。客户端1410可选地被配置成支持多于一个的游戏玩家。例如，游戏机可被配置来支持两个、三个、四个或更多个同时玩家。这些播放器中的每一个可接收单独的视频流，或者单个视频流可包括专门为每个播放器生成的例如基于每个播放器的视点生成的帧的区域。客户端1410可选地在地理上分散。包括在游戏系统1400中的客户端的数量可从一个或两个到几千、几万或更多变化很大。如本文使用的，术语“游戏玩家”用于指玩游戏的人，并且术语“游戏设备”用于指用于玩游戏的设备。在一些实施方案中，游戏设备可指协作来向用户递送游戏体验的多个计算设备。例如，游戏机和HMD可与视频服务器系统1420协作来递送通过HMD观看的游戏。在一个实施方案中，游戏机从视频服务器系统1420接收视频流，并且游戏机将视频流或对视频流的更新转发到HMD以便进行呈现。
客户端1410被配置来通过网络1415接收视频流。网络1415可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中，通过诸如TCP/IP或UDP/IP的标准协议来传送视频流。可替代地，通过专属标准来传送视频流。
客户端1410的典型实例是包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入设备的个人计算机。解码逻辑可包括存储在计算机可读介质上的硬件、固件和/或软件。用于解码(和编码)视频流的系统在本领域中是众所周知的，并且根据所使用的特定编码方案而变化。
客户端1410可以但不要求还包括被配置用于修改所接收视频的系统。例如，客户端可被配置来执行进一步的呈现，将一个视频图像覆盖在另一个视频图像上，裁剪视频图像等。例如，客户端1410可被配置来接收各种类型的视频帧，诸如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1410的成员被配置来对视频流执行进一步的呈现、阴影、转换成3-D或类似操作。客户端1410的成员可选地被配置来接收多于一个音频或视频流。客户端1410的输入设备可包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、定点设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、摄像机、还有待开发的输入设备等。
由客户端1410接收的视频流(以及可选的音频流)由视频服务器系统1420生成并提供。如本文其他地方进一步描述的，此视频流包括视频帧(并且音频流包括音频帧)。视频帧被配置(例如，它们包括在适当的数据结构中的像素信息)来有意义地促成为用户显示的图像。如本文使用的，术语“视频帧”用于指主要包括被配置来促成(例如实现)示出给用户的图像的信息的帧。本文关于“视频帧”的大多数教义也可应用于“音频帧”。
客户端1410通常被配置来从用户接收输入。这些输入可包括被配置来改变视频游戏的状态或以其他方式影响游戏的游戏命令。游戏命令可使用输入设备来接收并且/或者可通过在客户端1410上执行的计算指令来自动生成。所接收的游戏命令从客户端1410通过网络1415传送到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令通过视频服务器系统1420被传送到游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传送到游戏服务器1425和视频服务器系统1420。游戏命令的通信可选地取决于命令的身份。可选地，游戏命令从客户端1410A通过用于向客户端1410A提供音频或视频流的不同路线或通信信道来传送。
游戏服务器1425可选地由与视频服务器系统1420不同的实体来操作。例如，游戏服务器1425可由多玩家游戏的发行者来操作。在此实例中，视频服务器系统1420可选地被游戏服务器1425视为客户端，并且可选地被配置成从游戏服务器1425的视点看来是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信可选地通过网络1415发生。因此，游戏服务器1425可以是向多个客户端发送游戏状态信息的现有技术的多玩家游戏服务器，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可被配置成同时与游戏服务器1425的多个实例进行通信。例如，视频服务器系统1420可被配置来向不同用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可由不同的游戏服务器1425支持和/或由不同的实体发布。在一些实施方案中，视频服务器系统1420的若干个地理上分布的实例被配置来向多名不同的用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可与游戏服务器1425的同一个实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信可选地通过专用通信信道发生。例如，视频服务器系统1420可通过这两个系统之间的通信专用的高带宽信道而连接到游戏服务器1425。
视频服务器系统1420至少包括视频源1430、I/O设备1445、处理器1450和非暂时性存储装置1455。视频服务器系统1420可包括一个计算设备或者分布在多个计算设备之间。这些计算设备可选地通过诸如局域网的通信系统来连接。
视频源1430被配置来提供视频流，例如流式视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置来从播放器接收游戏命令并且基于接收到的命令来维持视频游戏的状态的副本。这种游戏状态包括游戏环境中的对象的位置，以及典型的视点。游戏状态还可包括对象的属性、图像、颜色和/或纹理。通常基于游戏规则以及诸如移动、转向、攻击、设置焦点、交互、使用等的游戏命令来维持游戏状态。游戏引擎的部分可选地设置在游戏服务器1425内。游戏服务器1425可基于使用地理上分散的客户端从多个玩家接收的游戏命令来维持游戏状态的副本。在这些情况下，游戏状态由游戏服务器1425提供给视频源1430，其中存储游戏状态的副本并执行呈现。游戏服务器1425可通过网络1415直接从客户端1410接收游戏命令，并且/或者可通过视频服务器系统1420接收游戏命令。
视频源1430通常包括呈现逻辑，例如存储在计算机可读介质(诸如存储装置1455)上的硬件、固件和/或软件。此呈现逻辑被配置来基于游戏状态创建视频流的视频帧。呈现逻辑的全部或部分可选地设置在图形处理单元(GPU)内。呈现逻辑通常包括被配置用于确定对象之间的三维空间关系和/或用于基于游戏状态和视角来应用适当的纹理等的处理级。呈现逻辑产生随后通常在与客户端1410通信之前进行编码的原始视频。例如，可根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、实际视频、mp3等来对原始视频进行编码。编码过程产生视频流，所述视频流可选地被封装以用于递送到远程设备上的解码器。视频流的特征在于帧大小和帧速率。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x 768，尽管可使用任何其他帧大小。帧速率是每秒视频帧的数量。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示设备上的所有宏块/像素的信息，而P帧包括用于刷新宏块/像素的子集的信息。P帧通常在数据大小上小于I帧。如本文使用的，术语“帧大小”意指帧内的像素数量。术语“帧数据大小”是用来指存储所述帧所需的字节数。
在替代实施方案中，视频源1430包括诸如摄像机的视频录制设备。此摄像机可用来生成可包括在计算机游戏的视频流中的延迟或实况视频。所得到的视频流可选地包括呈现的图像和使用照相机或摄像机记录的图像。视频源1430还可包括被配置来存储先前记录的视频以包括在视频流中的存储设备。视频源1430还可包括被配置来检测对象(例如，人)的运动或位置的运动或定位感测设备，以及被配置来基于所检测的运动和/或位置确定游戏状态或者产生视频的逻辑。
视频源1430可选地被配置来提供被配置成放置在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络摄像机视频)。在客户端1410A包括触摸屏接口或注视检测接口的实施方案中，所述叠加可包括虚拟键盘、操纵杆、触摸板等。在叠加的一个实例中，玩家的语音被覆盖在音频流上。视频源1430可选地还包括一个或多个音频源。
在视频服务器系统1420被配置来基于来自多于一个播放器的输入来维持游戏状态的实施方案中，每个播放器可具有包括位置和视向的不同视点。视频源1430可选地被配置来基于每个玩家的视点来为每个玩家提供单独的视频流。此外，视频源1430可被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430可选地被配置来提供3-D视频。
I/O设备1445被配置用于视频服务器系统1420，用来发送和/或接收信息，所述信息诸如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备定位、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等。I/O设备1445通常包括诸如网卡或调制解调器的通信硬件。I/O设备1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置来执行逻辑(例如软件)，所述逻辑包含在本文讨论的视频服务器系统1420的各种部件内。例如，处理器1450可用软件指令编程以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420可选地包括处理器1450的多于一个实例。处理器1450还可用软件指令编程，以便执行由视频服务器系统1420接收的命令，或者协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件设备。处理器1450是电子处理器。
存储装置1455包括非暂态模拟和/或数字存储设备。例如，存储装置1455可包括被配置来存储视频帧的模拟存储设备。存储装置1455可包括计算机可读数字存储装置，例如硬盘驱动器、光盘驱动器或固态存储装置。存储装置1415被配置(例如，通过适当的数据结构或文件系统)来存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等。存储装置1455可选地分布在多个设备之间。在一些实施方案中，存储装置1455被配置来存储本文其他地方讨论的视频源1430的软件部件。这些部件可在需要时以准备好提供的格式来存储。
视频服务器系统1420可选地还包括客户端限定器1460。客户端限定器1460被配置用于远程确定客户端的能力，诸如客户端1410A或1410B。这些能力可包括客户端1410A本身的能力以及客户端1410A与视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定器1460可被配置来测试通过网络1415的通信信道。
客户端限定器1460可手动或自动地确定(例如，发现)客户端1410A的能力。手动确定包括与客户端1410A的用户通信并且要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置来在客户端1410A的浏览器内显示图像、文字等。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一个实施方案中，客户端1410A是具有可在HMD上显示的浏览器的游戏机。所显示的对象请求用户输入客户端1410A的信息，诸如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1460传达回用户所输入的信息。
自动确定可例如通过在客户端1410A上执行代理程序和/或通过向客户端1410A发送测试视频来发生。代理程序可包括嵌入在网页中或者作为附加组件安装的计算指令，诸如java脚本。代理程序任选地由客户端限定器1460提供。在各种实施方案中，代理程序可查明客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A与视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示类型、客户端1410A上存在的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、客户端1410A内的注册表条目等。
客户端限定器1460包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1460可选地设置在与视频服务器系统1420的一个或多个其他元件分开的计算设备上。例如，在一些实施方案中，客户端限定器1460被配置来确定客户端1410与视频服务器系统1420的多于一个实例之间的通信信道的特性。在这些实施方案中，由客户端限定器所发现的信息可用来确定视频服务器系统1420的哪个实例最适合于向客户端1410中的一个递送流式视频。
本发明的实施方案可用包括手持设备、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。本发明还可在分布式计算环境中实践，其中由通过有线或无线网络加以链接的远程处理设备执行任务。
考虑到上述实施方案，应理解，本发明可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理量的物理操纵的操作。形成本发明的一部分的本文所述的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。所述装置可为了所需目的而特别构造，或者所述装置可以是通过存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可与根据本文的教义编写的计算机程序一起使用，或者可更方便地构造更专用的装置来执行所需操作。
本发明还可实现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，其可随后由计算机系统进行读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储设备。计算机可读介质可包括分布在网络联接计算机系统上的计算机可读有形介质，以使得计算机可读代码以分布式方式存储并执行。
尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可在操作之间执行，或者可调整操作以使得它们在略微不同的时间发生，或者可分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
尽管为了清晰理解的目的已详细描述了前述发明，将会明显的是可以在所附权利要求书的范围内实施某些变化和修改。因此，本实施方案将认为是说明性的并且不是限制性的，并且本发明并不局限于在此给出的细节中，而是可以在本公开的范围和等效物中进行修改。

Claims (28)

1.一种手套接口对象，其包括：
至少一个弯曲传感器，其被配置来产生识别所述手套接口对象的至少一个手指部分的弯曲的弯曲传感器数据；
至少一个接触传感器，其被配置来产生识别所述手套接口对象的第一部分上限定的第一导电垫与所述手套接口对象的第二部分上限定的第二导电垫之间的接触的接触传感器数据，其中响应于由所述第一导电垫和所述第二导电垫之间的接触触发的检测信号，生成所述接触传感器数据；
其中所述接触传感器数据包括识别在其上限定所述第一导电垫的所述手套接口对象的拇指部分与在其上限定所述第二导电垫的所述手套接口对象的至少一个其他手指部分的指尖部分之间的接触的数据，其中所述第一导电垫的电压与所述第二导电垫的电压不同；
通信模块，其被配置来将所述弯曲传感器数据和所述接触传感器数据传输到计算设备以便进行处理，以确定所述手套接口对象的手指位置姿势，所述手指位置姿势被应用于在头戴式显示器HMD上的虚拟环境的视图中呈现虚拟手，所述虚拟手基于所述识别的手指位置姿势来呈现。
2.如权利要求1所述的手套接口对象，其中所述接触传感器数据包括识别在其上限定所述第一导电垫的所述手套接口对象的至少一个手指部分与在其上限定所述第二导电垫的所述手套接口对象的手掌部分之间的接触的数据。
3.如权利要求1所述的手套接口对象，
其中从所述虚拟环境中与所述头戴式显示器相关联的虚拟角色的角度来限定所述虚拟环境的所述视图；
其中所述虚拟手是所述虚拟角色的手。
4.如权利要求1所述的手套接口对象，其还包括：
可跟踪对象，所述可跟踪对象被配置成在交互期间被点亮，所述可跟踪对象被配置成通过所述计算设备从捕获的图像数据中进行识别，以使得能够在交互式环境中跟踪所述手套接口对象的位置；
其中所述虚拟手被呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置限定的位置处。
5.如权利要求1所述的手套接口对象，其还包括：
至少一个惯性传感器，所述惯性传感器用于产生惯性传感器数据；
其中所述通信模块被配置来将所述惯性传感器数据传输到所述计算设备以便进行处理来识别和跟踪所述手套接口对象在交互式环境中的位置；
其中所述虚拟手被呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置限定的位置处。
6.如权利要求1所述的手套接口对象，
其中所述通信模块被配置来从所述计算设备接收触觉反馈数据；
所述手套接口对象还包括被配置来基于所述触觉反馈数据生成触觉反馈的触觉反馈机构。
7.如权利要求1所述的手套接口对象，其还包括：
至少一个压力传感器，所述至少一个压力传感器被配置来生成压力传感器数据，所述压力传感器数据识别施加到所述手套接口对象的至少一部分的压力；
其中所述通信模块被配置来将所述压力传感器数据发送到所述计算设备以便进行处理来确定所述手指位置姿势。
8.如权利要求7所述的手套接口对象，
其中所述压力传感器数据量化施加到所述手套接口对象的至少一部分的压力的量；并且
其中所述量化的压力的量限定所述虚拟环境限定的动作的级别。
9.如权利要求1所述的手套接口对象，其中所述HMD包括，
观看模块，其包括具有被配置用于呈现限定所述虚拟环境的所述视图的图像内容的屏幕中的视图端口的内侧；
HMD通信模块，其用于与所述计算设备交换数据；
图像处理模块，其用于处理从所述计算设备接收的图像数据，以用于在所述屏幕上呈现所述图像内容；
多个发光元件，其与所述观看模块的外部壳体整合，所述多个发光元件被限定用于通过摄像机对所述HMD的图像跟踪；
发光逻辑，其用于控制所述多个发光元件启动或不启动；以及
至少一个惯性传感器，其限定用于所述HMD的惯性跟踪。
10.一种呈现方法，其包括：
向头戴式显示器(HMD)呈现虚拟环境的视图；
从手套接口对象接收弯曲传感器数据，所述弯曲传感器数据识别所述手套接口对象的至少一个手指部分的弯曲；
从所述手套接口对象接收接触传感器数据，所述接触传感器数据识别所述手套接口对象的第一部分上限定的第一导电垫与所述手套接口对象的第二部分上限定的第二导电垫之间的接触，其中响应于由所述第一导电垫和所述第二导电垫之间的接触触发的检测信号，生成所述接触传感器数据；
其中所述接触传感器数据包括识别在其上限定所述第一导电垫的所述手套接口对象的拇指部分与在其上限定所述第二导电垫的所述手套接口对象的至少一个其他手指部分的指尖部分之间的接触的数据，其中所述第一导电垫的电压与所述第二导电垫的电压不同；
处理所述弯曲传感器数据和所述接触传感器数据以确定所述手套接口对象的手指位置姿势；
在所述虚拟环境的所述视图中呈现虚拟手，所述虚拟手基于所述识别的手指位置姿势来呈现。
11.如权利要求10所述的方法，其中所述接触传感器数据包括识别在其上限定所述第一导电垫的所述手套接口对象的至少一个手指部分与在其上限定所述第二导电垫的所述手套接口对象的手掌部分之间的接触的数据。
12.如权利要求10所述的方法，
其中从所述虚拟环境中与所述头戴式显示器相关联的虚拟角色的角度来限定所述虚拟环境的所述视图；
其中所述虚拟手是所述虚拟角色的手。
13.如权利要求10所述的方法，其还包括：
接收交互式环境的捕获的图像数据；
处理所述捕获的图像数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；
其中将所述虚拟手呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置限定的位置处。
14.如权利要求10所述的方法，其还包括：
从所述手套接口对象接收惯性传感器数据；
处理所述惯性传感器数据以识别和跟踪所述手套接口对象在交互式环境中的位置；
其中将所述虚拟手呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置和取向限定的位置处。
15.如权利要求10所述的方法，其还包括：
检测所述虚拟手与所述虚拟环境中的虚拟对象之间的接触；
基于所述虚拟手与所述虚拟对象之间的所述检测的接触来产生触觉反馈数据；
将所述触觉反馈数据发送到所述手套接口对象。
16.如权利要求10所述的方法，其还包括：
接收压力传感器数据，所述压力传感器数据识别施加到所述手套接口对象的至少一部分的压力；
其中确定所述手指位置姿势包括处理所述压力传感器数据。
17.如权利要求16所述的方法，
其中所述压力传感器数据量化施加到所述手套接口对象的至少一部分的压力的量；并且
其中所述量化的压力的量限定所述虚拟环境限定的动作的级别。
18.如权利要求10所述的方法，
其中将所述虚拟环境的所述视图呈现给所述HMD包括生成图像数据并将所述图像数据发送给所述HMD，所述HMD具有用于处理所述图像数据以在所述HMD的观看模块的屏幕上呈现图像内容的图像处理模块，所述观看模块包括具有被配置用于呈现限定所述虚拟环境的所述视图的所述图像内容的所述屏幕中的视图端口的内侧；
接收与所述HMD的所述观看模块的外部壳体整合的多个发光元件的捕获的图像数据，以及处理所述捕获的图像数据以跟踪所述HMD。
19.一种呈现方法，其包括：
向头戴式显示器HMD呈现虚拟环境的视图；
从手套接口对象接收弯曲传感器数据，所述弯曲传感器数据识别所述手套接口对象的至少一个手指部分的弯曲；
接收压力传感器数据，所述压力传感器数据识别施加到所述手套接口对象的至少一部分的压力；
处理所述弯曲传感器数据和所述压力传感器数据以确定所述手套接口对象的手指位置姿势；
接收交互式环境的捕获的图像数据；
处理所述捕获的图像数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置，其中处理所述捕获的图像数据包括识别和跟踪在所述手套接口对象上限定的一个或多个灯；
在所述虚拟环境的所述视图中呈现虚拟手，所述虚拟手基于所述识别的手指位置姿势来呈现，其中将所述虚拟手呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置限定的位置处。
20.如权利要求19所述的方法，其中所述压力传感器数据量化施加到所述手套接口对象的所述至少一部分的压力的量。
21.如权利要求20所述的方法，其中所述量化的压力的量限定所述虚拟环境限定的动作的级别。
22.如权利要求19所述的方法，
其中从所述虚拟环境中与所述头戴式显示器相关联的虚拟角色的角度来限定所述虚拟环境的所述视图；
其中所述虚拟手是所述虚拟角色的手。
23.如权利要求19所述的方法，其还包括：
从所述手套接口对象接收惯性传感器数据；
处理所述惯性传感器数据以识别和跟踪所述手套接口对象在所述交互式环境中的位置；
其中将所述虚拟手呈现在所述虚拟环境中的由所述手套接口对象在所述交互式环境中的所述位置和取向限定的位置处。
24.如权利要求19所述的方法，其还包括：
检测所述虚拟手与所述虚拟环境中的虚拟对象之间的接触；
基于所述虚拟手与所述虚拟对象之间的所述检测的接触来产生触觉反馈数据；
将所述触觉反馈数据发送到所述手套接口对象。
25.如权利要求24所述的方法，其还包括：
在所述虚拟环境的所述视图中呈现响应于所述虚拟手与所述虚拟对象之间的所述检测的接触的视觉反馈。
26.如权利要求19所述的方法，
其中将所述虚拟环境的所述视图呈现给所述HMD包括生成图像数据并将所述图像数据发送给所述HMD，所述HMD具有用于处理所述图像数据以在所述HMD的观看模块的屏幕上呈现图像内容的图像处理模块，所述观看模块包括具有被配置用于呈现限定所述虚拟环境的所述视图的所述图像内容的所述屏幕中的视图端口的内侧；
接收与所述HMD的所述观看模块的外部壳体整合的多个发光元件的捕获的图像数据，以及处理所述捕获的图像数据以跟踪所述HMD。
27.如权利要求26所述的方法，其中通过跟踪所述HMD的取向或位置中的一个或多个来限定跟踪所述HMD。
28.如权利要求19所述的方法，其中所述一个或多个灯包括一个或多个LED。
CN201580042497.6A 2014-08-22 2015-08-21 手套接口对象 Active CN106575159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710311222.9A CN107368183B (zh) 2014-08-22 2015-08-21 用于提供输入的手套

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462041023P 2014-08-22 2014-08-22
US62/041,023 2014-08-22
US201462058029P 2014-09-30 2014-09-30
US62/058,029 2014-09-30
US14/517,741 2014-10-17
US14/517,741 US10019059B2 (en) 2014-08-22 2014-10-17 Glove interface object
PCT/US2015/046414 WO2016029183A1 (en) 2014-08-22 2015-08-21 Glove interface object

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710311222.9A Division CN107368183B (zh) 2014-08-22 2015-08-21 用于提供输入的手套

Publications (2)

Publication Number Publication Date
CN106575159A CN106575159A (zh) 2017-04-19
CN106575159B true CN106575159B (zh) 2019-08-20

Family

ID=55348289

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710311222.9A Active CN107368183B (zh) 2014-08-22 2015-08-21 用于提供输入的手套
CN201580042497.6A Active CN106575159B (zh) 2014-08-22 2015-08-21 手套接口对象

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710311222.9A Active CN107368183B (zh) 2014-08-22 2015-08-21 用于提供输入的手套

Country Status (5)

Country Link
US (4) US10055018B2 (zh)
EP (2) EP3183633B1 (zh)
JP (2) JP2017530452A (zh)
CN (2) CN107368183B (zh)
WO (2) WO2016029183A1 (zh)

Families Citing this family (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047171A2 (en) 2009-10-16 2011-04-21 Kesumo, Llc Foot-operated controller
US9076419B2 (en) 2012-03-14 2015-07-07 Bebop Sensors, Inc. Multi-touch pad controller
AU2014248874B2 (en) * 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9965076B2 (en) 2014-05-15 2018-05-08 Bebop Sensors, Inc. Piezoresistive sensors and applications
US9442614B2 (en) 2014-05-15 2016-09-13 Bebop Sensors, Inc. Two-dimensional sensor arrays
US9753568B2 (en) 2014-05-15 2017-09-05 Bebop Sensors, Inc. Flexible sensors and applications
US9696833B2 (en) 2014-05-15 2017-07-04 Bebop Sensors, Inc. Promoting sensor isolation and performance in flexible sensor arrays
US10362989B2 (en) * 2014-06-09 2019-07-30 Bebop Sensors, Inc. Sensor system integrated with a glove
US9710060B2 (en) * 2014-06-09 2017-07-18 BeBop Senors, Inc. Sensor system integrated with a glove
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US9652038B2 (en) 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
US9665174B2 (en) * 2015-02-20 2017-05-30 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips with peripheral devices
US9863823B2 (en) 2015-02-27 2018-01-09 Bebop Sensors, Inc. Sensor systems integrated with footwear
US10082381B2 (en) 2015-04-30 2018-09-25 Bebop Sensors, Inc. Sensor systems integrated with vehicle tires
US9827996B2 (en) 2015-06-25 2017-11-28 Bebop Sensors, Inc. Sensor systems integrated with steering wheels
US10551916B2 (en) 2015-09-24 2020-02-04 Facebook Technologies, Llc Detecting positions of a device based on magnetic fields generated by magnetic field generators at different positions of the device
US10261592B2 (en) 2015-10-08 2019-04-16 Facebook Technologies, Llc Optical hand tracking in virtual reality systems
US10368007B2 (en) * 2015-10-08 2019-07-30 Sony Interactive Entertainment Inc. Control apparatus, head-mounted display, control system, control method, and program
US9721553B2 (en) 2015-10-14 2017-08-01 Bebop Sensors, Inc. Sensor-based percussion device
US9857874B2 (en) * 2015-11-03 2018-01-02 Chunghwa Picture Tubes, Ltd. Augmented reality system and augmented reality interaction method
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US10197459B2 (en) * 2015-12-17 2019-02-05 Facebook Technologies, Llc Indexable strain sensor
US10509468B2 (en) * 2016-01-27 2019-12-17 Tactai, Inc. Providing fingertip tactile feedback from virtual objects
CN107149771A (zh) * 2016-03-04 2017-09-12 宏达国际电子股份有限公司 无线控制装置、位置标定器及配件
US10162414B2 (en) * 2016-03-04 2018-12-25 Htc Corporation Wireless control device, position calibrator and accessory
JP6538961B2 (ja) * 2016-03-04 2019-07-03 株式会社ソニー・インタラクティブエンタテインメント 制御装置
US10317997B2 (en) * 2016-03-11 2019-06-11 Sony Interactive Entertainment Inc. Selection of optimally positioned sensors in a glove interface object
US11163358B2 (en) 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US11181990B2 (en) 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
JP2017187952A (ja) * 2016-04-06 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US20170354864A1 (en) * 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US10642356B1 (en) * 2016-06-26 2020-05-05 Apple Inc. Wearable interactive user interface
WO2018002800A1 (en) * 2016-06-28 2018-01-04 Nokia Technologies Oy Method and apparatus for creating sub-content within a virtual reality content and sharing thereof
US10318004B2 (en) * 2016-06-29 2019-06-11 Alex Shtraym Apparatus and method for providing feedback at a predetermined distance
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
KR102593344B1 (ko) 2016-07-06 2023-10-25 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치의 화면 제어 방법
JP6672458B2 (ja) * 2016-07-12 2020-03-25 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US10433725B2 (en) * 2016-09-15 2019-10-08 The Governors Of The University Of Alberta System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
US10372213B2 (en) * 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10599217B1 (en) * 2016-09-26 2020-03-24 Facebook Technologies, Llc Kinematic model for hand position
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10712835B2 (en) * 2016-10-06 2020-07-14 Htc Corporation System and method for detecting hand gesture
US10809808B2 (en) * 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
US11123013B2 (en) 2016-11-08 2021-09-21 The Regents Of The University Of California Hypertonicity measuring device and method
KR20180052330A (ko) * 2016-11-10 2018-05-18 삼성전자주식회사 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치
EP3545385B1 (en) 2016-11-25 2021-07-14 Sensoryx AG Wearable motion tracking system
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
JP6799077B2 (ja) * 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
EP3340012A1 (en) 2016-12-26 2018-06-27 CaptoGlove International Limited Haptic interaction method, tool and system
US10579151B2 (en) * 2017-01-04 2020-03-03 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
FR3062489B1 (fr) * 2017-02-01 2020-12-25 Peugeot Citroen Automobiles Sa Dispositif d’analyse pour la determination d’un delai de detection contribuant a un temps de latence au sein d’un systeme immersif de realite virtuelle
CN108391872A (zh) * 2017-02-06 2018-08-14 财团法人纺织产业综合研究所 智能手套及应用其的方法
GB2562452B (en) * 2017-02-14 2020-11-04 Sony Interactive Entertainment Europe Ltd Sensing apparatus and method
JP7095602B2 (ja) * 2017-02-16 2022-07-05 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193513A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6887011B2 (ja) 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
CN110520822B (zh) 2017-04-27 2023-06-27 索尼互动娱乐股份有限公司 控制装置、信息处理系统、控制方法和程序
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10719125B2 (en) 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
TWI646449B (zh) * 2017-05-12 2019-01-01 華碩電腦股份有限公司 三維定位系統與方法
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
DE102017113103A1 (de) * 2017-06-14 2018-12-20 RUD. IBACH SOHN GmbH & Co. KG Datenhandschuh und System zur Simulation eines Musikinstruments
CN107167923A (zh) * 2017-07-18 2017-09-15 贵州大学 一种无线vr眼镜
CN107413047B (zh) * 2017-08-02 2020-06-02 杭州房侣网络科技有限公司 一种体感游戏手套
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
US11094177B2 (en) 2017-09-05 2021-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Haptic garment and method thereof
JP6992342B2 (ja) * 2017-09-13 2022-01-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10521947B2 (en) 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
JP6831475B2 (ja) 2017-10-16 2021-02-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
US11212488B2 (en) 2017-10-26 2021-12-28 Suncorporation Conference system
US10871829B2 (en) 2017-12-05 2020-12-22 Tactai, Inc. Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
WO2019133521A1 (en) * 2017-12-27 2019-07-04 Adesanya Olaoluwa O Wearable computing apparatus for augmented reality, virtual reality and artificial intelligence interactions, and methods relating thereto
US10583359B2 (en) * 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
US10617942B2 (en) 2017-12-29 2020-04-14 Microsoft Technology Licensing, Llc Controller with haptic feedback
CN108073285B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种电子设备及控制方法
US10504274B2 (en) * 2018-01-05 2019-12-10 Microsoft Technology Licensing, Llc Fusing, texturing, and rendering views of dynamic three-dimensional models
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
EP3518075B1 (en) * 2018-01-24 2023-10-11 C.R.F. Società Consortile per Azioni Sensorized glove and corresponding method for ergonomic analysis of the hand, in particular a worker's hand
EP3518076B1 (en) * 2018-01-24 2022-09-14 C.R.F. Società Consortile per Azioni System and method for ergonomic analysis, in particular of a worker
CN108459709B (zh) * 2018-02-02 2021-06-22 河南大学 基于光学图像捕捉与处理的可穿戴式输入装置及方法
CN110119199B (zh) * 2018-02-07 2022-05-10 宏达国际电子股份有限公司 实时渲染影像的追踪系统、方法及非暂态电脑可读取媒体
CN112041785A (zh) * 2018-02-09 2020-12-04 三星电子株式会社 跟踪手姿势的方法及其电子设备
US20190294249A1 (en) * 2018-03-21 2019-09-26 JANUS Research Group, Inc. Systems and methods for haptic feedback in a virtual reality system
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统
CN108319373A (zh) * 2018-04-13 2018-07-24 北京理工大学 一种用于虚拟现实的虚实融合食物摄入系统
CN108363494A (zh) * 2018-04-13 2018-08-03 北京理工大学 一种基于虚拟现实系统的鼠标输入系统
CN108536300B (zh) * 2018-04-16 2020-07-24 京东方科技集团股份有限公司 可穿戴设备、电子系统及设备、触感反馈方法及存储介质
US10740924B2 (en) * 2018-04-16 2020-08-11 Microsoft Technology Licensing, Llc Tracking pose of handheld object
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US10593118B2 (en) * 2018-05-04 2020-03-17 International Business Machines Corporation Learning opportunity based display generation and presentation
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
KR102004371B1 (ko) * 2018-05-16 2019-07-29 (주)코어센스 스마트 글러브 장치 및 이를 이용한 스마트 글러브 제어 방법
DE112019002798T5 (de) * 2018-06-01 2021-04-22 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
WO2019246150A1 (en) * 2018-06-20 2019-12-26 Valve Corporation Holding and releasing virtual objects
US10884496B2 (en) 2018-07-05 2021-01-05 Bebop Sensors, Inc. One-size-fits-all data glove
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US10678331B2 (en) * 2018-07-31 2020-06-09 International Business Machines Corporation Input device for a graphical user interface
WO2020033468A1 (en) 2018-08-07 2020-02-13 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof
CN108874154A (zh) * 2018-08-29 2018-11-23 韩思清 一种数据手套
CN110968181B (zh) * 2018-09-29 2023-07-18 深圳市掌网科技股份有限公司 一种手指弯曲程度检测装置及方法
US10996754B2 (en) * 2018-10-12 2021-05-04 Aurora Flight Sciences Corporation Manufacturing monitoring system
JP6518931B1 (ja) * 2018-10-17 2019-05-29 株式会社Ｒｏｃｋｉｎ′Ｐｏｏｌ 仮想空間表示システム
KR102203933B1 (ko) * 2018-11-26 2021-01-15 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
US10845894B2 (en) * 2018-11-29 2020-11-24 Apple Inc. Computer systems with finger devices for sampling object attributes
US11137905B2 (en) 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11294463B2 (en) * 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
TWI698781B (zh) * 2018-12-10 2020-07-11 財團法人工業技術研究院 量測系統及應用其之量測方法
TWI724354B (zh) * 2018-12-20 2021-04-11 財團法人工業技術研究院 指標裝置、混合實境裝置及其操作方法
US10890970B2 (en) 2018-12-24 2021-01-12 Lasarrus Clinic And Research Center Flex force smart glove for measuring sensorimotor stimulation
CN109542237A (zh) * 2018-12-26 2019-03-29 上海交通大学 一种可穿戴式手套键盘
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
WO2020162698A1 (ko) * 2019-02-08 2020-08-13 주식회사 네오펙트 손 재활 운동장치
US10802657B1 (en) 2019-02-12 2020-10-13 Facebook Technologies, Llc System and method for detecting mutual capacitance
US10802658B2 (en) * 2019-02-12 2020-10-13 Facebook Technologies, Llc Capacitive touch system
US11480481B2 (en) 2019-03-13 2022-10-25 Bebop Sensors, Inc. Alignment mechanisms sensor systems employing piezoresistive materials
US10852827B1 (en) 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
US20220096010A1 (en) * 2019-06-12 2022-03-31 Hewlett-Packard Development Company, L.P. Extended reality adjustments based on physiological measurements
US10946292B1 (en) * 2019-06-28 2021-03-16 Amazon Technologies, Inc. Non-player game navigation
EP3660633A1 (en) 2019-07-31 2020-06-03 Taurum Technologies SL Hand-worn data-input device
US11681369B2 (en) * 2019-09-16 2023-06-20 Iron Will Innovations Canada Inc. Control-point activation condition detection for generating corresponding control signals
US10976863B1 (en) * 2019-09-19 2021-04-13 Finch Technologies Ltd. Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US11175729B2 (en) 2019-09-19 2021-11-16 Finch Technologies Ltd. Orientation determination based on both images and inertial measurement units
US20220374083A1 (en) * 2019-11-13 2022-11-24 Sony Group Corporation Control device, force sense presentation apparatus, and control method
US11531392B2 (en) * 2019-12-02 2022-12-20 Finchxr Ltd. Tracking upper arm movements using sensor modules attached to the hand and forearm
CN111158476B (zh) * 2019-12-25 2023-05-23 中国人民解放军军事科学院国防科技创新研究院 一种虚拟键盘的按键识别方法、系统、设备及存储介质
CN111240468B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN115053510A (zh) * 2020-01-06 2022-09-13 新加坡国立大学 基于手套的人机接口
JPWO2021145067A1 (zh) * 2020-01-17 2021-07-22
WO2021145068A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
JP2021116491A (ja) * 2020-01-27 2021-08-10 富士フイルムビジネスイノベーション株式会社 触覚提示装置
JP7392512B2 (ja) 2020-02-20 2023-12-06 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN115315675A (zh) * 2020-03-13 2022-11-08 索尼集团公司 信息处理设备、信息处理方法和信息处理程序
US20230244312A1 (en) * 2020-07-14 2023-08-03 Sony Group Corporation Detection device and detection method
CN112214073A (zh) * 2020-09-29 2021-01-12 泰州翔升科技服务有限公司 一种计算机控制方法及可穿戴设备
US20220111290A1 (en) * 2020-10-09 2022-04-14 Contact Control Interfaces, LLC Haptic engine for spatial computing
TWI749877B (zh) 2020-11-18 2021-12-11 華碩電腦股份有限公司 無線控制裝置
CN112631428A (zh) * 2020-12-25 2021-04-09 睿爱智能科技(上海)有限责任公司 一种智能感应的手套
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
WO2022220032A1 (ja) * 2021-04-12 2022-10-20 パナソニックＩｐマネジメント株式会社 ウェアラブルセンシングデバイス
EP4323983A1 (en) * 2021-04-12 2024-02-21 Snap Inc. Enabling the visually impaired with ar using force feedback
EP4334808A1 (en) * 2021-05-03 2024-03-13 Distal Reality Llc Haptic hand controller system for mixed reality
WO2022264165A1 (en) * 2021-06-13 2022-12-22 Karnataki Aishwarya A portable assistive device for challenged individuals
US20230041294A1 (en) * 2021-08-03 2023-02-09 Sony Interactive Entertainment Inc. Augmented reality (ar) pen/hand tracking
GB2611533B (en) * 2021-10-05 2024-02-28 Sony Interactive Entertainment Inc Wearable controller
CN113918027B (zh) * 2021-12-13 2022-05-17 深圳市心流科技有限公司 手势指套控制方法、手势指套、系统、设备及存储介质
WO2024031100A2 (en) * 2022-08-05 2024-02-08 Liquid Wire Llc Devices, systems, and methods for creating and managing health records using data generated by flexible circuits
TWI821062B (zh) * 2022-12-05 2023-11-01 和碩聯合科技股份有限公司 控制裝置及電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981A (en) * 1987-03-17 1991-01-29 Vpl Research, Inc. Computer data entry and manipulation apparatus and method
US6141643A (en) * 1998-11-25 2000-10-31 Harmon; Steve Data input glove having conductive finger pads and thumb pad, and uses therefor
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
CN102640083A (zh) * 2009-10-30 2012-08-15 英默森公司 用于触觉显示数据特征的方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5688333A (en) * 1979-12-21 1981-07-17 Hitachi Ltd Detecting method of relative position between probe and contact
US4414537A (en) * 1981-09-15 1983-11-08 Bell Telephone Laboratories, Incorporated Digital data entry glove interface device
JPS63120328A (ja) * 1986-11-10 1988-05-24 Mitsubishi Electric Corp カ−ソル信号入力装置
US6128004A (en) * 1996-03-29 2000-10-03 Fakespace, Inc. Virtual reality glove system with fabric conductors
US6049327A (en) * 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US6772442B2 (en) * 1999-06-10 2004-08-10 Hartmut Erker Golf glove
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP4922504B2 (ja) * 2001-06-29 2012-04-25 株式会社アミテック 手袋型入力装置
SE0103600D0 (sv) * 2001-10-30 2001-10-30 Digityper Ab A portable data input device and use of such a device
SE519593C2 (sv) * 2002-05-14 2003-03-18 Christer Laurell Styranordning för en markör
JP4085691B2 (ja) * 2002-05-17 2008-05-14 セイコーエプソン株式会社 画像処理装置
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP2004213350A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
KR100590526B1 (ko) * 2003-04-18 2006-06-15 삼성전자주식회사 손가락 움직임 감지 장치 및 방법
US7042438B2 (en) * 2003-09-06 2006-05-09 Mcrae Michael William Hand manipulated data apparatus for computers and video games
US20060248478A1 (en) * 2005-01-18 2006-11-02 Forrest Liau Sensing input actions
GB2438471A (en) 2006-05-26 2007-11-28 Engineered Fibre Structures Lt Control gloves
JP2008116551A (ja) * 2006-11-01 2008-05-22 Advanced Telecommunication Research Institute International 表情付け音声発生装置
EP1944678B1 (en) 2007-01-10 2018-07-18 Harman Becker Automotive Systems GmbH Calibration of head tracking systems
US20090153477A1 (en) * 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
US9881520B2 (en) 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
US7845225B2 (en) * 2008-02-11 2010-12-07 United States Bowling Congress, Inc. Analyzing grip pressure of a bowler
US8704758B1 (en) * 2008-11-17 2014-04-22 Iron Will Innovations Canada Inc. Resistive loop excitation and readout for touch point detection and generation of corresponding control signals
WO2010085476A1 (en) * 2009-01-20 2010-07-29 Northeastern University Multi-user smartglove for virtual environment-based rehabilitation
US9092129B2 (en) * 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
JP5336665B2 (ja) * 2010-10-07 2013-11-06 株式会社ソニー・コンピュータエンタテインメント ３−ｄメガネと、カメラベースの頭部トラッキング
US8830329B2 (en) * 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8882597B2 (en) * 2011-05-25 2014-11-11 Sony Computer Entertainment America Llc Hybrid separable motion controller
US20130265300A1 (en) 2011-07-03 2013-10-10 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
JP2013092900A (ja) * 2011-10-25 2013-05-16 Univ Of Yamanashi Ｅｒｆアクチュエータ
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
US9477312B2 (en) * 2012-11-05 2016-10-25 University Of South Australia Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves
US9301563B2 (en) * 2013-02-07 2016-04-05 Nova Diagnostics, Llc Pressure sensing glove
US20140240214A1 (en) * 2013-02-26 2014-08-28 Jiake Liu Glove Interface Apparatus for Computer-Based Devices
US20150077347A1 (en) * 2013-09-19 2015-03-19 Mark O'Green Ergonomically optimized remote controller device and method of use thereof
US9965076B2 (en) * 2014-05-15 2018-05-08 Bebop Sensors, Inc. Piezoresistive sensors and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981A (en) * 1987-03-17 1991-01-29 Vpl Research, Inc. Computer data entry and manipulation apparatus and method
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US6141643A (en) * 1998-11-25 2000-10-31 Harmon; Steve Data input glove having conductive finger pads and thumb pad, and uses therefor
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
CN102640083A (zh) * 2009-10-30 2012-08-15 英默森公司 用于触觉显示数据特征的方法

Also Published As

Publication number Publication date
JP2017530452A (ja) 2017-10-12
EP3183633A1 (en) 2017-06-28
US20160054798A1 (en) 2016-02-25
US20160054797A1 (en) 2016-02-25
EP3183634A1 (en) 2017-06-28
US20160259408A1 (en) 2016-09-08
US10120445B2 (en) 2018-11-06
CN107368183A (zh) 2017-11-21
CN106575159A (zh) 2017-04-19
JP2018014119A (ja) 2018-01-25
WO2016029183A1 (en) 2016-02-25
EP3183634B1 (en) 2021-05-26
US10055018B2 (en) 2018-08-21
WO2016029180A1 (en) 2016-02-25
US20180260025A1 (en) 2018-09-13
JP6644035B2 (ja) 2020-02-12
US9971404B2 (en) 2018-05-15
US10019059B2 (en) 2018-07-10
EP3183633B1 (en) 2022-05-25
CN107368183B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN106575159B (zh) 手套接口对象
JP6982215B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP6526221B2 (ja) 周辺デバイスを伴うグローブの指先の磁気追跡
JP6538897B2 (ja) 空間感知を備えるゲーム機
US10254833B2 (en) Magnetic tracking of glove interface object
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN111624770B (zh) 头戴式显示器上的夹捏和保持手势导航
US10275025B2 (en) Gloves that include haptic feedback for use with HMD systems
US10055019B2 (en) Electromagnet-laden glove for haptic pressure feedback
US20170354864A1 (en) Directional Interface Object
Loviscach Playing with all senses: Human–Computer interface devices for games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant