CN112437909A - 虚拟现实手势生成 - Google Patents

虚拟现实手势生成 Download PDF

Info

Publication number
CN112437909A
CN112437909A CN201980041061.3A CN201980041061A CN112437909A CN 112437909 A CN112437909 A CN 112437909A CN 201980041061 A CN201980041061 A CN 201980041061A CN 112437909 A CN112437909 A CN 112437909A
Authority
CN
China
Prior art keywords
data
controller
touch
force
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041061.3A
Other languages
English (en)
Inventor
S·D·尼特菲尔德
J·范登赫费尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/195,718 external-priority patent/US10987573B2/en
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN112437909A publication Critical patent/CN112437909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种方法，包括接收表示在控制器处接收到的触摸输入的触摸数据或力数据中的至少一个；确定一个或多个模型；使用所述一个或多个模型生成图像数据，所述图像数据表示对应于在控制器处接收的触摸输入的至少一种手势，并将图像数据传输到虚拟现实(VR)环境以显示。

Description

虚拟现实手势生成
相关申请的交叉引用
本申请是PCT申请，并要求2018年11月19日提交的题为“VIRTUAL REALITY HANDGESTURE GENERATION”的美国专利申请16/195,718的优先权，根据35U.S.C.§120，该美国专利申请要求2018年6月20日提交的题为“VIRTUAL REALITY HAND GESTURE GENERATION”的美国临时专利申请62/687,780的优先权。
此外，2018年11月19日提交的第16/195,718号申请根据35U.S.C.§120要求作为2017年12月7日提交的标题为“ELECTRONIC CONTROLLER WITH FINGER SENSING AND ANADJUSTABLE HAND RETAINER”的在审美国专利申请15/834,372的部分继续的优先权，该在审美国专利申请本身要求作为2017年8月17日提交的题为“Electronic controller withhand retainer and finger motion sensing”的美国专利申请15/679,521的部分继续的优先权，该美国专利申请本身要求作为2016年10月11日提交的美国专利申请29/580,635的部分继续的优先权，并要求2017年6月16日提交的美国临时专利申请62/520,958的优先权。
背景技术
视频游戏行业在硬件和软件方面催生了许多创新。例如已经针对各种游戏应用设计、制造和销售了各种手持式视频游戏控制器。一些创新在视频游戏产业之外具有适用性，如用于工业机器的控制器、防御系统、机器人等。
另外，虚拟现实(VR)系统是在视频游戏产业之内和之外均受到现代人广泛关注并具有快速技术进步的应用。用于VR系统的控制器必须执行若干不同的功能，并且在经常优化某些期望的特性的同时满足严格的(并且有时相互矛盾的)设计约束。在某些情况下，这些控制器包括用于测量使用者抓握力的传感器，该抓握力又用于执行预定义的游戏功能。为了满足这些目标，已经利用各种类型的传感器，其中包含力感测电阻器(FSR)，所述力感测电阻器使用可变电阻来测量施加到FSR上的力的量。但是，现有的带有FSR的控制器往往表现出相当粗糙的响应时间。另外，在整个游戏过程中，控制器可能无法准确地描绘和感知手的位置、手势和/或运动。
附图说明
图1描绘了根据本公开的示例实施例的使用者与虚拟现实(VR)系统交互的环境。
图2描绘了根据本公开的示例实施例的使用者手中的示例控制器。
图3描绘了根据本公开的示例实施例的示例控制器。
图4描绘了根据本公开的示例实施例的使用者手中的图3的示例控制器。
图5描绘了根据本公开的示例实施例的使用者手中的图3的示例控制器。
图6描绘了根据本公开的示例实施例的使用者手中的图3的示例控制器。
图7描绘了根据本公开的示例实施例的一对示例控制器。
图8A描绘了根据本公开的另一个示例实施例的示例右手控制器的前视图。
图8B描绘了图8A的示例右手控制器的后视图。
图9A描绘了根据本公开的示例实施例的示例力感测电阻器(FSR)。
图9B描绘了图9A的示例FSR的前视图。
图9C描绘了图9B的示例FSR沿着图9B的截面A-A截取的横截面。
图10A描绘了根据本公开的示例实施例的握住示例控制器的使用者的第一手势。
图10B描绘了根据本公开的示例实施例的握住示例控制器的使用者的第二手势。
图10C描绘了根据本公开的示例实施例的握住示例控制器的使用者的第三手势。
图10D描绘了根据本公开的示例实施例的握住示例控制器的使用者的第四手势。
图10E描绘了根据本公开的示例实施例的握住示例控制器的使用者的第五手势。
图10F描绘了根据本公开的示例实施例的握住示例控制器的使用者的第六手势。
图11描绘了根据本公开的示例实施例的示例过程。
图12描绘了根据本公开的示例实施例的用于训练模型的示例过程。
图13描绘了根据本公开的示例实施例的用于使用触摸输入来生成手势的示例过程。
具体实施方式
本文公开了在虚拟现实(VR)环境中使用的运动捕获系统和控制器。示例性运动捕捉系统可以包括围绕环境定位的摄像机、投影仪和/或其他传感器，以跟踪控制器的运动以及操作控制器的使用者的运动。例如，多个摄像机可以安装在环境内并捕获控制器和使用者的图像。在某些情况下，多个摄像机可以捕获环境内的一些或所有角度和位置。可替代地，多个摄像机可以聚焦或捕获环境的预定范围或区域内的图像。随着控制器在环境周围的操纵以及使用者对他或她的手的操纵，摄像机可以分别检测使用者和/或控制器的位置和方向。
在一些情况下，为了检测控制器(或其部分)和使用者的位置，控制器和/或使用者可以分别包括标记。例如，标记可以耦合到控制器和/或使用者。标记可以包括数字水印、红外反射器等。运动捕获系统可以将光投射到环境中，然后被标记反射。摄像机可以捕获由标记反射的入射光，并且运动捕获系统可以跟踪和标绘环境中标记的位置，以确定控制器和/或使用者的运动、位置和/或方向。
示例控制器可以由使用者握持，并且可以包括一个或多个力感测电阻器(FSR)或检测来自使用者的触摸输入的其他类型的传感器。在一些情况下，FSR可以耦合到控制器的表面，例如安装在控制器的手柄内的结构和/或安装在控制器的至少一个拇指操作的控制件下方的结构。在一些情况下，FSR可以测量与使用者施加的力的量相对应的电阻值。FSR还可以将力与控制器的特定位置、区域和/或部分相关联。例如，FSR可以确定施加到手柄的外表面上的力的量和/或可以确定控制器上与来自使用者的触摸输入相对应的位置。在一些实施例中，控制器可以通过从FSR生成的力数据来确定使用者挤压控制器的手柄的力的量和/或使用者按下控制器上的按钮的力的量。控制器可以将变化力的按压或挤压转换为用于视频游戏控制和/或游戏机制的数字化数值。
在一些情况下，FSR可以充当开关以检测何时施加的力超过阈值，该阈值在一些情况下可以动态地更新和/或调节。例如，可以将阈值调整到较低值以便减少玩游戏期间的手疲劳(例如，当使用者按压与FSR相关联的控件以在玩游戏期间频繁地射击武器时)。相反，阈值可以调整为较高的值，以减少意外控制操作的情况。
控制器还可包括沿手柄的长度在空间上分布并且响应于使用者手指的接近的接近度传感器的阵列。接近度传感器可以包括用于感测触摸输入和/或使用者的手相对于控制器的接近度的任何合适的技术，例如电容传感器。接近度传感器阵列可以生成触摸数据，该触摸数据指抓握控制器的手指的位置或当使用者未抓握控制器时，指设置在手柄和使用者的手指之间的距离(例如，通过测量电容)。在一些情况下，接近度传感器还可以检测抓握控制器的使用者的手的大小，这可以根据不同的设置来配置控制器。例如，取决于手的大小，控制器可以进行调整，以使手较小的使用者更容易进行基于力的输入。
实现在VR环境中使用的运动捕获系统和控制器可以允许使用常规控制器将自然交互作用的范围扩展到其当前状态之外。例如，彼此结合，运动捕获系统可以捕获手和/或控制器的运动数据，而控制器可以捕获与控制器处的触摸输入相对应的触摸数据和与使用者的触摸输入相关联的力数据。可以将运动数据、触摸数据和/或力数据彼此关联以生成指示使用者的手势的模型。
为了说明，使用者可以包括放置在他或她的指关节、指尖、手腕、关节等上的标记。控制器还可以包括标记(例如，顶部、底部、侧面等)。上面指出，标记可以反射入射光。运动捕获系统可以通过检测标记的位置的摄像机来检测并记录使用者的手的运动和控制器的位置。例如，运动捕获系统的投影仪可以投射红外光，然后该红外光被手和/或控制器上的标记反射。运动捕捉系统的摄像机可以捕捉环境的图像。图像用于指示环境中标记的位置。标记的位置随时间被跟踪，并在三维(3D)虚拟空间中进行动画处理。此跟踪可以允许生成动画3D骨骼数据(或模型)。例如，使用者可以用握紧的拳头或两个手指(例如，小指和无名指)握住控制器。摄像机可通过标记捕获使用者的指尖、指节和/或手、腕和/或手臂的其他部分的位置。在某些情况下，位置是相对于控制器的。
同时或在不同时间，接近度传感器阵列可在控制器处检测触摸输入或触摸输入的缺乏。触摸数据可以例如通过测量电容来指示使用者的手指相对于控制器的位置。电容可随着手指和控制器之间的距离而变化。这样做时，控制器可以检测使用者何时用一根手指、两根手指、三根手指等等握住控制器。利用该电容，控制器还可以检测手指相对于控制器的相对位置，例如当使用者的手指没有触摸控制器时。
另外，FSR可以捕获表示由控制器接收的力值(例如，使用者握住控制器的力)的力数据。例如，当使用者用握紧的拳头或两个手指握住控制器主体时，FSR可以捕获与这些相应握持相对应的力值。作为示例，与当使用者用两根手指握住控制器时相比，当使用者以握紧拳头握住控制器时，FSR可以检测到力值的增加。
触摸数据和力数据可以彼此关联。例如，当使用者用四个手指握住控制器时，在控制器上检测到的力值可以与控制器的某些位置相关联。这样做时，触摸数据和力数据可以彼此相关联，以确定使用者的哪个手指抓住控制器，以及使用者抓住控制器的每个手指的相对力。当使用者用两个手指握住控制器时，也是这样，其中检测到力值并将其与控制器主体的某些部分相关联。知道从接近度传感器阵列接收到触摸输入的位置以及FSR检测到的使用者握住控制器的力的大小，控制器和/或另一个通信耦合的远程系统可以将触摸输入与使用者的某些手指相关联。在一些情况下，通过使与触摸数据相关联的时间戳与力数据的时间戳相关联，控制器(或另一通信耦合的远程系统)可以将触摸数据和力数据相关联。
使用者握住控制器的力的量(即力数据)、触摸输入在控制器上的位置或其缺失(即触摸数据)以及运动摄像机捕获的摄像机捕获的运动(即运动数据)可以训练指示使用者手势的模型。作为示例，运动捕捉系统可以将握紧的拳头(例如，使用运动数据)与在控制器处接收到的触摸数据和/或力数据相关联。作为另一示例，如果使用者用两个手指握住控制器，则运动数据可以指示手势(例如，两个手指握住)，而触摸数据可以指示手(或手指)与控制器的接近度，并且力数据可以指示使用者握住控制器的牢固程度。使用这些关联，可以生成并训练模型以指示使用者的手势。可以不断地训练模型，以便随时间变得更加准确。
该模型可以表征在控制器上的触摸输入和/或与该触摸输入相关联的力值以在显示器上生成手势的动画，并且VR环境可以利用该模型在游戏中使用。更具体地，模型可以输入触摸数据和/或力数据以在VR环境内生成手势。作为示例，手势可以包括各种视频游戏控件，例如压碎岩石或挤压气球(例如，握紧拳头的手势)，在游戏角色可使用的可用武器之间切换(例如，沿控制器滚动或滑动手指)，放下物体(例如，张开手势)，发射武器(例如，小指、无名指、中指触摸控制器，但食指和拇指朝外)等。即，知道触摸输入在控制器上的位置，以及使用者握住控制器的力。该信息可以与先前训练的模型结合使用，以在VR环境内和/或在VR显示器上产生手势(例如，握紧拳头)。此外，当渲染和/或生成用于显示的手势时，模型可以利用先前生成的动画和/或图像数据。
说明性虚拟现实(VR)环境
图1描绘了运动捕捉系统102和使用者104所在的示例环境100。示出了运动捕获系统102安装在环境100的墙壁上，但是，在一些情况下，运动捕获系统102可以安装在环境100内的其他地方(例如，天花板、地板等)。此外，尽管图1示出了四个运动捕捉系统102，但是环境100可以包括多于或少于四个运动捕捉系统102。
运动捕获系统102可以包括被配置为在环境100之内/之中生成和投射光和/或图像106的投影仪。图像106可以包括使用者104可感知的可见光图像、使用者104不可感知的可见光图像、具有不可见光的图像和/或其组合。投影仪可以包括能够生成图像106并将图像106投影到环境100内的表面或物体上的任何数量的技术。在一些实例中，合适的技术可以包括数字微镜器件(DMD)、硅上液晶显示器(LCOS)、液晶显示器、3LCD等。投影仪可以具有描述特定立体角的视场，并且视场可以根据投影仪的构造的变化而变化。例如，在应用变焦时视野可变窄。
运动捕获系统102可以包括高分辨率摄像机、红外(IR)检测器、传感器等。摄像机可以以可见光波长、非可见光波长或两者对环境100成像。摄像机还具有描述特定立体角的视场，并且摄像机的视场可以根据摄像机的构造的变化而变化。例如，摄像机的光学变焦可使摄像机的视野变窄。
在某些情况下，环境100可以包括多个摄像机和/或不同类型的摄像机。例如，摄像机可以包括三维(3D)、红外(IR)摄像机和/或红绿蓝(RGB)摄像机。在一些情况下，3D摄像机和IR摄像机可以捕获用于检测环境内的对象(例如，标记)的深度的信息，而RGB摄像机可以通过识别环境100内的颜色变化来检测物体的边缘。在一些情况下，运动捕捉系统102可以包括被配置为执行所有前述功能的单个摄像机。
运动捕获系统102的一个或多个组件可以以固定的取向安装到机架，或者可以经由致动器安装到机架，使得机架和/或一个或多个组件可以移动。作为示例，致动器可以包括压电致动器、马达、线性致动器以及被配置为移位或移动机架和/或安装到其上的一个或多个组件的其他装置，例如投影仪和/或摄像机。例如，致动器可以包括摇摄马达、倾斜马达等。摇摄马达可以偏航运动旋转机架，而倾斜马达可以改变机架的螺距。在一些情况下，机架可以附加地或替代地包括滚动马达，该滚动马达允许机架以滚动运动移动。通过摇摄、倾斜和/或滚动所述机架，运动捕获系统102可以捕获环境100的不同视图。
运动捕获系统102还可包括测距系统。测距系统可以提供从运动捕获系统102到扫描的实体、对象(例如，使用者104和/或控制器110)和/或一组对象的距离信息。测距系统可以包括和/或使用雷达、光检测和测距(LIDAR)、超声测距、立体测距、结构化光分析、飞行时间观察(例如，测量在摄像机处感测的像素的飞行时间往返路程)等等。在结构化光分析中，并且如上所述，投影仪可以在环境100内投影结构化光图案，并且摄像机可以捕获反射光图案的图像。运动捕获系统102可以分析由于投影仪和摄像机之间的横向位移而引起的反射图案的变形，以确定与环境100内的不同点、区域或像素相对应的深度或距离。
运动捕获系统102可以确定或知道运动捕获系统102的各个组件之间的距离，这可以帮助从环境100中恢复结构化光图案和/或其他光数据。运动捕获系统102还可以使用该距离来计算其他距离、尺寸和/或以其他方式帮助表征环境100内的实体或物体。在投影仪视场和摄像机视场的相对角度和大小可以变化的实施方式中，运动捕获系统102可以确定和/或知道这样的尺寸。
在环境100内，使用者104可以戴着VR耳机108并按住控制器110。VR耳机108可以包括内部显示器(未示出)，该内部显示器呈现虚拟环境、游戏玩法的模拟视图，或者示出虚拟空间内的对象。VR耳机108可以包括头带以及附加的传感器。在一些实施例中，VR耳机108可以包括头盔或帽子，并且包括位于头盔或帽子的顶部上的各个位置处的传感器，以接收光信号。
在本文中详细讨论，使用者104和/或控制器110可以包括标记。运动捕获系统102经由投影仪投射光并且摄像机捕获标记的反射的图像，可以检测使用者104和/或控制器110在环境100内的位置。标记可被用于确定使用者104或使用者104的部分(例如，手或手指)在环境100内的方向和/或位置，以及在环境100中控制器110的方向和/或位置。测距系统还可通过确定运动捕获系统102与标记之间的距离来帮助确定使用者104(或其部分)和控制器110的位置。
运动捕获系统102、VR耳机108和/或控制器110可以通信地耦合到一个或多个远程计算资源112。远程计算资源112可以远离环境100和运动捕捉系统102、VR耳机108和/或控制器110。例如，运动捕捉系统102、VR耳机108和/或控制器110可以通过网络114通信地耦合到远程计算资源112。在一些情况下，运动捕捉系统102、VR耳机108和/或控制器110可以经由有线技术(例如，电线、USB、光缆等)、无线技术(例如，RF、蜂窝、卫星、蓝牙等)和/或其他连接技术通信地耦合到网络114。网络114代表任何类型的通信网络，包括数据和/或语音网络，并且可以使用有线基础设施(例如电缆、CAT5、光缆等)、无线基础设施(例如RF、蜂窝、微波、卫星、蓝牙等)和/或其他连接技术实施。
远程计算资源112可以被实现为一个或多个服务器，并且在某些情况下可以形成被实现为处理器、存储器、软件、数据访问等的计算基础设施的网络可访问计算平台的一部分，其可以通过诸如因特网的网络进行维护和访问。远程计算资源112不需要最终使用者了解递送服务的系统的物理位置和配置。与这些远程计算资源112相关联的通用表达可以包括“按需计算”、“软件即服务(SaaS)”、“平台计算”、“网络可访问平台”、“云服务”、“数据中心”等等。
运动捕捉系统102、VR耳机108和/或控制器110可以包括一个或多个通信接口，以促进到网络114和/或一个或多个远程计算资源112的无线连接。另外，一个或一个以上通信接口还可允许在运动捕获系统102、VR耳机108和/或控制器110之间的数据传输(例如，彼此之间的通信)。然而，在某些情况下，一个或多个通信接口还可包括有线连接。
远程计算资源112包括处理器116和存储器118，它们可以存储或以其他方式访问一个或多个模型120。远程计算资源112可以从运动捕获系统102接收运动数据122，并从控制器110接收触摸数据124和/或力数据126。触摸数据124可以包括指示与使用者的触摸输入相对应的在控制器110上的位置(或多个位置)的触摸简档。触摸数据124还可指示在控制器110上缺少触摸输入。这样做时，触摸数据124可以指示哪个手指在触摸控制器，和/或手指的哪个部分在触摸控制器110。在一些情况下，沿着控制器110的手柄在空间上分布的接近度传感器(例如，电容传感器)的阵列可以检测触摸输入，并且将触摸数据生成和/或发送到远程计算资源112。另外，FSR可以生成力数据126，该力数据指示控制器110上的触摸输入的力值。如本文所述，触摸数据124和/或力数据126可以指示VR环境内的手的位置、握力或手势。继而，远程计算资源112可以将动画128或其他图像数据发送到VR耳机108以供显示。
本文详细讨论，远程计算资源112可以利用模型120生成在VR耳机108上显示的动画128。在一些情况下，远程计算资源112可以使用运动数据122、触摸数据124和/或力数据126生成和/或训练模型120。远程计算资源112可以通过与使用者的交互并接收运动数据122、触摸数据124和/或力数据126来生成和/或训练模型120。处理器116可以分析运动数据122并使运动数据122与触摸数据124和/或力数据126相关。另外，处理器116可以分析触摸数据124并将触摸数据124与力数据126相关联。
处理器116可以使与运动数据122的捕获相关联的时间相关联，以学习使用者的特征。例如，处理器116可以学习触摸数据124的特征(例如，控制器110上的位置)和/或力数据126的特征，并且将这些特征与手的特定手势相关联。在执行数据分析之后，处理器116可以生成模型120以使运动数据122、触摸数据124和/或力数据126相关。换句话说，处理器116可以分析触摸数据124和/或力数据126以使触摸数据124和/或力数据126与手势相关或以其他方式相关联，如运动数据122所表示的。基于运动数据122、触摸数据124和/或力数据126训练模型120，允许模型120使用在使用者的后续互动中(即在游戏过程中)接收到的触摸数据124和/或力数据126确定手势。即，模型120可以接收触摸数据124和/或力数据126作为输入，并利用触摸数据124和/或力数据126来确定使用者104的手势。例如，当使用者握住控制器110时，控制器110可以接收由接近度传感器的阵列产生的触摸数据124，其中触摸数据124指示触摸输入在控制器110处的位置。触摸数据124还可通过测量使用者的手指与控制器110之间的电容值来指示使用者的手相对于控制器110的接近度。例如，使用者可以将他或她的手指悬停在控制器110上方。控制器110可以将触摸数据124发送到远程计算资源112，其中将触摸数据124输入到模型120中。另外，控制器110的FSR可以生成指示与触摸输入相关联的力的量的力数据126。控制器110可以将力数据126发送到远程计算资源112。
在从控制器110接收到触摸数据124和/或力数据126之后，处理器116可以基于触摸数据124和/或力数据126的特征选择模型120中的一个或多个。例如，处理器116可以基于使用者104握住控制器110的力的大小(使用力数据126)和/或控制器110上的使用者104握持的位置(使用触摸数据124)选择用于生成手势的某些模型120。
另外，在一些情况下，处理器116可以部分地基于其他使用者特征，例如基于使用者兴趣、性别、年龄等，选择模型120。例如，取决于使用者104如何保持控制器110和/或控制器110接收触摸输入的地方，处理器116可以识别使用者104的年龄和/或手的大小。这样的信息可以用于选择不同的模型120和/或生成代表使用者104的手的动画128。
例如，处理器116可以将触摸数据124输入到模型120中。处理器116使用模型120，可以生成与触摸数据124和/或力数据126相对应的动画128。举例来说，使用触摸数据124和/或力数据126，并且通过将触摸数据124和/或力数据126输入到模型120中，处理器116可以确定使用者用握紧的拳头握住控制器110。处理器116可以生成描绘使用者104的握紧拳头的动画128，并且将动画128发送到VR耳机108以进行显示。
在一些实例中，处理器116可利用与模型120相关联地存储的简档来利用排名以确定由触摸数据124和/或力数据126表示的最有可能手势。例如，处理器116可以将触摸数据124和/或力数据126与模型120的一部分或模型120的全部进行比较，以确定特定手势对应于使用者的触摸输入的概率。在这样的情况下，模型120可以与指示在控制器110处接收的触摸输入的位置的触摸数据124和/或指示在控制器110处触摸输入的相对力的力数据126相关联地存储。在这种情况下，触摸数据124和/或力数据126可以表征模型120。因此，在游戏过程中，当远程计算资源112接收触摸数据124和/或力数据126时，远程计算资源112可以选择一个或多个模型120以通过以下方式生成动画128：将接收到的触摸数据124和/或力数据126分别和与模型120相关联存储的触摸数据和/或力数据进行比较。
在某些情况下，远程计算资源112还可以对未来事件执行预测建模。预测建模可以确定结果可能发生还是可能不发生的概率。例如，处理器116可以利用可从存储器118获得的运动数据122、触摸数据124和/或力数据126确定未来手势的概率。举例来说，在接收到第一触摸数据124和/或第一力数据126并且将触摸数据124和/或力数据126输入到模型120以确定第一手势之后，处理器116可以预测即将到来的第二手势并生成第二手势以在VR耳机108上显示。也就是说，处理器116可以利用先前的运动数据122、触摸数据124和/或力数据126来预测使用者104的未来手势并生成相应的动画128。在一些情况下，预测可以减少在VR耳机108上显示的由远程计算资源112生成的手势之间的等待时间。
另外，处理器116可以确定与预测手势相关联的确定概率和/或置信度。例如，如果预测的第二手势在某个置信度水平或阈值内，则处理器116可以生成与第二手势相对应的动画128，并将该手势提供给VR耳机108以供显示。
在某些情况下，诸如统计分析技术之类的验证操作可以验证模型120的准确性。也就是说，如上所述，通过迭代地捕获运动数据122、触摸数据124和/或力数据126，处理器116可以训练模型120以更好地关联触摸数据124和/或力数据126与在运动数据122(例如，机器学习算法或技术)中表示的手势。训练模型120可以提高显示的动画128代表在控制器110处接收到的触摸数据124和/或力数据126的准确性。
处理器116还可以包括基于与不同类型的使用者的交互来学习模型120的组件。例如，处理器116可以建立和/或完善模型120，或者可以学习现有模型120的组合和/或混合。本文所述的模型生成技术还可以包括梯度提升技术和/或超参数调整的至少一种以训练模型120。梯度提升可以包括例如产生弱预测模型的集合形式的预测模型，其可以是决策树。可以以阶段方式构建预测模型，并且可以允许优化任意差分损耗函数(arbitrarydifferential loss function)。超参数调整可以包括在训练过程中优化超参数。例如，模型120可以接收训练数据集。在评估模型120的总体准确性时，可以调整超参数。
另外地或可替代地，训练模型120可以包括识别增加模型120的准确性的输入特征和/或降低模型120的准确性或没有或很少对模型120影响的其他输入特征。可以对模型120进行改装以利用增加准确性的特征，同时避免利用减少准确性或对准确性没有影响或影响很小的特征。
如本文所使用的，诸如处理器116的处理器可以包括多个处理器和/或具有多个核的处理器。此外，处理器可包括一个或多个不同类型的核。例如，处理器可以包括应用处理器单元、图形处理单元等。在一个实施方式中，处理器可以包括微控制器和/或微处理器。处理器116可以包含图形处理单元(GPU)、微处理器、数字信号处理器或本领域已知的其它处理单元或组件。可替代地或另外，本文所述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如但不限于，可以使用的硬件逻辑组件的说明性类型包含现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑装置(CPLD)等。另外，处理器116中的每个处理器可以拥有其自己的本地存储器，所述本地存储器还可以存储程序组件、程序数据和/或一个或多个操作系统。
存储器118可以包含以任何方法或技术实施的用于存储如计算机可读指令、数据结构、程序组件或其它数据等信息的易失性和非易失性存储器、可移除或不可移除介质。这种存储器118可包含但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储装置、RAID存储系统或可以用于存储所需信息并且可以由计算装置访问的任何其它介质。存储器118可以被实施为计算机可读存储介质(“CRSM”)，其可以是可由处理器116访问以执行存储在存储器118上的指令的任何可用物理介质。在一个基本实施方案中，CRSM可以包含随机存取存储器(“RAM”)和闪存。在其它实施方案中，CRSM可以包含但不限于只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)或可以用于存储所需信息并且可以由处理器访问的任何其它有形介质。
说明性控制器
图2示出了使用者104，其持有控制器110(其可以表示和/或类似于图1的控制器110)。控制器110可以包括标记200，其可以耦合和/或附接到控制器110的任何部分，例如手柄、带子、把手等。类似地，使用者104的部分可以包括附着在使用者104的手上和/或沿着使用者的手的标记202，例如指尖、指节、手指关节、手腕等。在一些情况下，标记200、202可以使用粘合剂分别附接到使用者104和/或控制器110。
标记200、202可以包括红外元件、反射器和/或响应于由运动捕获系统102的投影仪发射的电磁辐射(例如，红外光)的图像。附加地或可替代地，标记200、202可包括跟踪信标，其发射由运动捕获系统102的摄像机捕获的电磁辐射(例如，红外光)。
如上所述，运动捕获系统102可以扫描环境的至少一部分，例如环境100，以及其中包含的对象，以检测标记200、202。例如，投影仪可以向使用者104和控制器110投射红外光，标记200、202可以反射所述光，并且运动捕捉系统102的摄像机和/或传感器可以捕获反射光。其中，通过分析图像，可以确定控制器110和/或使用者104的手的位置和/或方向。例如，远程计算资源112(或其他计算设备)可以分析和解析由摄像机捕获的图像，并标识环境100内的标记200、202的位置。远程计算资源112可以使用标记200、202的位置来确定由使用者104做出的手势、手的位置、手指的位置等等(即，哪些手指伸出、卷曲等)。另外运动捕获系统102(或其他计算系统)可以利用关于标记200、202的位置/模式的信息来生成表示手或手势(例如握紧的拳头)的骨骼模型(例如，动画3D骨骼模型)。
图3-7描绘了根据本公开的示例实施例的示例控制器300(其可以表示和/或类似于图1和图2的控制器110)。在一些情况中，例如VR视频游戏系统、机器人、武器或医疗装置的电子系统可以利用控制器300。控制器300可以包含具有手柄312的控制器主体310和将控制器300保持在使用者的手(例如，使用者的左手)中的手保持器320。在一些情况下，手柄312可包括大体上圆柱形的管状壳体。在此上下文中，基本上圆柱形形状不需要具有恒定的直径或完美圆形的横截面。
控制器主体310可以包含头部(位于手柄312与远端311之间)，所述头部可以任选地包含一个或多个拇指操作的控件314、315、316。例如，头部可包括倾斜按钮或任何其它按钮、旋钮、轮子、操纵杆或轨迹球，它们被认为是拇指操作的控件，在正常操作期间其由使用者的拇指方便地操作，与此同时控制器300被握在使用者的手中。
在一些情况下，控制器300可包含固定到控制器主体310的跟踪构件330，并且可包含两个鼻部332、334，每个鼻部从跟踪构件330的两个相对远端中的对应的一个远端突出。在一些情况下，跟踪构件330可以包括具有弓形形状的跟踪弧。在一些情况下，跟踪构件330可以包括布置在其中/其上的多个跟踪换能器(其可以表示和/或类似于图2的标记200、202)。在一些情况下，每个突出的鼻部332、334可包括至少一个跟踪换能器。另外地或可替代地，控制器主体310可包括跟踪换能器，其中至少一个远侧跟踪换能器邻近远端311设置。可以包括跟踪传感器的跟踪换能器可以响应由运动捕获系统102发出的电磁辐射(例如，红外光)。附加地或替代地，跟踪传感器可以包括跟踪信标，该跟踪信标发射由运动捕获系统102的摄像机接收的电磁辐射(例如，红外光)。例如，运动捕获系统102的投影仪可以向控制器300广泛地传播脉冲红外光。在此，跟踪构件330的多个跟踪换能器可以包括红外光传感器，该红外光传感器从传播的脉冲红外光中接收或被遮蔽。在一些情况下，每个鼻部332、334中的跟踪换能器(例如，每个鼻部中的三个传感器)可以在跟踪构件330的每个远端上悬在使用者的手上，以增加暴露(即，围绕使用者的手)，并且接收投影仪发出的电磁辐射或将电磁辐射以更大的角度传输到摄像机，而不会产生不可接受的阴影量。
跟踪构件330和/或控制器主体310的材料可以包括诸如硬塑料之类的基本上刚性的材料，其被牢固地固定在一起，以至于相对于彼此不明显地平移或旋转。例如，如图3-7所示，跟踪构件330可以在两个位置处连接到控制器主体310。手保持器320可以在这两个位置附近附接到控制器300(例如控制器主体310和/或跟踪构件330)，以使使用者的手掌在这两个位置之间偏置抵靠手柄312的外表面上。
在某些实施例中，跟踪构件330和控制器主体310可以包括具有材料连续性的一体式整体组件，而不是组装在一起。例如，单个注射模制工艺可以将跟踪构件330和控制器主体310模制在一起，从而产生包括跟踪构件330和控制器主体310两者的一个一体式硬塑料组件。替代地，跟踪构件330和控制器主体310可以包括分开制造的部件，这些部件随后被组装在一起。在任一情况下，跟踪构件330可以固定到控制器主体310。
图3示出了处于打开位置的手保持器320。手保持器320可以任选地通过弯曲的弹性构件322偏置在打开位置中，以促进当使用者的视线被VR耳机(例如VR耳机108)挡住而抓握控制器300时将使用者的左手插入手保持器320与控制器主体310之间。例如，弯曲的弹性构件322可以包括弹性地弯曲的柔性金属带，或可以包括可以基本上弹性弯曲的替代性塑料材料，如尼龙。垫子或织物材料324(例如，氯丁橡胶护套)可以部分或完全覆盖弯曲的弹性构件322以提供使用者舒适感。替代地，织物材料324可以仅粘附到弯曲的弹性构件322的一侧，例如在面对使用者的手的一侧上。
手保持器320的长度可以调节，例如通过包含由弹簧偏置的轴承座328系紧的拉绳326。拉绳326可以具有用作系索的多余长度。垫子或织物材料324可以联接到拉绳326。在某些实施例中，系紧的拉绳326的张力可以预加载弯曲的弹性构件322。在此类实施例中，弯曲的弹性构件322赋予手保持器320(以使其偏置在打开位置中)的张力可以使手保持器320在拉绳326未被系紧时自动打开。另外地或可选地，可以以其他方式调节手保持器320的长度，如夹具、弹性带(当插入手时暂时拉伸，使得施加弹性张力以按压抵靠在手的背部上)、允许长度调节的钩和环带附件等。
手保持器320可以安置在手柄312与跟踪构件330之间并且与使用者的手的背部接触。例如，图4示出了在操作期间其中使用者的左手插入其中但未抓握控制器主体310的控制器300。在图4中，将手保持器320闭合并拧紧在手上，以使使用者的手掌物理地偏置抵靠在手柄312的外表面上。当闭合时，即使在使用者没有抓握控制器主体310的情况下，手保持器320也可以将控制器300保持在使用者的手中。
控制器主体310的手柄312包含围绕其外表面部分地或完全地在空间上分布的接近度传感器阵列。在一些情况下，接近度传感器阵列的接近度传感器不一定具有相等的尺寸，并且它们之间不一定具有相等的间隔。在一些情况下，接近度传感器的阵列可以包括围绕控制器主体310在空间上分布的网格。接近度传感器的阵列对使用者的手指相对于手柄312的外表面的接近度进行响应。例如，接近度传感器阵列可以包括嵌入在手柄312的外表面下方的电容传感器阵列，其中，外表面包括电绝缘材料以感测来自使用者的触摸。电容传感器阵列与使用者的手的一部分之间的电容可以与它们之间的距离成反比。为了感测电容，RC振荡器电路可以连接到电容传感器阵列的元件，并注意RC振荡器电路的时间常数以及因此振荡的周期和频率将随电容而变化。以此方式，电路可以检测手指从手柄312的外表面的释放。如上所述，接近度传感器的阵列可以响应于来自使用者的触摸输入而生成触摸数据(例如，触摸数据124)，其中触摸数据指示使用者的手指相对于手柄312的外表面的接近度。
当保持器320围绕使用者的手紧紧闭合时，其可以防止控制器300掉出手中并且防止手指相对于手柄312上的接近度传感器的阵列过度平移，从而可靠地感测手指的运动和位置。另外，运动捕获系统102和/或远程计算资源112可以包括体现手指的解剖学上可能的运动的算法，以更好地使用来自接近度传感器阵列的触摸数据124来呈现受控角色的手的打开、手指指向或手指相对于控制器300或相对于彼此的其它运动(例如手势)。以此方式，控制器300和/或手指的使用者移动可以帮助控制VR游戏系统、防御系统、医疗系统、工业机器人或机器或另一装置。在VR系统应用(例如，用于游戏、训练等)中，系统可以基于跟踪换能器的移动来呈现投掷运动，并且可以基于感测到使用者的手指(例如使用触摸数据124)从控制器300的手柄312的外表面的释放来呈现所投掷物体的释放。
因此手保持器320可以允许使用者“放开(let go)”控制器300而无需控制器300实际上与手分离或被投掷和/或掉落到地板上，这可以实现受控电子系统的另外的功能。例如，感测到使用者对控制器主体310的手柄312的抓握的释放和/或恢复可以指示游戏中对象的相应投掷和/或抓握。因此，手保持器320可以在这样的动画期间安全地固定并保持使用者的手。在一些情况下，在图3-7的实施例中，手保持器320的位置可以帮助跟踪构件330保护使用者的手的背部免受现实世界的冲击，例如当使用者响应于在VR环境中感测到的提示而移动时(例如，当实际上被VR耳机108遮挡时)。
如本文将讨论的，控制器300可以包括FSR以检测与来自使用者的触摸相关联的力值(例如，力数据126)。力数据126可以与触摸数据124结合使用以指示使用者在VR环境下的运动和/或抓握。
在某些实施例中，控制器300可以包含安置在控制器主体310内的可再充电电池，和/或手保持器320(例如，手固定带)可以包含电耦合到可再充电电池的导电充电线。控制器300还可以包含用于与运动捕获系统102的剩余部分通信的射频(RF)发射器。可再充电电池可以给RF发射器供电，并且可以对拇指操作的控件314、315、316、控制器主体310的手柄312中的接近度传感器阵列和/或跟踪构件330中的跟踪传感器进行响应。
图5和图6示出了在操作过程中当手保持器320被关闭并且手握住控制器主体310时的控制器300。图5和图6还示出了拇指可以操作一个或多个拇指操作的控件(例如，轨迹板316)。
图7显示，在某些实施例中，控制器300可以包括包含类似的右控制器700的一对控制器中的左控制器。在某些实施例中，控制器300、700可以同时地分别从接近度传感器阵列和FSR、从使用者的两只手，分别生成触摸数据124和/或力数据126。一起地，远程计算资源112可以(从运动捕获系统102的摄像机)接收运动数据122，以及从(控制器300、700)接收触摸数据124和/或力数据126以增强VR体验。
图8A和8B分别描绘了根据本公开的另一示例实施例的右手控制器800的前视图和右手控制器800的后视图。在一些情况下，右手控制器800可以包括以上关于图1的控制器110和/或图3-7的控制器300所讨论的组件。
控制器800可以包括包含头部810和手柄812的控制器主体。在图8A和8B的实施例中，头部810包含至少一个拇指操作的控件A、B 808，并且还可以包含可由食指操作的控件(例如，触发器809)。在一些情况下，手柄812包括外壳840部分包裹的管状壳体。
外壳840的内表面可以包括空间分布的接近度传感器阵列。接近度传感器阵列可以响应于使用者的手指相对于外壳840的接近度。接近度传感器阵列的接近度传感器不一定具有相等的尺寸，也不一定彼此规则地或等距地间隔开。在某些实施例中，接近度传感器阵列可以是可以连接到柔性电路的多个电容式传感器，所述柔性电路接合到外壳840的内表面。
跟踪构件830在头部810处和手柄812的端部处固定到控制器主体。手保持器820被配置成使使用者的手掌在头部810与手柄812的端部之间物理地偏置抵靠外壳840。手保持器820优选地安置在手柄812与跟踪构件830之间，并且可以包括在长度上调节并且与使用者的手的背部接触的手固定带。在图8A和8B的实施例中，手保持器820任选地包含拉绳828，可以通过绳锁826(邻近手柄812的远端)调节该拉绳的长度，所述绳锁选择性地防止拉绳828在绳锁826的位置处的滑动运动。
在图8A和8B的实施例中，跟踪换能器832、833设置在跟踪构件830上。在一些情况下，在跟踪构件830的相对的远端处的突出的鼻部可以包括跟踪换能器822、833。在一些情况下，头部810的远侧区域可以包括附加的跟踪换能器834。跟踪换能器832、833和834可以包括响应于由运动捕获系统102发射的电磁辐射(例如，红外光)的跟踪传感器，或者可以包括发射由运动捕获系统102接收的电磁辐射(例如，红外光)的跟踪信标。例如，运动捕获系统102可以包括向控制器800广泛传播脉冲红外光的投影仪。在此，多个跟踪换能器832、833和834可以包括接收所传播的脉冲红外光的红外光传感器。运动捕获系统102可以接收跟踪传感器的响应，并且运动捕获系统102和/或远程计算资源112可以解释这种响应以有效地跟踪控制器800的位置和方向。
印刷电路板(PCB)可以安装在手柄812内并且电连接控制器800内的组件(例如，按钮、电池等)。PCB可包含力感测电阻器(FSR)，并且控制器800可以包括柱塞，所述柱塞将通过外壳840施加的压缩力朝着手柄的管状壳体的外部向内输送到FSR。在某些实施例中，FSR与接近度传感器的阵列结合可以促进感测使用者抓握的开始和使用者这样抓握的相对强度两者，这可以促进某些玩游戏特征。
说明性力感测电阻器(FSR)
图9A-9C描绘了根据本公开的示例实施例的力感测电阻器(FSR)900的不同视图。如图9C中的FSR 900的横截面所示，FSR 900可以包括第一衬底902，在某些情况下，其可以包括聚酰亚胺。FSR 900可以进一步包含安置在第一衬底902上(或上方)的第二衬底904。第一衬底902和第二衬底904可以包括FSR 900的两个主衬底(或层)(即，2层FSR 900)。然而，应当理解，FSR 900可以包括附加层。在某些情况下，相对于FSR 900的两个主衬底，第一衬底902可以代表“底部”或“基础”衬底，但是，在某些情况下，第一衬底902的后面(或下方)(即，在负Z方向上，如图9C所示)可以有材料层。
第一衬底902包括安置在第一衬底902的前表面(即，面向正Z方向的表面)上的导电材料。导电材料可以包含多个叉指状金属指状物。同时，第二衬底904(有时被称为电阻“膜”)可包括安置在第二衬底904的后表面(即，面向负Z方向的表面)上的电阻材料。这种电阻材料可以包括半导体材料，如油墨组合物(例如，银油墨、碳油墨、其混合物等)，所述油墨组合物表现出一定程度的电阻(例如，在300千欧姆(kOhm)每平方(kOhm/sq)到400kOhm/sq范围内的相对较高的薄层电阻)。在一些情况下，第二衬底904的薄层电阻为350kOhm/sq。然而，第二衬底904可以包括其他薄层电阻值，包括在本文指定的薄层电阻范围之外的那些，例如当FSR 900用于其他应用(例如，基于非控制器的应用)时。在一些实施例中，第二衬底904的材料可以包括聚酯薄膜，其中电阻材料设置在第二衬底904的后表面上。在一些实施例中，第二衬底904在后表面上可包括具有电阻材料(例如，导电油墨组合物)的聚酰亚胺。将聚酰亚胺用于第二衬底904可以允许使用回流炉大量生产FSR 900，而聚酯薄膜可能不能承受这样的高温。
FSR 900可以包含一个或多个间隔层，它们插置在第一衬底902与第二衬底904之间，使得第二衬底904的中心部分可悬置在第一衬底902上方，并且与所述第一衬底间隔一定距离。图9C示出了两个间隔层，所述两个间隔层包含但不限于在第一衬底902的外围处安置在第一衬底902上的覆盖层906以及安置在覆盖层906上的粘合剂层908。覆盖层906的材料可以包括聚酰亚胺，并且因此可以包括与第一衬底902相同的材料。覆盖层906的厚度(沿Z方向测量)可以在10微米至15微米的范围内。粘合剂层908的厚度(如在Z方向上测量的)可以处于50微米到130微米的范围内。因此，第二衬底904与第一衬底902间隔开的总距离可以是一个或多个间隔层的厚度的总和(例如，覆盖层906的厚度加上粘合剂层908的厚度)。这些层可以包括超出本文所指定的厚度范围的厚度，如当FSR 900用于其它应用例如基于非控制器的应用时。如此，这些厚度范围应被理解为非限制性的。此外，在某些情况下，粘合剂层908的厚度应做得尽可能薄(例如，在指定厚度范围的下端)以允许在非常轻的施加力F下的初始响应(例如，FSR 900开始检测输入)。粘合剂(其材料和厚度)都可发生变化以增加或降低FSR 900的刚度。
衬底904可以包括致动器910(例如盘形的顺应性柱塞)，该致动器被配置成将力F输送到第二衬底904的前表面上。致动器910的材料可以包括Poron，其是在致动器910上施加力时变形到一定程度的顺应性材料。致动器910可以与FSR 900的有源区域的中心同心以集中施加力F。致动器910还可以跨越FSR 900的有源区域的一部分以便跨FSR 900的有源区域的所述部分均匀地分布施加力F。
第二衬底904的厚度(如在Z方向上测量的)可以包括50微米到130微米的范围。在此示例厚度下，第二衬底904是柔性的。例如，第二衬底904的材料可以包括聚酯薄膜，其厚度在上述指定范围内是柔性的。FSR 900的功能操作依赖于第二衬底904的柔性，以便第二衬底904的后表面上的电阻材料在施加到致动器910上的压缩力F下与第一衬底902的前表面上的导电材料接触。第一衬底902的厚度(如在Z方向上测量的)可以处于20微米到30微米的范围内。在此厚度下，聚酰亚胺也是柔性的。因此，第一衬底902也是柔性的。同时，致动器910的厚度(如在Z方向上测量的)可以处于780微米到810微米的范围内。这些层可以包括超出本文所指定的厚度范围的厚度，如当FSR 900用于其它应用(例如基于非控制器的应用)时。如此，这些厚度范围应被理解为非限制性的。
FSR 900可以响应于施加到致动器910上的可变力F而表现出可变电阻。例如，随着在致动器910上的施加力F增加，阻力可以减小。以这种方式，FSR 900可以表示为可变电阻器，其值由施加的力F控制。FSR 900可以包括“分流模式(ShuntMode)”FSR 900或“通过模式(ThruMode)”FSR 900。利用分流模式FSR 900，安置在第一衬底902的前表面上的导电材料可以包括多个叉指状金属指状物。当将施加的力F施加到致动器910的前部(或顶部)上时，第二衬底904的后表面上的电阻材料可以与一些叉指状金属指状物接触，这使叉指状金属指状物分流，从而改变FSR 900的输出端上的电阻。用于叉指状金属指状物的示例性导电可以包括铜，例如HA铜或RA铜。叉指状金属指状物还可包括镀金。
减法制造工艺可以形成多个叉指状金属指状物。指状物宽度和叉指状金属指状物之间的间隔可以在FSR 900的最大灵敏度和制造蚀刻公差最小化之间提供最佳平衡。在一些情况下，叉指状金属指状物可以包括均匀的图案或不均匀的图案(例如，朝中心的较密指状物和朝外部的较不密指状物)。另外，在某些情况下，在镀金之前在基础层铜上可能没有额外的铜镀层，因为在镀金之前在基础层铜上增加额外的铜镀层可能导致检测电阻的不期望的增加。因此，在某些情况下，在镀金之前在叉指状金属指状物上省略任何其他的铜镀层可以在FSR 900中实现最佳灵敏度。
在通过模式实施方式中，第一衬底902上的导电材料可包括导电材料的固体区域，其中半导电(或电阻)材料设置在导电材料上。第二衬底904可以具有类似的构造(例如，具有安置在其上的半导体(或电阻)材料的导电材料的固体区域)。每个衬底(902和904)上的导电材料的固体区域可耦接到单独的输出端，并且当两个衬底(902和904)在施加力F下接触时，激励电流可以穿过一个层到达另一个层。
对于这些实施方式，与如使用聚酯薄膜作为底部衬底的材料的那些FSR等常规FSR相比，FSR 900可以表现出更低的滞后和更高的可重复性(从一个FSR 900到另一个FSR900)。负载滞后描述了先前施加力对当前FSR 900电阻的影响。响应曲线也是单调的，并且其对真实模拟输入进行建模，所述真实模拟输入可以用于VR游戏系统中的许多游戏机制，如压碎虚拟岩石、紧握虚拟气球等。然而，尽管本文中的实例描述了所施加的力F，但是FSR900实际上对所施加的压力(力×面积)敏感，因为在第二衬底904的前表面上的很小的点和较大区域处施加的等量的力可能使FSR 900的电阻响应有所不同。因此，在施加力F下的响应曲线方面，致动器910可以在维持跨FSR 900的可重复性中起作用。
FSR 900可以在无外力(或负载)的情况下包括开路。在一些实施例中，为了考虑到第一衬底902和第二衬底904在零施加力或可忽略的施加力下的任何接触，阈值电路可以设置阈值电阻值，在所述阈值电阻值下第一衬底902和第二衬底904被认为“接触”，这意味着FSR 900可以代表开路，直到满足阈值电阻值，即使这两个主要衬底(即，902和904)实际上接触。
FSR 900可以安装在诸如本文公开的控制器110、300和800的手持式控制器内的结构的平面上。FSR 900可以安装在控制器主体内的任何合适的位置以测量电阻值，该电阻值对应于与使用者施加到控制器主体的外表面上的触摸输入相关的力的量(例如，按下控件的手指施加的力、用手挤压控制器的手柄施加的力)。FSR 900可以安装在PCB的平坦表面上，其本身可以安装在手柄的管状壳体内。在此配置中，柱塞可以与FSR 900的致动器910介接，这可以允许将压缩力从柱塞输送到致动器910。然而，在柱塞被省略并且致动器910与手柄的管状壳体的一部分可以介接的情况下，其它配置是可能的。
另外地或可替代地，FSR 900可以安装在头部内的结构的平坦表面上(在手柄和远端之间)。该结构可以安装在一个或多个拇指操作的控件下方的头部内。例如，FSR 900可以安装在拇指操作的控件(例如，轨迹板)下方。因此，当在控制器的操作期间使用者的拇指按压拇指操作的控件时，定位在拇指操作的控件下方的FSR 900可以测量电阻值，所述电阻值对应于使用者的拇指施加到拇指操作的控件上的力的量。在一些情况下，控制器可以包括设置在控制器主体内的多个FSR 900，例如安装在手柄内的一个或多个FSR 900和/或安装在控制器主体的头部上的一个或多个相应控件下方的一个或多个FSR 900。
当在控制器中实施时，FSR 900可以启用可变模拟输入。例如，挤压手柄或用变化量的力按压拇指操作的控件可导致FSR 900的电阻随所施加的力F而变化。该电阻可以转换为变化的数字化值，该数字化值表示用于控制游戏机制(例如，拾取和投掷物体)的FSR输入。
FSR 900可以利用不同的触摸或触摸样式。例如，“简单阈值”样式可以意味着当数字化的FSR输入值满足或超过阈值时，FSR输入事件发生。因为数字化的FSR输入值对应于由FSR 900测量的特定电阻值，所述电阻值进而对应于施加到FSR 900上的力的特定量，当由FSR 900测量的电阻值满足阈值电阻值时和/或当所施加的力F满足力的阈值量时，还可以认为这种软按压样式是登记FSR输入事件。例如，如果控制器(例如控制器110、300和/或800)的手柄包含FSR 900，则可以紧握手柄直到达到力的阈值量，并且作为响应，FSR 900输入事件被登记为“软按压”。“解除按压”所需的力可以是阈值的一部分，以用于防反跳目的和/或模拟具有物理按动比率(snap ratio)的轻触开关。“一触即发”样式可以设置基线阈值，并且一旦与FSR 900相关联的数字化的FSR输入值满足或超过基线阈值，绑定就会被激活(即，登记FSR输入事件，类似于按住并保持按钮致动(press-and-hold buttonactuation))。此后，力的任何后续减小均去激活绑定(即，FSR输入事件是“未登记”的，类似于使用者放开按钮)，并且在去激活绑定之后力的任何增加操作以再次激活绑定。“随意击发”样式可以与软按压的“简单阈值”样式类似，除了“随意击发”样式利用时间延迟，从而使得在具有多级绑定的配置中，如果足够快速地达到更高的阈值，则可以使用所述时间延迟来忽略更低的FSR输入值。时间延迟的量在不同的子样式(例如，激进的、正常的和轻松的)之间变化。
在某些情况下，附加的软按压阈值(Soft Press Threshold)可包括多级阈值，如用于软按压的“随意击发”样式的阈值。用于基于FSR的输入的不同样式的软按压可以用于借助于使用者以变化的力紧握或按压基于FSR的输入机构来实现多个不同的与游戏相关的模拟输入。例如，VR游戏可以允许使用者通过以增加的力紧握控制器主体的手柄来压碎岩石或紧握气球。作为另一实例，基于射击的游戏可以允许使用者通过以不同级的施加力按压拇指操作的控件来在不同类型的武器之间切换。
在一些情况下，使用者可以调节阈值以减少与基于FSR的输入机构的致动有关的手疲劳。在一些情况下，阈值可以包括特定游戏的默认阈值(例如，射击游戏的较低默认阈值、探索游戏的较高默认阈值等)。
说明性手势
图10A-10F示出了持有控制器1002(其可以表示和/或类似于图1和图2的控制器110，图3-7的控制器300和/或图8的控制器800)的使用者1000的不同变化。通常，并且与以上公开一致，通过感测使用者1000在控制器1002上的触摸输入的位置和力(例如，使用接近度传感器阵列和/或FSR 900)，远程计算资源112可以生成动画(例如，动画128)以显示在VR耳机108上。动画可以类似于分别在图10A-10F中描绘的手势。即，使用先前训练的模型120，远程计算资源112可以基于从控制器1002接收的触摸数据124和/或力数据126来生成手的图像。
从图10A开始，示出了使用者1000以打开的手柄握住控制器1002。使用者1000的手指和拇指没有与控制器1002接触，而是控制器1002可以与使用者1000的手掌接触。控制器1002可以检测该接触，生成触摸数据124和/或力数据126，并且将触摸数据124和/或力数据126发送到远程计算资源112。在此，触摸数据124可以表示或指示使用者1000的手掌触摸控制器1002。由于使用者1000没有用他或她的手指握住图10A中的控制器1002，因此，力数据126可以指示使用者1000的手掌偏压向控制器1002的力的水平。在一些情况下，因为使用者1000没有握住控制器1002，所以控制器1002可以仅生成指示使用者的手指相对于手柄312的外表面的接近度的触摸数据124。
远程计算资源可以将触摸数据124和/或力数据126输入到模型120中，该模型可以生成与张开的手势相对应的手图像数据(例如，动画128)。在某些情况下，远程计算资源112可以选择指定的模型120来输入触摸数据124和/或力数据126。在某些情况下，在游戏玩法中，张开手势可以表示捡起对象、放下对象等等。
图10B示出了使用者1000用所有四个手指和拇指握住控制器1002。这里，由控制器1002的接近度传感器的阵列生成的触摸数据124可以指示使用者1000的抓握。由FSR(例如，FSR 900)生成的力数据126可以指示使用者1000抓住控制器1002的力。控制器1002可以将触摸数据124和/或力数据126发送到远程计算资源112，其中远程计算资源112可以选择与触摸数据124和/或力数据126对应的模型120。对应于模型120的动画128可以生成表示闭合拳头手势、抓握手势等的手势。
图10C示出了使用者1000用所有四个手指而不是拇指握住控制器1002。在该实例中，远程计算资源112可以利用触摸数据124和/或力数据126来确定相关联的模型120，其中模型120指示使用者1000用全部四个手指但没有拇指把持对象。模型120可以生成动画128以显示在VR耳机108上，其表示控制器1002上的触摸的这种配置(例如，竖起大拇指、触发致动器等)。
图10D示出了使用者1000用中指和无名指握住控制器1002。在此，触摸数据124可以指示中指和无名指的触摸。触摸数据124还可指示食指和小指(其不与控制器1002接触)相对于控制器1002的手柄的外表面的接近度。力数据126可以指示与使用者1000的中指和/或无名指的抓握相关的力值。模型120可以根据中指和无名指的触摸以及它们的相关联的力值来产生相关联的动画128。
图10E示出了使用者1000用无名指和小指保持控制器1002。远程计算资源112可以利用与无名指和小指的触摸和/或食指和/或中指的缺乏触摸相关联的触摸数据124来选择相关模型120、相应的动画128并生成手势以显示在VR耳机108上。远程计算资源112还可以在选择模型120和生成手势时利用从FSR生成的力数据126。
图10F示出了使用者用食指、中指和小指握住控制器1002。远程计算资源112利用触摸数据124和/或力数据126来在VR耳机108上生成关联的手势，诸如使用者1000发射武器。
尽管图10A-10F示出了使用者1000的手指和拇指触摸控制器1002以产生相关联的手势的特定组合，但是其他组合也是可能的。在这些情况下，控制器1002可以使用接近度传感器阵列来检测与触摸输入相关联的位置，并且可以使用FSR 900来检测与使用者1000的触摸输入相关联的力。控制器1002可以将触摸数据124和/或力数据126发送到远程计算资源112，其中远程计算资源112可以选择与触摸数据124和/或力数据126对应的模型120。上面指出，使用先前的运动数据122、触摸数据124和/或力数据126预先训练和/或生成模型120。因此，在以后的实例中，通过接收触摸数据124和/或力数据126，远程计算资源112可以将触摸数据124和/或力数据126与一个或多个模型120相关联。由于模型120与动画128相关联，因此远程计算资源112可以选择一个或多个模型120，生成对应的动画128，并且将动画128传输到VR耳机108以用于显示。
说明性过程
图11-13示出了根据本申请的实施例的各种过程。本文所述的过程被图示为逻辑流程图中的框的集合，其表示可以在硬件、软件或其组合中实施的一些或全部操作的序列。在软件的上下文中，框可以表示存储在一个或多个计算机可读介质上的计算机可执行指令，当由一个或多个处理器执行时，该计算机可执行指令对处理器进行编程以执行所叙述的操作。通常，计算机可执行指令包含执行特定功能或实施特定数据类型的例程、程序、物体、组件、数据结构等。除非特别指出，否则描述框的顺序不应理解为限制。可以以任何顺序和/或并行地组合任意数量的所描述的框以实现该过程或替代过程，并且不是所有的框都需要被执行。为了讨论的目的，参考在本文的实例中描述的环境、体系结构和系统(例如，相对于图1-10描述的那些)来描述过程，但是可以在各种各样的其他环境、体系结构和系统中实现这些过程。
从图11开始，在框1102，过程1100可以在控制器处接收与触摸输入相对应的触摸数据。触摸数据可以表示控制器上接收到触摸输入的位置和/或使用者的手指相对于控制器的接近度(例如，来自接近度传感器或电容性传感器阵列的电容值)。
在框1104，过程1100可以在控制器处接收与触摸输入相对应的力数据。力数据可以表示与控制器处的触摸输入相关联的力的量。在一些情况下，当力值超过某个力阈值时，可以接收力数据。
在框1106，过程1100可以接收与操作控制器的使用者的运动相对应的运动数据。运动数据可以表示使用者的运动，例如使用者的手指和腕部的运动。运动数据也可以代表控制器的运动。
在框1108，过程1100可以使用触摸数据、力数据和/或运动数据来训练模型。例如，为了训练模型，过程1100可以将触摸数据、力数据和/或运动数据关联以对应于使用者的运动，如运动数据所表示的。也就是说，使用触摸数据、力数据和/或运动数据，过程1100可以训练模型以学习使用者的触摸的特性并将这些特性与某些手势相关联，如从运动数据确定的。在一些情况下，特性可以包括触摸输入在控制器上的位置和力。在一些情况下，可以利用分别与捕获触摸数据、力数据和/或运动数据的时间相对应的时间戳来关联触摸数据、力数据和/或运动数据。通过在时间尺度上覆盖触摸数据、力数据和/或运动数据，过程1100可以使触摸数据和/或力数据与运动数据相关联并且识别使用者的手势。在训练模型时，在以后的时刻，过程1100可以接收触摸数据和/或力数据并确定相关联的姿势(不接收运动数据)。
从框1108，过程1100可以循环到框1102，以接收附加的触摸数据、附加的力数据(例如，框1104)和/或附加的运动数据(例如，框1106)。可以利用该附加数据来进一步训练模型，这可以基于在稍后的时刻(例如，在玩游戏期间)接收到的触摸数据和/或力数据来进行更准确的手势确定。也就是说，过程1100可以继续使触摸数据、力数据和/或运动数据相关，使得当过程1100接收到后续的触摸数据和/或力数据时，过程1100可以(通过模型)准确地确定对应于触摸数据和/或力数据的相关联的手势。在此，如上所述，使触摸数据、力数据和/或运动数据相关可以涉及匹配触摸数据的时间戳、力数据的时间戳和/或运动数据的时间戳。
在框1110，过程1100可以接收触摸数据。在一些情况下，在框1110处接收到的触摸数据可以对应于在玩游戏期间接收到的触摸数据。
在框1112，过程1100可以接收力数据。在一些情况下，在框1112处接收到的力数据可以对应于在玩游戏期间接收到的触摸数据。
在框1114，过程1100可以选择模型。在一些实例中，为了选择模型，可以将在框1110处接收到的触摸数据与对应于先前生成的模型的触摸数据或触摸简档进行比较。另外地或可替代地，选择模型可以包括将在框1112处接收到的力数据与对应于先前生成的模型的力数据或触摸简档进行比较。模型的触摸简档可以包括与代表模型的手势的力数据相关联的力值和/或与代表模型的手势的触摸数据相关联的位置。举例来说，触摸数据可以指示在控制器的中心的触摸输入，例如中指和/或食指触摸控制器(例如，图10D)。在一些情况下，触摸数据可以将触摸输入与使用者的某些手指相关联和/或可以指示那些手指没有触摸控制器。使用触摸数据和/或力数据，可以选择相应的模型。
在框1116，过程1100可以将触摸数据和/或力数据输入到模型中。更特别地，因为先前训练了模型以将触摸数据和/或力数据与运动数据和相应的手势相关联，所以一旦训练，模型就可以接收触摸数据和/或力数据并确定手势。换句话说，触摸数据可以指示哪个手指抓住控制器或哪个手指不抓住控制器，以及控制器上与该触摸相对应的位置或缺少触摸。因此，在训练了模型之后，模型可以接受表示在游戏过程中接收到的来自使用者的触摸的触摸数据和/或力数据。
在框1118，过程1100可以生成与触摸数据和/或力数据相对应的图像数据。例如，在将触摸数据和/或力数据输入到模型中之后，过程1100可以使用触摸数据和/或力来生成手势。
在框1120，过程1100可以在显示器上呈现图像数据。通过过程1100，手势在显示器上的表示可以对应于与控制器交互的使用者的手势。此外，为了减少触摸数据的接收与图像数据的呈现之间的等待时间，该过程可以实时地和/或彼此大致同时地执行框1110-1120。
从框1120，过程1100可以循环到框1110。其中，过程1100可以在框1110和1120之间重复以连续接收触摸数据和/或力数据并生成与来自使用者的触摸输入相对应的动画。这样做时，当使用者玩游戏时，从控制器接收的触摸数据和/或力数据可根据游戏中的级别、场景、框架等发生变化。通过将触摸数据和/或力数据连续输入到模型中，过程1100可以选择对应的模型并连续地产生用于显示的手势。
如先前提到的，在某些情况下，框1102与框1108之间的过程1100可以在第一时间实例中发生，在该第一时间实例中，使用者未在游戏模式中玩并且模型被训练。例如，模型的训练(或生成)可以发生在(从运动捕获系统102捕获的)运动数据、触摸数据和/或力数据被捕获并且相互关联以将触摸数据和/或力数据与特定手势相关联的设施处。在稍后的时间实例中，在训练了模型之后，可以在使用者处于游戏模式时进行框1110和框1120之间的过程1100。
如图12所示，在框1202，过程1200可以在控制器处接收与触摸输入相对应的触摸数据。例如，远程计算资源112可以从控制器(例如，控制器110、300和/或800)接收触摸数据124。触摸数据124可以代表与使用者的触摸输入相对应的控制器上的位置。作为实例，触摸数据124可以指示使用者的所有四个手指都在触摸控制器、触摸的位置、或者在某些情况下哪些手指没有触摸控制器和/或控制器的哪些区域不接收触摸输入。
在框1204，过程1200可以在控制器处接收与触摸输入相对应的力数据。例如，远程计算资源112可以从控制器(例如，控制器110、300和/或800)接收力数据126。力数据126可以表示与控制器上的触摸输入相关联的力的量或与使用者在控制器上的抓握相关联的相对强度。在实例中，如果使用者没有握住控制器(例如，如图10A所示)，则远程计算资源112可不从控制器接收力数据126。
在框1206，过程1200可以接收与操作控制器的使用者的运动相对应的运动数据。例如，远程计算资源112可以从运动捕获系统102接收运动数据122。运动数据122可以使用标记200、202来表示使用者的运动和/或控制器的运动。如上所述，运动捕捉系统102的投影仪可以将光投射到设置在使用者和/或控制器上的标记200、202上。标记200、202可以反射该光，然后由运动捕获系统102的摄像机捕获。
在框1208，过程1200可以使用触摸数据、力数据和/或运动数据来训练模型。例如，远程计算资源112可以使用运动数据122、触摸数据124和/或力数据126来训练(或生成)模型120。在一些情况下，训练模型120可以包括将触摸数据124、力数据126和/或运动数据122相关联以确定触摸数据124和/或力数据126的对应于使用者的运动的特性。这样做，远程计算资源112可以生成与从控制器接收的触摸数据124相对应的图像数据或动画。也就是说，通过关联触摸数据124、力数据126和/或运动数据122，在以后的时刻中，在接收到触摸数据124和/或力数据126时，远程计算资源112可以使用先前的运动数据122将触摸数据124和/或力数据126与使用者的手势相关联。在一些情况下，关联触摸数据124、力数据126和/或运动数据122可涉及匹配触摸数据124的时间戳、力数据126的时间戳和运动数据122的时间戳。这样做，远程计算资源112可以学习(例如，使用机器学习算法)触摸数据124和/或力数据126如何与使用者的手势有关。
从框1208，过程1200可以循环到框1202，以接收附加的触摸数据124、附加的力数据126和/或附加的运动数据122。例如，远程计算资源112可以接收附加的触摸数据124(例如，框1202)，附加的力数据126(例如，框1204)和/或附加的运动数据122(例如，框1206)以训练模型120。训练模型120可以允许由使用者执行的手势的更准确的确定。
如图13所示，在框1302，过程1300可以接收触摸数据。例如，远程计算资源112可以从控制器(例如，控制器110、300和/或800)接收触摸数据124。在一些情况下，控制器的接近度传感器的阵列可以产生触摸数据124。触摸数据124可以指示使用者的手指或手在控制器110上的放置。
在框1304，过程1300可以接收力数据。例如，远程计算资源112可以从控制器(例如，控制器110、300和/或800)接收力数据126。在一些实例中，控制器的FSR(例如，FSR 900)可以生成力数据126，其可以指示与使用者在控制器上的触摸相关联的力的量。
在框1306，过程1300可以将触摸数据和/或力数据输入到模型中。例如，远程计算资源112的处理器116可以将触摸数据124和/或力数据126输入到模型120中。更具体地，因为模型120先前被训练为将触摸数据124和/或力数据126与运动数据122和手势相关联，所以一旦被训练，模型120可以接收触摸数据124和/或力数据126以确定手势。在一些情况下，远程计算资源112可以选择性地将触摸数据124和/或力数据126输入到与触摸数据124和/或力数据126紧密匹配或相关联的模型120中。例如，如果触摸数据124指示使用者用四个手指握住控制器110，则处理器116可以选择与四手指握持相对应的模型120。
在框1308，过程1300可以生成与触摸数据和/或力数据相对应的图像数据。例如，使用模型120的远程计算资源112的处理器116可以确定与触摸数据124和/或力数据126相对应的手势。远程计算资源112可以生成与手势相对应的图像数据，例如动画128。例如，模型120可以利用触摸数据124和/或力数据126来生成手的动画128(例如，压碎岩石或掉落物体)。
在框1310，过程1300可以在显示器上呈现图像数据。例如，远程计算资源112可以将图像数据发送到VR耳机108(或另一计算设备)，从而VR耳机108可以显示图像数据。VR耳机108可以根据在控制器110处接收到的触摸数据124和/或力数据126在显示器上显示手势。这样，在VR耳机108的显示器上的手势表示可以与使用者与控制器110交互的手势相关。此外，为了减少在VR耳机108上接收触摸数据124和图像数据的呈现之间的等待时间，过程1300可以实时地和/或基本上彼此同时地执行框1302-1310。另外，当接收到触摸数据124和/或力数据126以生成关联的手势时，模型120的预生成可以允许更快的计算。
从框1310，过程1300可以循环到框1302，其中过程1300可以在框1302和1310之间重复以连续地生成图像数据。结果，对应于使用者如何把持和握住控制器110的触摸数据124和/或力数据126可以更新，并且通过将触摸数据124和/或力数据126输入到模型120中，过程1300可以连续生成手势以显示在VR耳机108上。
结论
尽管针对特定实例描述了前述发明，但是应当理解，本发明的范围不限于这些特定实例。由于为适应特定的操作要求和环境而改变的其他修改和改变对本领域技术人员将是显而易见的，因此本发明不被认为限于为公开目的而选择的实例，并且涵盖了不构成偏离本发明的真实精神和范围的所有改变和修改。
尽管本申请描述了具有特定结构特征和/或方法动作的实施例，但是应当理解，权利要求书不一定限于所描述的特定特征或动作。而是，特定特征和动作仅是说明性的一些实施例，其落入本申请的权利要求的范围内。
示例条款
可以鉴于以下条款描述本公开的实施例。
1、一种系统，其包括：
一个或多个处理器；和
一个或多个存储计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：
通过一个或多个传感器，接收与操作一个或多个控制器的使用者的手的第一运动相对应的第一运动数据；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的第一触摸相对应的第一触摸数据；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的所述第一触摸相对应的第一力数据；
将第一运动数据与第一触摸数据和第一力数据相关联；
至少部分地基于第一运动数据、第一触摸数据和第一力数据，生成与手的手势相对应的模型；
通过所述一个或多个传感器，接收与操作所述一个或多个控制器的使用者的手的第二运动相对应的第二运动数据；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的第二触摸相对应的第二触摸数据；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的所述第二触摸相对应的第二力数据；
将第二运动数据与第二触摸数据和第二力数据相关联；
至少部分地基于第二运动数据、第二触摸数据和第二力数据，训练与手的手势相对应的模型；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的第三触摸相对应的第三触摸数据；
通过所述一个或多个控制器，接收与操作所述一个或多个控制器的使用者的手的所述第三触摸相对应的第三力数据；
至少部分地基于与所述手势和第三力数据相对应的模型生成与所述手的表示相对应的图像数据。
2、根据权利要求1所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括向虚拟现实显示器传输与所述手的表示相对应的所述图像数据的动作。
3、根据权利要求1所述的系统，其中所述一个或多个传感器包括深度传感器。
4、根据权利要求1所述的系统，其中：
将第一运动数据与第一触摸数据和第一力数据相关联包括将第一运动数据的第一时间戳与第一触摸数据的第一时间戳和第一力数据的第一时间戳匹配；和
将第二运动数据与第二触摸数据和第二力数据相关联包括将第二运动数据的第二时间戳与第二触摸数据的第二时间戳和第二力数据的第二时间戳匹配。
5、一种系统，其包括：
一个或多个处理器；和
一个或多个存储计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：
接收与操作控制器的手的运动相对应的运动数据；
接收与操作所述控制器的所述手的触摸输入相对应的触摸数据；
将所述运动数据和所述触摸数据相关联；和
至少部分地基于将所述运动数据和所述触摸数据相关联生成与所述手的手势相对应的训练模型。
6、根据权利要求5所述的系统，其中所述运动数据包括第一运动数据，并且所述触摸数据包括第一触摸数据，所述手的运动包括第一运动，并且所述手的触摸输入包括第一触摸输入，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
接收与操作所述控制器的所述使用者的所述手的第二运动相对应的第二运动数据；
接收与操作所述控制器的所述手的第二触摸输入相对应的第二触摸数据；和
至少部分地基于第二运动数据和第二触摸数据生成与所述手的手势相对应的更新的训练模型。
7、根据权利要求6所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
使用所述更新的训练模型，生成与所述手的表示相对应的图像数据；和
传输与所述手的表示相对应的所述图像数据。
8、根据权利要求7所述的系统，其中传输所述图像数据使远程设备显示所述手的表示。
9、根据权利要求5所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括接收与所述触摸输入关联的力的量相对应的力数据的动作，以及
其中生成与所述手的手势相对应的训练模型还至少部分地基于所述力数据。
10、根据权利要求5所述的系统，其中所述触摸数据指示所述控制器上接收所述触摸输入的一个或多个位置。
11、根据权利要求5所述的系统，其中将所述运动数据和所述触摸数据相关联包括将所述运动数据的时间戳与所述触摸数据的时间戳相关联。
12、根据权利要求5所述的系统，其中：
接收所述运动数据包括从通信地耦合到所述系统的摄像机接收所述运动数据；和
接收所述触摸数据包括从通信地耦合到所述系统的控制器接收所述触摸数据。
13、一种系统，其包括：
一个或多个处理器；和
一个或多个存储计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：
从控制器接收以下至少一项：
指示所述控制器处接收到的触摸输入的触摸数据；或
指示与所述触摸输入相关联的力的量的力数据；
相对于与手势相关联的训练模型分析所述触摸数据或所述力中的至少一个；
至少部分地基于所述分析，确定所述触摸数据或所述力数据中的至少一个对应于所述手势；
生成表示所述手势的图像数据；和
传输所述图像数据以显示。
14、根据权利要求13所述的系统，其中所述触摸数据指示所述控制器上与所述触摸输入相对应的位置。
15、根据权利要求13所述的系统，其中所述触摸数据包括第一触摸数据，所述力数据包括第一力数据，所述训练模型包括第一训练模型，所述触摸输入包括第一触摸输入，所述图像数据包括第一图像数据，和所述手势包括第一手势，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
从所述控制器接收以下至少一项：
代表所述控制器处接收到的第二触摸输入的第二触摸数据；或
指示与第二触摸输入相关联的力的量的第二力数据；
相对于与第二手势相关联的第二训练模型分析第二触摸数据或第二力数据中的至少一个；
确定第二触摸数据或第二力数据中的至少一个与第二手势相对应；
生成表示第二手势的第二图像数据；和
传输所述第二图像数据以显示。
16、根据权利要求13所述的系统，其中所述图像数据包括第一图像数据，并且所述手势包括第一手势，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
使用至少一种或多种预测建模技术并且至少部分地基于第一手势来确定第二手势；
生成表示第二手势的第二图像数据；和
传输所述第二图像数据以显示。
17、根据权利要求13所述的系统，其中所述训练模型包括先前使用以下至少一项训练的模型：
在第一时间段内从一个或多个控制器接收的先前触摸数据；
在第一时间段内从所述一个或多个控制器接收到的先前力数据；或
在第一时间段内从一个或多个摄像机接收到的先前图像数据。
18、根据权利要求13所述的系统，其中所述控制器包括第一控制器，所述触摸数据包括第一触摸数据，所述力数据包括第一力数据，所述图像数据包括第一图像数据，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
从第二控制器接收以下至少一项：
指示所述第二控制器处接收到的触摸输入的第二触摸数据；或
指示与在第二控制器处接收的与所述触摸输入相关联的力的量的第二力数据；
相对于与一个或多个手势相关联的一个或多个训练模型分析第二触摸数据或第二力数据中的至少一个；
生成表示在第二控制器处接收到的手势的第二图像数据；和
传输所述第二图像数据以显示。
19、根据权利要求13所述的系统，其中所述图像数据包括所述手势的三维(3D)表示。
20、根据权利要求13所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
将所述触摸数据或所述力数据中的至少一个与一个或多个训练模型进行比较，其中所述一个或多个训练模型包括所述训练模型，并且其中所述一个或多个训练模型中的各个训练模型与一种或多种手势相关联，以及
其中相对于所述训练模型分析所述触摸数据或所述力数据中的至少一个至少部分地基于所述比较。

Claims (15)

1.一种系统，其包括：
一个或多个处理器；和
一个或多个存储计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：
接收与操作控制器的手的运动相对应的运动数据；
接收与操作所述控制器的所述手的触摸输入相对应的触摸数据；
将所述运动数据和所述触摸数据相关联；和
至少部分地基于将所述运动数据和所述触摸数据相关联生成与所述手的手势相对应的训练模型。
2.根据权利要求1所述的系统，其中所述运动数据包括第一运动数据，并且所述触摸数据包括第一触摸数据，所述手的运动包括第一运动，并且所述手的触摸输入包括第一触摸输入，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
接收与操作所述控制器的所述使用者的所述手的第二运动相对应的第二运动数据；
接收与操作所述控制器的所述手的第二触摸输入相对应的第二触摸数据；和
至少部分地基于第二运动数据和第二触摸数据生成与所述手的手势相对应的更新的训练模型。
3.根据权利要求2所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
使用所述更新的训练模型，生成与所述手的表示相对应的图像数据；和
传输与所述手的表示相对应的所述图像数据。
4.根据权利要求3所述的系统，其中传输所述图像数据使远程设备显示所述手的表示。
5.根据权利要求1-4中任一项所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括接收与所述触摸输入关联的力的量相对应的力数据的动作，以及
其中生成与所述手的手势相对应的训练模型还至少部分地基于所述力数据。
6.根据权利要求1-5中任一项所述的系统，其中所述触摸数据指示所述控制器上接收所述触摸输入的一个或多个位置。
7.根据权利要求1-6中任一项所述的系统，其中将所述运动数据和所述触摸数据相关联包括将所述运动数据的时间戳与所述触摸数据的时间戳相关联。
8.根据权利要求1-7中任一项所述的系统，其中：
接收所述运动数据包括从通信地耦合到所述系统的摄像机接收所述运动数据；和
接收所述触摸数据包括从通信地耦合到所述系统的控制器接收所述触摸数据。
9.一种系统，其包括：
一个或多个处理器；和
一个或多个存储计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行动作，所述动作包括：
从控制器接收以下至少一项：
指示所述控制器处接收到的触摸输入的触摸数据；或
指示与所述触摸输入相关联的力的量的力数据；
相对于与手势相关联的训练模型分析所述触摸数据或所述力中的至少一个；
至少部分地基于所述分析，确定所述触摸数据或所述力数据中的至少一个对应于所述手势；
生成表示所述手势的图像数据；和
传输所述图像数据以显示。
10.根据权利要求9所述的系统，其中所述触摸数据指示所述控制器上与所述触摸输入相对应的位置。
11.根据权利要求9或10中任一项所述的系统，其中所述触摸数据包括第一触摸数据，所述力数据包括第一力数据，所述训练模型包括第一训练模型，所述触摸输入包括第一触摸输入，所述图像数据包括第一图像数据，和所述手势包括第一手势，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
从所述控制器接收以下至少一项：
代表所述控制器处接收到的第二触摸输入的第二触摸数据；或
指示与第二触摸输入相关联的力的量的第二力数据；
相对于与第二手势相关联的第二训练模型分析第二触摸数据或第二力数据中的至少一个；
确定第二触摸数据或第二力数据中的至少一个与第二手势相对应；
生成表示第二手势的第二图像数据；和
传输所述第二图像数据以显示。
12.根据权利要求9或10中任一项所述的系统，其中所述图像数据包括第一图像数据，并且所述手势包括第一手势，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
使用至少一种或多种预测建模技术并且至少部分地基于第一手势来确定第二手势；
生成表示第二手势的第二图像数据；和
传输所述第二图像数据以显示。
13.根据权利要求9-12中任一项所述的系统，其中所述训练模型包括先前使用以下至少一项训练的模型：
在第一时间段内从一个或多个控制器接收的先前触摸数据；
在第一时间段内从所述一个或多个控制器接收到的先前力数据；或
在第一时间段内从一个或多个摄像机接收到的先前图像数据。
14.根据权利要求9、10或13中任一项所述的系统，其中所述控制器包括第一控制器，所述触摸数据包括第一触摸数据，所述力数据包括第一力数据，所述图像数据包括第一图像数据，并且其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
从第二控制器接收以下至少一项：
指示所述第二控制器处接收到的触摸输入的第二触摸数据；或
指示与在第二控制器处接收的与所述触摸输入相关联的力的量的第二力数据；
相对于与一个或多个手势相关联的一个或多个训练模型分析第二触摸数据或第二力数据中的至少一个；
生成表示在第二控制器处接收到的手势的第二图像数据；和
传输所述第二图像数据以显示。
15.根据权利要求9-14中的任一项所述的系统，其中所述一个或多个非暂时性计算机可读介质存储计算机可执行指令，该计算机可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器进一步执行包括以下的动作：
将所述触摸数据或所述力数据中的至少一个与一个或多个训练模型进行比较，其中所述一个或多个训练模型包括所述训练模型，并且其中所述一个或多个训练模型中的各个训练模型与一种或多种手势相关联，以及
其中相对于所述训练模型分析所述触摸数据或所述力数据中的至少一个至少部分地基于所述比较。
CN201980041061.3A 2018-06-20 2019-05-17 虚拟现实手势生成 Pending CN112437909A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862687780P 2018-06-20 2018-06-20
US62/687,780 2018-06-20
US16/195,718 US10987573B2 (en) 2016-10-11 2018-11-19 Virtual reality hand gesture generation
US16/195,718 2018-11-19
PCT/US2019/032928 WO2019245681A1 (en) 2018-06-20 2019-05-17 Virtual reality hand gesture generation

Publications (1)

Publication Number Publication Date
CN112437909A true CN112437909A (zh) 2021-03-02

Family

ID=68982963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041061.3A Pending CN112437909A (zh) 2018-06-20 2019-05-17 虚拟现实手势生成

Country Status (5)

Country Link
EP (1) EP3807747A4 (zh)
JP (1) JP7337857B2 (zh)
KR (1) KR20210021533A (zh)
CN (1) CN112437909A (zh)
WO (1) WO2019245681A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650950A (zh) * 2023-06-08 2023-08-29 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
WO2024085829A1 (en) * 2022-10-17 2024-04-25 İstanbul Geli̇şi̇m Üni̇versi̇tesi̇ A system for learning to play old in a meta verse environment using virtual reality technology
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130154952A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Gesture combining multi-touch and movement
US20140281964A1 (en) * 2013-03-14 2014-09-18 Maung Han Method and system for presenting guidance of gesture input on a touch pad
US20150359457A1 (en) * 2012-12-17 2015-12-17 Reflx Labs, Inc. Foot-mounted sensor systems for tracking body movement
CN106168851A (zh) * 2015-05-20 2016-11-30 意美森公司 基于预测的接触的触觉效果
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
US20160364002A1 (en) * 2015-06-09 2016-12-15 Dell Products L.P. Systems and methods for determining emotions based on user gestures
US20170351345A1 (en) * 2015-02-27 2017-12-07 Hewlett-Packard Development Company, L.P. Detecting finger movements
US20180067545A1 (en) * 2015-03-01 2018-03-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
US20180104576A1 (en) * 2016-10-11 2018-04-19 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
CN108140360A (zh) * 2015-07-29 2018-06-08 森赛尔股份有限公司 用于操纵虚拟环境的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717291B2 (en) * 2009-10-07 2014-05-06 AFA Micro Co. Motion sensitive gesture device
US9529523B2 (en) * 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US10307669B2 (en) * 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US11302029B2 (en) 2018-01-19 2022-04-12 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, information processing method, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130154952A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Gesture combining multi-touch and movement
US20150359457A1 (en) * 2012-12-17 2015-12-17 Reflx Labs, Inc. Foot-mounted sensor systems for tracking body movement
US20140281964A1 (en) * 2013-03-14 2014-09-18 Maung Han Method and system for presenting guidance of gesture input on a touch pad
US20170351345A1 (en) * 2015-02-27 2017-12-07 Hewlett-Packard Development Company, L.P. Detecting finger movements
US20180067545A1 (en) * 2015-03-01 2018-03-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
CN106168851A (zh) * 2015-05-20 2016-11-30 意美森公司 基于预测的接触的触觉效果
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
US20160364002A1 (en) * 2015-06-09 2016-12-15 Dell Products L.P. Systems and methods for determining emotions based on user gestures
CN108140360A (zh) * 2015-07-29 2018-06-08 森赛尔股份有限公司 用于操纵虚拟环境的系统和方法
US20180104576A1 (en) * 2016-10-11 2018-04-19 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAUL G. KRY等: "Grasp Recognition and Manipulation with the Tango", EXPERIMENTAL ROBOTICS, pages 1 - 10 *
SEUNGJU HAN等: "Grip-Ball: A Spherical Multi-Touch Interface for Interacting with Virtual Worlds", 2013 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE), pages 600 - 601 *
SVEN MAYER等: "Estimating the Finger Orientation on Capacitive Touchscreens Using Convolutional Neural Networks", PROCEEDINGS OF THE 2017 ACM INTERNATIONAL CONFERENCE ON INTERACTIVE SURFACES AND SPACES, pages 220 - 229 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650950A (zh) * 2023-06-08 2023-08-29 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法
CN116650950B (zh) * 2023-06-08 2024-02-06 廊坊市珍圭谷科技有限公司 一种用于vr游戏的控制系统及方法

Also Published As

Publication number Publication date
KR20210021533A (ko) 2021-02-26
EP3807747A4 (en) 2022-03-09
WO2019245681A1 (en) 2019-12-26
JP7337857B2 (ja) 2023-09-04
JP2021527896A (ja) 2021-10-14
EP3807747A1 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
US11992751B2 (en) Virtual reality hand gesture generation
US11625898B2 (en) Holding and releasing virtual objects
CN112437909A (zh) 虚拟现实手势生成
US12042718B2 (en) Holding and releasing virtual objects
US10888773B2 (en) Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
EP3265895B1 (en) Embedded grasp sensing devices, systems, and methods
US20180264357A1 (en) Sensor Fusion Algorithms for a Handheld Controller that Includes a Force Sensing Resistor (FSR)
JP7459108B2 (ja) 動的センサ割当
US10649583B1 (en) Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
CN112512648B (zh) 握住和释放虚拟对象
CN112219246B (zh) 具有聚酰亚胺衬底的力感测电阻器(fsr)、系统和其方法
CN112437910B (zh) 用于握住和释放虚拟对象的方法和系统
CN113474748B (zh) 用于包括力感测电阻器(fsr)的手持式控制器的传感器融合算法
CN112261972B (zh) 用于包含力感测电阻器(fsr)的手持控制器的传感器融合算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination